Se a programação é mágica, o web scraping certamente é uma forma de magia. Ao escrever um programa automatizado simples, é possível consultar servidores web, requisitar dados e interpretá-los a fim de extrair as informações desejadas. A edição ampliada deste livro prático não só apresenta uma introdução ao web scraping, como também serve de guia completo para coletar quase todos os tipos de dados da web moderna.
A Parte I do livro tem como foco o funcionamento do web scraping: como usar Python para requisitar informações de um servidor web, fazer o tratamento básico da resposta do servidor e interagir com os sites de modo automatizado. A Parte II explora uma variedade de ferramentas e aplicações mais específicas, apropriadas a qualquer cenário de web scraping com os quais é provável que você depare.
Faça parse de páginas HTML complicadas.
Desenvolva crawlers com o framework Scrapy.
Aprenda a usar métodos para armazenar os dados coletados.
Leia e extraia dados de documentos.
Limpe e normalize dados mal formatados.
Leia e escreva em idiomas naturais.
Rastreie formulários e logins.
Faça scraping de JavaScript e rastreie usando APIs.
Use e escreva softwares de tradução de imagem para texto.
Evite armadilhas para scraping e bloqueadores de bots.
Use scrapers para testar seu site.