Pular para o conteúdo

Resposta à publicação do G1 que demoniza a raspagem de dados na Web

Publicado em

Publicado originalmente no Twitter em 16 de junho de 2021

Temas: Coleta de dados na Web

🧵Bastante DESINFORMAÇÃO sobre raspagem de dados (Web scraping) nesse texto publicado no g1 Economia. Da maneira como está colocada, a técnica parece algo criminoso e indesejável. Vamos entender melhor?

Imagem anexada ao tweet

Web scraping é uma técnica que consiste em acessar (baixar), coletar e armazenar informações de sites (às vezes bem específicas, às vezes mais genéricas). Em geral criamos programas para que esse processo seja feito de maneira automatizada (e chamamos esses programas de "robôs").

A técnica por si só não é um problema, mas se alguém utiliza dados coletados por raspagem para cometer algum crime, o crime está no uso dos dados resultantes do processo, não na execução do processo em si. O crime, no exemplo, existiria mesmo que a coleta não fosse por raspagem.

Se você usa um buscador, você usa um sistema que raspa dados de diversos sites: ele acessa os sites que encontra e indexa o conteúdo (texto, imagens, vídeos etc.) para que seja possível buscá-lo no futuro. Mas os criadores de buscadores não são vistos como "hackers", né?

Outro exemplo: Wayback Machine http://web.archive.org/ - eles visitam e arquivam sites para que no futuro possamos acessar seus conteúdos, mesmo que saiam do ar. O projeto é importante tanto por questões históricas, quanto p/ casos em que dados são deletados propositadamente.

Usando o Wayback mostrei que o TrateCov receitava tratamento precoce para qualquer um, mesmo com o site fora do ar: https://www.youtube.com/watch?v=b1FjmUzgFB0

Usando ele também consegui os dados de beneficiados pela Lei da Anistia, removidos do site do Ministério da Justiça e Segurança Pública: https://x.com/turicas/status/1112491956314259457

Web scraping é vital para quem trabalha com dados públicos, como pesquisadores e jornalistas: nem sempre os dados estão disponíveis para baixar, mas conseguimos coletá-los dos sites. Condenar essa prática é condenar uma das formas de exercermos controle social.

Facebook e LinkedIn deveriam tomar mais cuidado para que nossos dados não sejam vazados, em vez de atribuírem o vazamento à raspagem.

Além disso, chamar de "hacker" quem raspa dados é non-sense:

  • Existem aplicativos (como o http://webscraper.io) que permitem que pessoas que não programam raspem sites

  • Nem toda pessoa que programa pode ser considerada hacker

  • "hacker" não é sinônimo de criminoso