História e atualização do dataset de empresas e sócios no Brasil.IO
Publicado em
Publicado originalmente no Twitter em 24 de julho de 2020
Temas: Brasil.IO, Dados abertos
Um dos datasets mais relevantes do http://Brasil.IO é o socios-brasil: contém dados cadastrais das empresas brasileiras, incluindo sócios. Ótimo para entender relações e muito útil em investigações (seguir o dinheiro). Hoje, ele foi atualizado. Vem comigo no fio #opendata
Apesar de super relevantes, esses dados não estavam disponíveis para download no site da Receita Federal. Então em 2018 me juntei a Bruno Morassutti, Eduardo Cuducos e equipe da Serenata de Amor (Open Knowledge Brasil) para fazer um pedido usando a Lei de Acesso à Informação (LAI).
O pedido foi negado e a Receita Federal nos indicou um serviço do Serviço Federal de Processamento de Dados (Serpro) que custaria R$ 506.000/mês (você não leu errado: mais de meio milhão de Reais). Vários recursos e meses depois recebemos por Correios um pendrive com os dados (você também não leu errado). 2018.
História completa:
https://github.com/turicas/socios-brasil/blob/master/historia-do-dataset.md
Voltando aos dados: originalmente são 20 arquivos atualizados a cada 2-3 meses e o download é *muito lento*; disponibilizo uma cópia dos originais e também convertidos para CSV:
Além dos dados completos, também está disponível uma versão mais enxuta no http://Brasil.IO (interface Web e API): https://brasil.io/dataset/socios-brasil/empresas/
Em breve todas as colunas do CSV estarão no site (por questões históricas e de sobrecarga com o dataset #covid19 isso não foi feito).
São 44M+ empresas e 27M+ sócios, que ocupam (com índices) 88GB em nosso banco de dados (orgulhosamente PostgreSQL). Sim, custa uma grana manter isso tudo online e com um tempo de resposta rápido.
O http://Brasil.IO facilita o acesso a dados públicos desde 2018, é um projeto colaborativo e software livre. Você pode contribuir doando: http://apoia.se/brasilio
Para novidades, entre em nosso canal Telegram: https://t.me/brasil_io
#opendata #ddj #python #crowdfunding