Pular para o conteúdo

História e atualização do dataset de empresas e sócios no Brasil.IO

Publicado em

Publicado originalmente no Twitter em 24 de julho de 2020

Temas: Brasil.IO, Dados abertos

Um dos datasets mais relevantes do http://Brasil.IO é o socios-brasil: contém dados cadastrais das empresas brasileiras, incluindo sócios. Ótimo para entender relações e muito útil em investigações (seguir o dinheiro). Hoje, ele foi atualizado. Vem comigo no fio #opendata

Apesar de super relevantes, esses dados não estavam disponíveis para download no site da Receita Federal. Então em 2018 me juntei a Bruno Morassutti, Eduardo Cuducos e equipe da Serenata de Amor (Open Knowledge Brasil) para fazer um pedido usando a Lei de Acesso à Informação (LAI).

O pedido foi negado e a Receita Federal nos indicou um serviço do Serviço Federal de Processamento de Dados (Serpro) que custaria R$ 506.000/mês (você não leu errado: mais de meio milhão de Reais). Vários recursos e meses depois recebemos por Correios um pendrive com os dados (você também não leu errado). 2018.

História completa:

https://github.com/turicas/socios-brasil/blob/master/historia-do-dataset.md

Voltando aos dados: originalmente são 20 arquivos atualizados a cada 2-3 meses e o download é *muito lento*; disponibilizo uma cópia dos originais e também convertidos para CSV:

Além dos dados completos, também está disponível uma versão mais enxuta no http://Brasil.IO (interface Web e API): https://brasil.io/dataset/socios-brasil/empresas/

Em breve todas as colunas do CSV estarão no site (por questões históricas e de sobrecarga com o dataset #covid19 isso não foi feito).

São 44M+ empresas e 27M+ sócios, que ocupam (com índices) 88GB em nosso banco de dados (orgulhosamente PostgreSQL). Sim, custa uma grana manter isso tudo online e com um tempo de resposta rápido.

O http://Brasil.IO facilita o acesso a dados públicos desde 2018, é um projeto colaborativo e software livre. Você pode contribuir doando: http://apoia.se/brasilio

Para novidades, entre em nosso canal Telegram: https://t.me/brasil_io

#opendata #ddj #python #crowdfunding