Baixe os dados de Empresas e Sócios da Receita Federal no espelho do Brasil.IO
Publicado em
Publicado originalmente no Twitter em 20 de novembro de 2019
Temas: Dados abertos, Brasil.IO
A Receita Federal liberou ontem atualização na base de empresas/sócios (http://receita.economia.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-publicos-cnpj), são 20 arquivos e o download é lento; estou baixando e em breve compartilho nessa thread o link no mirror do http://Brasil.IO (+ rápido) e dos arquivos convertidos.
Terminei o download dos 20 arquivos (total: 6,1GB) e disponibilizei uma cópia no http://Brasil.IO em: https://data.brasil.io/mirror/socios-brasil/_meta/list.html - fiz um teste e enquanto nos servidores oficiais demora até 3h por arquivo, no mirror demora menos de 1min.
Em breve publico os dados convertidos.
Caso queira automatizar o download pelo terminal com wget:
MIRROR="https://data.brasil.io/mirror/socios-brasil"
mkdir data-socios-brasil && cd data-socios-brasil
for i in $(seq 20); do
wget -c -t 0 $MIRROR/DADOS_ABERTOS_CNPJ_$(printf "%02d" $i).zip
done
wget $MIRROR/SHA1SUMS
sha1sum -c SHA1SUMS
Os arquivos acima estão em um formato proprietário, mas eu já fiz a conversão para CSV com o programa que criei (https://github.com/turicas/socios-brasil), veja os links no próximo tweet. Estou conferindo os resultados, mas a conversão rodou sem erros.
Links dos arquivos convertidos para CSV:
Dados cadastrais CNPJ (2,3GB) https://data.brasil.io/dataset/socios-brasil/empresa.csv.gz
Sócios (409MB) https://data.brasil.io/dataset/socios-brasil/socio.csv.gz
CNAE secundária (222MB) https://data.brasil.io/dataset/socios-brasil/cnae-secundaria.csv.gz
SHA1SUMS: https://data.brasil.io/dataset/socios-brasil/SHA1SUMS
Esses arquivos também estão disponíveis no Google Drive: https://drive.google.com/open?id=1pHBSQMcAvfbxt9d14BlqxbA4kAXGMdX6 (em breve coloco lá os originais também, para manter o histórico, que não existe no site da Receita Federal).
Pra facilitar análises criei um banco SQLite com os 3 CSVs, além de uma tabela com as holdings. O arquivo está disponível em: https://data.brasil.io/dataset/socios-brasil/socios-brasil.sqlite (11GB, 47165a9560a3cc15901415a9e800a38da97dcefc)
Totais:
Empresa: 42.5M
CNAE secundária: 52.8M
Sócio: 26.6M
Holding: 763k
A liberação desses dados usando a Lei de Acesso à Informação ocorreu porque eu, Bruno Morassutti, Eduardo Cuducos e equipe da Serenata de Amor (Open Knowledge Brasil) fizemos um pedido (e vários recursos), para que todos pudessem ter acesso aos dados.
São dados super relevantes para profissionais de diversas áreas, como jornalismo, economia e marketing. Apesar de os dados estarem disponíveis, nem todos conseguem acessá-los porque o download é lento, o formato é proprietário e a quantidade de dados é muito grande.
Criei o http://Brasil.IO justamente para facilitar o acesso aos dados públicos e resolver esses problemas; é um projeto colaborativo e tudo está disponível como software livre; você pode contribuir doando: https://apoia.se/brasilio #opendata #ddj #python #crowdfunding