Download lento dos dados do CNPJ na Dataprev e espelho no Brasil.IO
Publicado em
Publicado originalmente no Twitter em 5 de abril de 2019
Temas: Dados abertos, Brasil.IO
Quem topa fazer uma vaquinha p/ melhorar a conexão à Internet da Empresa de Tecnologia e Informações da Previdência (Dataprev)? O link que a Receita Federal (Ministério da Economia) disponibiliza com os novos dados do CNPJ é de um IP da Empresa de Tecnologia e Informações da Previdência (Dataprev) e a velocidade parece de conexão discada. Previsão: 4 DIAS de download! São 5GB #opendata #fail

A página que contém o link é essa: https://receita.economia.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-publicos-cnpj e o link é: http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip (da última vez que baixei - acho que era outro link - o zip ainda estava corrompido).
Abri um protocolo na ouvidoria com a reclamação.
Dica: quem quiser baixar usando múltiplas conexões, use o aria2c (https://aria2.github.io/) em vez do wget. Comando: aria2c -s 16 -x 16 URL
Em breve subo o arquivo num servidor mais rápido.
Baxei o arquivo e subi no http://Brasil.IO. Quem quiser baixar, está muito mais rápido (aqui 8.3MB/s, 415x a velocidade da Empresa de Tecnologia e Informações da Previdência (Dataprev)). Disponível via HTTPS e dat:
https://data.brasil.io/mirror/receita-federal/DADOS_ABERTOS_CNPJ.zip
dat://fb44e0e45433a4683d725e79d729f76b450a0cc989c1e1031eb3a4aeba3be832
De nada.
Rodei o script que criei para ler o dump (formato proprietário) e converter p/ CSV (empresas, sócios, CNAEs). Os dados convertidos estão em: https://drive.google.com/open?id=1iFf6ZdDroy2v9ZO6QlWjULDRaFaudCSb
O script ainda precisa de melhorias e esses dados talvez não estejam 100% confiáveis, veja: https://github.com/turicas/socios-brasil/issues/12