Pular para o conteúdo

Download lento dos dados do CNPJ na Dataprev e espelho no Brasil.IO

Publicado em

Publicado originalmente no Twitter em 5 de abril de 2019

Temas: Dados abertos, Brasil.IO

Quem topa fazer uma vaquinha p/ melhorar a conexão à Internet da Empresa de Tecnologia e Informações da Previdência (Dataprev)? O link que a Receita Federal (Ministério da Economia) disponibiliza com os novos dados do CNPJ é de um IP da Empresa de Tecnologia e Informações da Previdência (Dataprev) e a velocidade parece de conexão discada. Previsão: 4 DIAS de download! São 5GB #opendata #fail

Imagem anexada ao tweet

A página que contém o link é essa: https://receita.economia.gov.br/orientacao/tributaria/cadastros/cadastro-nacional-de-pessoas-juridicas-cnpj/dados-publicos-cnpj e o link é: http://200.152.38.155/CNPJ/DADOS_ABERTOS_CNPJ.zip (da última vez que baixei - acho que era outro link - o zip ainda estava corrompido).

Abri um protocolo na ouvidoria com a reclamação.

Dica: quem quiser baixar usando múltiplas conexões, use o aria2c (https://aria2.github.io/) em vez do wget. Comando: aria2c -s 16 -x 16 URL

Em breve subo o arquivo num servidor mais rápido.

Baxei o arquivo e subi no http://Brasil.IO. Quem quiser baixar, está muito mais rápido (aqui 8.3MB/s, 415x a velocidade da Empresa de Tecnologia e Informações da Previdência (Dataprev)). Disponível via HTTPS e dat:

De nada.

Rodei o script que criei para ler o dump (formato proprietário) e converter p/ CSV (empresas, sócios, CNAEs). Os dados convertidos estão em: https://drive.google.com/open?id=1iFf6ZdDroy2v9ZO6QlWjULDRaFaudCSb

O script ainda precisa de melhorias e esses dados talvez não estejam 100% confiáveis, veja: https://github.com/turicas/socios-brasil/issues/12