Migram-se os Ministérios, perdem-se dados
Publicado em
Publicado originalmente no Twitter em 31 de março de 2019
Temas: Transparência
Há algum tempo atrás baixei um PDF com a lista de beneficiados pela Lei da Anistia. Hoje fui procurá-lo na página do Ministério da Justiça e Segurança Pública e *o arquivo não está mais disponível*, daí comecei uma investigação, segue o fio. #opendata #DitaduraNaoSeComemora

A URL original era: http://justica.gov.br/seus-direitos/anistia/pessoas-anistiadas/lista-anistiados-31-07-15.pdf (dá pra encontrá-lo pelo Google, mas a versão em cache não está mais disponível).

Parece que o primeiro arquivo foi liberado em jan2015 (notícia: https://www.cgu.gov.br/noticias/2015/01/portal-da-transparencia-publica-dados-dos-beneficiados-pela-lei-da-anistia), mas depois existiram outros.
Buscando um pouco mais encontrei um outro arquivo, de 2018, mas também não acessível (sou redirecionado para uma página de autenticação): http://www.justica.gov.br/seus-direitos/anistia/pessoas-anistiadas/pessoas-anistiadas-ate-outubro-de-2018.pdf/view


Em fevereiro o g1 fez uma matéria sobre o desaparecimento desses arquivos: https://g1.globo.com/politica/blog/matheus-leitao/post/2019/02/15/site-da-comissao-de-anistia-sai-do-ar-para-migracao-e-pesquisadores-temem-perda-de-dados.ghtml #opendata #fail
Não dá pra saber quando os arquivos foram deletados, nem por quem (talvez seja possível com os logs de acesso/edição do portal), mas podemos tentar recuperá-los: o Wayback Machine é projeto incrível do Internet Archive que visita sites e guarda cópias. http://web.archive.org/
Seguem os links para todas as aparições de ambos arquivos:
O Ministério da Defesa é o responsável pelo pagamento dos militares anistiados e felizmente a lista que ele mantém dos beneficiados não sumiu, está disponível em: https://www.defesa.gov.br/anistia (CSV com dados das três forças armadas: https://www.defesa.gov.br/arquivos/lai/anistia/2018/dezembro/relacao_anistiados_md_dez_18.csv). Espero que não saia do ar.
Encontrei também no Portal da Transparência mantido pela Controladoria-Geral da União (CGU) um dataset que mostra os pagamentos relativos a anistia, agrupado por órgão: http://www.portaltransparencia.gov.br/programas-e-acoes/acao/0739-indenizacao-a-anistiados-politicos-em-prestacao-unica-ou-em-prestacao-mensal--permanente-e-continuada--nos-termos-da-lei-n----------de----- (espero que esse também não saia do ar).
Para facilitar futuros estudos baixei todos arquivos que pude e os disponibilizei aqui: https://drive.google.com/open?id=1HWR9WxqqXoapfx1Ki_HfEzl8kpoAraMT
Também criei um programa para extrair os PDFs e convertê-los para CSV (39k+ anistiados para 2018). Os CSVs estão na mesma pasta e o código em: https://github.com/turicas/lista-anistiados
Se você acha esse trabalho importante e quer contribuir, sugiro o apoio às seguintes iniciativas:
http://Brasil.IO, plataforma onde disponibilizo dados abertos acessíveis: https://apoia.se/brasilio
#opendata #ddj #civictech
(a matéria do g1 foi escrita por Matheus Leitão).
Ah, já ia esquecendo: em 2018 esse assunto me incomodou e, conversando com o Bruno Morassutti ele decidiu fazer um pedido de acesso à informação perguntando porque os dados saíram do Portal da Transparência (Controladoria-Geral da União (CGU)). O pedido e a resposta estão aqui: http://www.consultaesic.cgu.gov.br/busca/dados/Lists/Pedido/Item/displayifs.aspx?List=0c839f31-47d7-4485-ab65-ab0cee9cf8fe&ID=689242&Source=http%3A%2F%2Fwww%2Econsultaesic%2Ecgu%2Egov%2Ebr%2Fbusca%2FSitePages%2Fresultadopesquisa%2Easpx%3Fk%3D00075001142201858&Web=88cc5f44-8cfe-4964-8ff4-376b5ebb3bef
A resposta do pedido cita links p/ sites do Ministério da Defesa, Ministério da Justiça e Segurança Pública (ambos já citados) e tb p/ o Portal do Servidor do Gov Federal, que contém uma planilha com outros beneficiados (com valor, inclusive): https://www.servidor.gov.br/arquivos-publicacoes/l10559/
Também copiei essa planilha pro Google Drive.
Alterei o programa para extrair também os dados dessa última planilha, o CSV está no Google Drive e também disponível no Google Spreadsheets: https://docs.google.com/spreadsheets/d/1HKSOm4wTlxk1RH2nGKMbkmvu6izSpOBG5zuZXa-PepE/edit (243k+ linhas)