Trabalhando com dados abertos com Python
Turicas aka Álvaro Justen
20 de março de 2021
$ whoami
Turicas, prazer! =)
Sigam-me os bons:
## Agenda
- Dados abertos
- O que são
- Aplicações
- Problemas
- Ferramentas para trabalhar com dados
- Python
- rows
- Brasil.IO
Software Livre & Python
(desde 2004/2005)
Dados Abertos
“
Dados abertos são dados que podem ser livremente usados,
reutilizados e redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de atribuição da fonte e
compartilhamento pelas mesmas regras.
”
-- OpenData
Handbook (definição de Open Definition)
Mais detalhes:
Maior parte do tempo dos projetos de análise de dados:
Formato Proprietário
Dado disperso e não padronizado
Formato não estruturado
## Qualidade dos Dados

[5stardata.info](http://5stardata.info/)
## Problemas de Usabilidade de Dados
- **Formato** (qualidade técnica)
- Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)
- **Dispersão**
- Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)
- **Quantidade** de dados
- Exemplo: 18 milhões de sócios (RFB)
- **Domínio** da área
- Exemplo: o que é unidade eleitoral? (TSE)
## Soluções
- **Educação tecnológica**
- Do-it-yourself
- Interdisciplinaridade
- **Libertação de dados**
- Dados menos dispersos
- Formato aberto
- **Melhorar ferramentas**
- Software livre
- **Pressão por dados melhores**
- Dar visibilidade aos problemas
- Usar a LAI
## Python?
- IPython
- Jupyter notebook
Melhorar ferramentas
## Outros exemplos
- `rows print ...`
- `rows schema brasil.csv`
- `rows query ...`
- `rows pgimport ...`
- `rows pgexport ...`
## Usablidade
Libertação de dados resolve:
- [x] Formato
- [x] Dispersão
- [ ] Quantidade de dados
- [ ] Domínio da área
O Brasil em dados libertos
Exemplos:
## Datasets relevantes
- Salários dos magistrados
- Empresas, atividades empresariais e sócios
- Candidaturas, filiação partidária, receitas e despesas de campanha
- Gastos do Governo Federal
- COVID-19
## Dados: Ministério da Saúde
- Histórico não disponível
- Site fora do ar constantemente
- Falta de dados locais
## Dados: Secretarias Estaduais de Saúde
- Formato não estruturado (PDF, imagem etc.)
- Local não centralizado (mais de um site, Twitter, Instagram etc.)
- Falta de indexação dos boletins diários
- Metodologia alterada e sem aviso
- Falta de detalhes e padronização (recuperados, faixa etária etc.)
## Processo de coleta de dados
- **40+ voluntários!** 
- [brasil.io/covid19/voluntarios](https://brasil.io/covid19/voluntarios/)
- Robô que detecta novos boletins
- Alinhamentos no [chat.brasil.io](https://chat.brasil.io)
- Coleta manual
- Planilhas no sistema interno
- Checagem manual
- Checagem automática
- Atualização da base de dados
## Dados sobre COVID-19 no Brasil.IO
- [boletim](https://brasil.io/dataset/covid19/boletim)
- [caso](https://brasil.io/dataset/covid19/caso)
- [caso_full](https://brasil.io/dataset/covid19/caso_full)
- [obito_cartorio](https://brasil.io/dataset/covid19/obito_cartorio)
- [auxilio_emergencial](https://brasil.io/dataset/govbr/auxilio_emergencial)
- [microdados_vacinacao](https://twitter.com/brasil_io)
- (em breve) internacao_srag
- (em breve) ocupacao_leitos
## Quem está usando?
- The New York Times
- Jornal Nacional
- O Estado de São Paulo
- O Globo
- FioCruz
- MAVE (FGV/FioCruz)
- Divulgadores científicos
- e muito mais!
- [Veja o clipping](https://github.com/turicas/covid19-br/blob/master/clipping.md)
## Tecnologias utilizadas
- Captura, normalização e limpeza:
- [Python3](https://www.python.org/)
- [scrapy](https://scrapy.org)
- [rows](https://github.com/turicas/rows)
- Backend:
- [Python3](https://www.python.org/)
- [Django](https://www.djangoproject.com/)
- [PostgreSQL](https://www.postgresql.org/)
- Servidores: OVH Canadá
- PaaS: dokku
## Contribua com o Brasil.IO!
### [brasil.io/colabore](https://brasil.io/colabore)
- Sugerindo novos *datasets*
- Melhorando os scripts de coleta já existentes
- Criando novos scripts de coleta
- Publicando tutoriais no [blog.brasil.io](https://blog.brasil.io/)
- **Doando** no [apoia.se/brasilio](https://apoia.se/brasilio)
Dúvidas?
“
Restringir acesso a dados públicos é elitizar a democracia.
”
-- Manifesto Brasil.IO