Dados abertos, Python e PostgreSQL: a combinação perfeita
Turicas aka Álvaro Justen
02 de agosto de 2019
$ whoami
Turicas, prazer! =)
Sigam-me os bons:
## Agenda
- Dados abertos
- O que são
- Aplicações
- Problemas
- Python
- Ferramentas para trabalhar com dados
- Live coding
- Brasil.IO
- O que é
- Como usamos o PostgreSQL
- Futuro: melhorias, grafos etc.
Software Livre & Python
(desde 2004/2005)
Dados Abertos
“
Dados abertos são dados que podem ser livremente usados,
reutilizados e redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de atribuição da fonte e
compartilhamento pelas mesmas regras.
”
-- OpenData
Handbook (definição de Open Definition)
Mais detalhes:
“
De acordo com o governo brasileiro, o controle social é a
participação da sociedade civil nos processos de planejamento,
acompanhamento, monitoramento e avaliação das ações da gestão
pública e na execução das políticas e programas públicos.
”
-- Wikipedia
Maior parte do tempo dos projetos de análise de dados:
## Qualidade dos Dados

[5stardata.info](http://5stardata.info/)
Trabalho com dados públicos
Causos da Transparência Brasileira
Dados dispersos e sem índice
Estrelando: IBGE
Formato Proprietário
Dado disperso e não padronizado
Formato não estruturado
## Problemas de Usabilidade de Dados
- **Formato** (qualidade técnica)
- Exemplo: Boletim de balneabilidade em PDF (INEMA/BA)
- **Dispersão**
- Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE)
- **Quantidade** de dados
- Exemplo: 18 milhões de sócios (RFB)
- **Domínio** da área
- Exemplo: o que é unidade eleitoral? (TSE)
## Soluções
- **Educação tecnológica**
- Do-it-yourself
- Interdisciplinaridade
- **Libertação de dados**
- Dados menos dispersos
- Formato aberto
- **Melhorar ferramentas**
- Software livre
- **Pressão por dados melhores**
- Dar visibilidade aos problemas
- Usar a LAI
Educação Tecnológica
Curso Gratuito (3.000+ alunos)
Melhorar ferramentas
## Outros exemplos
- `rows print ...`
- `rows schema brasil.csv`
- `rows query ...`
- `rows pgimport ...`
- `rows pgexport ...`
## Usablidade
Libertação de dados resolve:
- [x] Formato
- [x] Dispersão
- [ ] Quantidade de dados
- [ ] Domínio da área
O Brasil em dados libertos
Demonstração
## Tecnologias utilizadas
- Captura, normalização e limpeza:
- [Python3](https://www.python.org/)
- [scrapy](https://scrapy.org)
- [rows](https://github.com/turicas/rows)
- Backend:
- [Python3](https://www.python.org/)
- [Django](https://www.djangoproject.com/)
- [PostgreSQL](https://www.postgresql.org/)
- [Neo4J](https://neo4j.com/) (em breve AgensGraph)
- Servidores: OVH Canadá
- PaaS: dokku
## Importando dados
- Deleta tabela se já existir
- Cria tabela com base nos metadados
- Cria triggers (FTS)
- `django.contrib.postgres.search.SearchVectorField`
- Executa `rows pgimport`
- Executa `VACUUM ANALYZE` na tabela
- Cria índices para filtros
- Preenche "choices"
Configurações (PostgreSQL)
Interface para grafos
PostgreSQL + Grafos = 
bitnine.net
Interface para grafos (2)
Interface para grafos (3)
## Contribua com o Brasil.IO!
### [brasil.io/colabore](https://brasil.io/colabore)
- Sugerindo otimizações no banco
- Melhorando os scripts de coleta
- Coletando novos datasets
- Publicando tutoriais no [blog.brasil.io](https://blog.brasil.io/)
- **Doando** no [apoia.se/brasilio](https://apoia.se/brasilio)
Dúvidas?
“
Restringir acesso a dados públicos é elitizar a democracia.
”
-- Manifesto Brasil.IO