Brasil.IO: libertando dados públicos


Turicas aka Álvaro Justen


Software Freedom Day CWB 2019

21 de setembro de 2019

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

## Agenda - Dados abertos - O que são - Aplicações - Problemas - Ferramentas para trabalhar com dados - Python - Brasil.IO

Software Livre & Python

(desde 2004/2005)

       

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”
-- Wikipedia

Operação Serenata de Amor

#civictech

Operação Serenata de Amor
serenata.ai

Rosie, a robô

Tweet de RosieDaSerenata
R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado?
twitter.com/tOa_D/status/1058495655184871425

(em conjunto com Juan Torres, para correio24horas.com.br)
Acesse a matéria

(em conjunto com Giulliana Biaconi, para generonumero.media)
Leia a matéria

(em conjunto com Adriano Belisário, para apublica.org)
Acesse a matéria

Aplicações Úteis

Eleições

Portal de Candidaturas do Poder360
(em conjunto com Voltdatalab, para poder360.com.br)
eleicoes.poder360.com.br

Data Pipeline


schoolofdata.org/methodology

Viajando nos dados


Instagram @turicas

Maior parte do tempo dos projetos de análise de dados:

## Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Dado pago! (???)

Estrelando: Receita Federal

Tweet de Turicas
https://twitter.com/turicas/status/1019272233095745537

Lentidão ao baixar (ETA: 4d)

Estrelando: Receita Federal


twitter.com/turicas/status/1114185311372873729

Formato Proprietário

Estrelando: Receita Federal

Dado disperso e não padronizado

Estrelando: Conselho Nacional de Justiça

Tweet de Turicas

Formato não estruturado

Estrelando: INEMA/BA

## Problemas de Usabilidade de Dados - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)
## Soluções - **Educação tecnológica** - Do-it-yourself - Interdisciplinaridade - **Libertação de dados** - Dados menos dispersos - Formato aberto - **Melhorar ferramentas** - Software livre - **Pressão por dados melhores** - Dar visibilidade aos problemas - Usar a LAI

Educação Tecnológica

Curso Gratuito (3.000+ alunos)

Foto curso Python Knight Center

Python!


Acesse a matéria
xkcd Python
xkcd.com/353

Melhorar ferramentas

rows convert arquivo.pdf arquivo.csv Biblioteca rows convertendo PDF para CSV
github.com/turicas/balneabilidade-brasil
## Outros exemplos - `rows print ...` - `rows schema brasil.csv` - `rows query ...` - `rows pgimport ...` - `rows pgexport ...`
## Usablidade Libertação de dados resolve: - [x] Formato - [x] Dispersão - [ ] Quantidade de dados - [ ] Domínio da área

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO

Exemplos:

## Tecnologias utilizadas - Captura, normalização e limpeza: - [Python3](https://www.python.org/) - [scrapy](https://scrapy.org) - [rows](https://github.com/turicas/rows) - Backend: - [Python3](https://www.python.org/) - [Django](https://www.djangoproject.com/) - [PostgreSQL](https://www.postgresql.org/) - [Neo4J](https://neo4j.com/) (em breve AgensGraph) - Servidores: OVH Canadá - PaaS: dokku

git push dokku master


Visitar site
## Contribua com o Brasil.IO! ### [brasil.io/colabore](https://brasil.io/colabore) - Sugerindo otimizações no banco - Melhorando os scripts de coleta - Coletando novos datasets - Publicando tutoriais no [blog.brasil.io](https://blog.brasil.io/) - **Doando** no [apoia.se/brasilio](https://apoia.se/brasilio)

PythonBrasil 2019

PythonBrasil 2019
23 a 28 de outubro, Ribeirão Preto/SP
pythonbrasil.com.br

CODA.BR 2019

CODA.BR 2019
23 e 24 de novembro, São Paulo/SP
coda.escoladedados.org

Dúvidas?

“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io