Brasil.IO: Dados Abertos para Mais Democracia


Álvaro Justen


Canal Glaucia Lemos

01 de abril de 2019

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io


pythonic.cafe

youtube.com/c/PythonicCafe

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO

Trabalhos feitos com Dados Abertos

Logo Correio 24 Horas
correio24horas.com.br
(em conjunto com Juan Torres)

Acesse a matéria
Logo Agência Pública
apublica.org
(em conjunto com Adriano Belisário)

Acesse a matéria
Logo The Intercept Brasil
theintercept.com/brasil
(em conjunto com Adriano Belisário)

Acesse a matéria

Acesse a matéria
Logo Gênero & Número
generonumero.media
(em conjunto com Natália Mazotte)

Veja a Edição "Mulheres na Política"

Veja a Edição "Mulheres na Política II"

Veja a Edição "Espaço Público"

Rua: substantivo (ainda) masculino


youtu.be/7yQ8U2tFFq4

Aplicações Úteis

Portal de Candidaturas do Poder360
eleicoes.poder360.com.br

Inovação Cívica

Exemplo: Operação Serenata de Amor

Operação Serenata de Amor
serenata.ai

Rosie, a robô

Tweet de RosieDaSerenata
R$ 155 em um restaurante que custa R$ 70/kg, deputado?
twitter.com/RosieDaSerenata/status/859137918719467521

Rosie, a robô (2)

Tweet de RosieDaSerenata
R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado?
twitter.com/tOa_D/status/1058495655184871425

Controle Social

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”
-- Wikipedia
“ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade.
Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ”
-- CGU.gov.br

Dados Abertos

Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

Creative Commons logo
creativecommons.org
“ Copyright laws are turning kids into criminals. Totally failed war. ”
-- Lawrence Lessig

Data Pipeline


schoolofdata.org/methodology

Nem sempre o dado está disponível

Tweet de Turicas sobre Diário Oficial de Rondônia
twitter.com/turicas/status/1094069287206248450

Às vezes apagam os dados...

Tweet de Turicas sobre lista de beneficiados da lei da anistia
twitter.com/turicas/status/1112491956314259457

Nem sempre o dado é aberto

Tweet de Turicas sobre Diário Oficial do Rio de Janeiro
twitter.com/turicas/status/1091767340134514690

Nem sempre o dado é grátis (???)

Tweet de Turicas sobre Receita Federal cobrar R$506.000,00 por dados públicos
twitter.com/turicas/status/1019272233095745537
## Mas quando está... ### A Qualidade dos Dados é Ruim! ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Maior parte do tempo dos projetos de análise de dados:

Maior parte do tempo dos projetos de análise de dados:

(em GIFs)



## Acessibilidade: Problemas - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)
Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...]
Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ”
-- Wikipedia

Libertando Dados

Libertação de Dados: Exemplo (1)

Dados do Conselho Nacional de Justiça (centenas de planilhas)

Tweet de Turicas
twitter.com/turicas/status/943176715672711168

Libertação de Dados: Exemplo (2)

Dados da Receita Federal (formato proprietário)

Tweet de Turicas
twitter.com/turicas/status/959120200976224262

Libertação de Dados: Exemplo (3)

Dados do PROUNI (site sai do ar)

Tweet de Turicas
twitter.com/turicas/status/960678777096425472

Libertação de Dados: Exemplo (4)

Site não governamental

Tweet de Turicas
twitter.com/turicas/status/1109148357451304960
Acessse a planilha

Libertação de Dados: Exemplo (5)

Captura de dados manual

Feiras orgânicas de Curitiba
turicas.info/feiras-organicas-curitiba
Acessse a planilha
## Como? - [Python](https://www.python.org/) - [scrapy](https://scrapy.org), [urllib](https://docs.python.org/3/library/urllib.html), [requests](http://python-requests.org/) - [rows](https://github.com/turicas/rows) - [lxml](http://lxml.de/), [BeautifulSoup](https://pypi.python.org/pypi/beautifulsoup4) - [sqlite3](https://docs.python.org/3/library/sqlite3.html)
## Python - Fácil de aprender - Ecossistema **incrível** - Comunidade inclusive - MUITO código e material disponível - Alta produtividade - [python.org](https://www.python.org/)

Python: Linguagem de Programação


Acesse a matéria
xkcd Python
xkcd.com/353

rows convert arquivo.pdf arquivo.csv

Biblioteca rows convertendo PDF para CSV
## Código ao vivo - IPython + `rows.import_from_csv` - `rows convert` (HTML para CSV, Olimpíadas) - `rows query` (SQL em PDF, Balneabilidade Bahia) - `rows csv2sqlite` (Salários magistrados) - `rows pgimport` (Bens declarados)

Software livre

Código compartilhado, feito de forma colaborativa

Repositório da biblioteca rows no GitHub
github/turicas/rows

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO

Demonstração

## Acessbilidade: 4/4 - [x] **Formato** - [x] **Dispersão** - [x] **Quantidade** de dados - [x] **Domínio** da área
“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO
## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Postando no blog: [blog.brasil.io](https://blog.brasil.io/) - Lançado **HOJE**! - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

Convite: Cerveja com Dados

Logo Cerveja com Dados
meetup.com/Cerveja-com-Dados
Próximo em Curitiba: final de abril.
Logo PythonBrasil
2019.pythonbrasil.org.br
23 a 28 de outubro de 2019
Ribeirão Preto/SP

?


{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io