Brasil.IO: Dados Abertos para Mais Democracia

Álvaro Justen

01 de abril de 2019

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

Trabalhos feitos com Dados Abertos

correio24horas.com.br
(em conjunto com Juan Torres)

Acesse a matéria

apublica.org
(em conjunto com Adriano Belisário)

Acesse a matéria

theintercept.com/brasil
(em conjunto com Adriano Belisário)

Acesse a matéria

generonumero.media
(em conjunto com Natália Mazotte)

Veja a Edição "Mulheres na Política"

Veja a Edição "Mulheres na Política II"

Veja a Edição "Espaço Público"

Rua: substantivo (ainda) masculino

youtu.be/7yQ8U2tFFq4

Aplicações Úteis

eleicoes.poder360.com.br

Inovação Cívica

Exemplo: Operação Serenata de Amor

serenata.ai

Rosie, a robô

R$ 155 em um restaurante que custa R$ 70/kg, deputado?
twitter.com/RosieDaSerenata/status/859137918719467521

Rosie, a robô (2)

R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado?
twitter.com/tOa_D/status/1058495655184871425

Controle Social

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”

-- Wikipedia

“ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade.
Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ”

-- CGU.gov.br

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”

-- OpenData Handbook (definição de Open Definition)

Mais detalhes:

creativecommons.org

“ Copyright laws are turning kids into criminals. Totally failed war. ”

-- Lawrence Lessig

Data Pipeline

schoolofdata.org/methodology

## Mas quando está... ### A Qualidade dos Dados é Ruim! ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Maior parte do tempo dos projetos de análise de dados:

(em GIFs)

## Acessibilidade: Problemas - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)

“ Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...]
Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ”

-- Wikipedia

Libertando Dados

Libertação de Dados: Exemplo (1)

Dados do Conselho Nacional de Justiça (centenas de planilhas)

twitter.com/turicas/status/943176715672711168

Libertação de Dados: Exemplo (2)

Dados da Receita Federal (formato proprietário)

twitter.com/turicas/status/959120200976224262

Libertação de Dados: Exemplo (3)

Dados do PROUNI (site sai do ar)

twitter.com/turicas/status/960678777096425472

Libertação de Dados: Exemplo (4)

Site não governamental

twitter.com/turicas/status/1109148357451304960
Acessse a planilha

Libertação de Dados: Exemplo (5)

Captura de dados manual

turicas.info/feiras-organicas-curitiba
Acessse a planilha

## Como? - [Python](https://www.python.org/) - [scrapy](https://scrapy.org), [urllib](https://docs.python.org/3/library/urllib.html), [requests](http://python-requests.org/) - [rows](https://github.com/turicas/rows) - [lxml](http://lxml.de/), [BeautifulSoup](https://pypi.python.org/pypi/beautifulsoup4) - [sqlite3](https://docs.python.org/3/library/sqlite3.html)

## Python - Fácil de aprender - Ecossistema **incrível** - Comunidade inclusive - MUITO código e material disponível - Alta produtividade - [python.org](https://www.python.org/)

Python: Linguagem de Programação

Acesse a matéria

xkcd.com/353

`rows convert arquivo.pdf arquivo.csv`

Biblioteca rows convertendo PDF para CSV

## Código ao vivo - IPython + `rows.import_from_csv` - `rows convert` (HTML para CSV, Olimpíadas) - `rows query` (SQL em PDF, Balneabilidade Bahia) - `rows csv2sqlite` (Salários magistrados) - `rows pgimport` (Bens declarados)

Software livre

Código compartilhado, feito de forma colaborativa

Repositório da biblioteca rows no GitHub

github/turicas/rows

Brasil.IO

O Brasil em dados libertos

Demonstração

## Acessbilidade: 4/4 - [x] **Formato** - [x] **Dispersão** - [x] **Quantidade** de dados - [x] **Domínio** da área

“ Restringir acesso a dados públicos é elitizar a democracia. ”

-- Manifesto Brasil.IO

## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Postando no blog: [blog.brasil.io](https://blog.brasil.io/) - Lançado **HOJE**! - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

Convite: Cerveja com Dados

meetup.com/Cerveja-com-Dados
Próximo em Curitiba: final de abril.

2019.pythonbrasil.org.br
23 a 28 de outubro de 2019
Ribeirão Preto/SP

Brasil.IO: Dados Abertos para Mais Democracia

Álvaro Justen

Canal Glaucia Lemos

01 de abril de 2019

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter, github, youtube, slideshare, instagram} /turicas

turicas@brasil.io

pythonic.cafe

youtube.com/c/PythonicCafe

Brasil.IO

Trabalhos feitos com Dados Abertos

Rua: substantivo (ainda) masculino

Aplicações Úteis

Inovação Cívica

Exemplo: Operação Serenata de Amor

Rosie, a robô

Rosie, a robô (2)

Controle Social

Dados Abertos

Data Pipeline

Nem sempre o dado está disponível

Às vezes apagam os dados...

Nem sempre o dado é aberto

Nem sempre o dado é grátis (???)

Maior parte do tempo dos projetos de análise de dados:

Maior parte do tempo dos projetos de análise de dados:

(em GIFs)

Libertando Dados

Libertação de Dados: Exemplo (1)

Dados do Conselho Nacional de Justiça (centenas de planilhas)

Libertação de Dados: Exemplo (2)

Dados da Receita Federal (formato proprietário)

Libertação de Dados: Exemplo (3)

Dados do PROUNI (site sai do ar)

Libertação de Dados: Exemplo (4)

Site não governamental

Libertação de Dados: Exemplo (5)

Captura de dados manual

Python: Linguagem de Programação

rows convert arquivo.pdf arquivo.csv

Software livre

Código compartilhado, feito de forma colaborativa

Brasil.IO

Demonstração

Convite: Cerveja com Dados

?

{twitter, github, youtube, slideshare, instagram} /turicas

turicas@brasil.io

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

`rows convert arquivo.pdf arquivo.csv`

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas