Acessibilidade de Dados Abertos no Brasil


Turicas aka Álvaro Justen


Dados Abertos e Data Science - Grupy-SP

13 de dezembro de 2018 - São Paulo/SP

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram,
telegram}
/turicas

turicas@brasil.io


escoladedados.org


impacto.jor.br

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO

Software Livre & Python

Desde 2004/2005

       

# Agenda - **Dados abertos** - Lei de Acesso à Informação - Funil de dados - **Acessibilidade** - Problemas - Libertação de dados - **[Brasil.IO](https://brasil.io/)**

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

Controle Social

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”
-- Wikipedia

Inovação Cívica - Exemplo

Operação Serenata de Amor

Operação Serenata de Amor
serenata.ai

Funil de Dados (Data Pipeline)


schoolofdata.org/methodology

Nem sempre o dado está disponível


twitter.com/turicas/status/1049346826355335169

vitimasdaintolerancia.org

Nem sempre o dado está disponível [2]

twitter.com/turicas/status/1019272233095745537

Data Pipeline


schoolofdata.org/methodology

Minha história com dados públicos

Maior parte do tempo dos projetos de análise de dados:

## Houston, we have a problem... ### Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Trabalhando com Dados Públicos



## WE ACTUALLY HAVE A LOT OF PROBLEMS! ### Problemas de Acessibilidade - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)
“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO
## Libertação de Dados: ### Resolver os problemas de **formato** e **dispersão**

balneabilidade.inema.ba.gov.br

t.me/addstickers/ddj-stickeados

rows convert arquivo.pdf arquivo.csv

Biblioteca rows convertendo PDF para CSV
Repositório do script de coleta dos dados do INEMA-BA balneabilidade-bahia
github/turicas/balneabilidade-bahia
Tweet de Turicas
twitter.com/turicas/status/943176715672711168
Tweet de Turicas
twitter.com/turicas/status/959120200976224262
Tweet de Turicas
twitter.com/turicas/status/960678777096425472
## Acessbilidade: 2/4 - [x] **Formato** - [x] **Dispersão** - [ ] **Quantidade** de dados - [ ] **Domínio** da área

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO
## Acessbilidade: 4/4 - [x] **Formato** - [x] **Dispersão** - [x] **Quantidade** de dados - [x] **Domínio** da área
## Como? - Scripts: - [Python3](https://www.python.org/) - [scrapy](https://scrapy.org) - [rows](https://github.com/turicas/rows) - Análises: - [sqlite3](https://docs.python.org/3/library/sqlite3.html) - Backend: - [Python3](https://www.python.org/) - [Django](https://www.djangoproject.com/) - [PostgreSQL](https://www.postgresql.org/) - [Neo4J](https://neo4j.com/) - Hospedagem: DigitalOcean (migrando para OVH) - Plataforma: dokku
Repositório do Brasil.IO no GitHub
github/turicas/brasil.io
# Brasil.IO - Quem está usando?

Leia a matéria

Acesse a matéria

Acesse a matéria

Acesse a matéria

eleicoes.poder360.com.br

perfilpolitico.serenata.ai

transparenciapartidaria.org
## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

coda.escoladedados.org

23 e 24 de novembro de 2019
São Paulo/SP

Cerveja com Dados (meetup.com)

t.me/python_pr

Logo PythonSul
pythonsul.org
PythonSul 2019 em Curitiba

?

Happy hacking!


{twitter,
github,
youtube,
slideshare,
instagram,
telegram}
/turicas

turicas@brasil.io