O Problema da Qualidade dos Dados - Como Resolvê-lo?


Turicas aka Álvaro Justen


HackFest

17 de agosto de 2018 - João Pessoa/PB

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io


escoladedados.org


impacto.jor.br

Brasil.IO

Logo Brasil.IO

O Brasil em dados libertos

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

“ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade.
Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ”
-- CGU.gov.br
“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”
-- Wikipedia
“ Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...]
Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ”
-- Wikipedia

Data Pipeline


schoolofdata.org/methodology
## *Houston, we have a problem:* ### Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Maior parte do tempo dos projetos de análise de dados:

Trabalhando com Dados Públicos



## Acessibilidade: Problemas - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: 945 ZIPs com CSVs (filiados políticos, TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)
“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO
## Possíveis Soluções - Empoderar a comunidade - Ferramentas - Leis - Dialogar - HackFest - Unir forças - Parcerias - Evitar retrabalho

Empoderar a Comunidade

(criando ferramentas melhores)

rows convert arquivo.pdf arquivo.csv

github/turicas/rows
Biblioteca rows convertendo PDF para CSV
Tweet de Turicas
twitter.com/turicas/status/943176715672711168
Tweet de Turicas
twitter.com/turicas/status/959120200976224262
Tweet de Turicas
twitter.com/turicas/status/960678777096425472
Screenshot post sobre Receita Federal
twitter.com/turicas/status/1019272233095745537

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO
## Desafios - Diminuir burocracia - Financiar projetos
## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

?

Happy hacking!


{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io