Dados Abertos e Acessíveis com Brasil.IO (especial covid19)


Turicas aka Álvaro Justen


Open Data Day Fortaleza

11 de abril de 2020

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

## Agenda - Dados abertos - O que são - Aplicações - Problemas - Brasil.IO - O que é - Projeto covid19

Software Livre & Python

(desde 2004/2005)

       

Data Pipeline


schoolofdata.org/methodology

Dados Abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)


Mais detalhes:

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”
-- Wikipedia

Operação Serenata de Amor

#civictech

Operação Serenata de Amor
serenata.ai

Rosie, a robô

Tweet de RosieDaSerenata
R$ 191 em um restaurante cujos pratos não custam R$ 40, deputado?
twitter.com/tOa_D/status/1058495655184871425
“ Misinformation is false or inaccurate information. Examples of misinformation include false rumors, insults and pranks, while examples of more deliberate disinformation include malicious content such as hoaxes, spearphishing and computational propaganda. ”
-- Wikipedia

Realidade versus Senso Comum


(em conjunto com Juan Torres, para correio24horas.com.br)
Acesse a matéria

(em conjunto com Giulliana Biaconi, para generonumero.media)
Leia a matéria

Jornalismo de Dados

4300+ estudantes!


Fonte: Knight Center, Texas University
“ Data analysis is a process of inspecting, cleansing, transforming and modeling data with the goal of discovering useful information, informing conclusion and supporting decision-making. ”
-- Wikipedia

Driva: Inteligência em Vendas
(B2B)

Driva - Inteligência em Vendas
driva.com.br

Driva: Exemplo

Driva - Inteligência em Vendas

Maior parte do tempo dos projetos de análise de dados:

## Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Causos da Transparência Brasileira

Migram-se os ministérios, sem dados

Estrelando: Ministério da Justiça

Tweet de Turicas sobre lista de beneficiados da lei da anistia
twitter.com/turicas/status/1112491956314259457

Dado pago! (???)

Estrelando: Receita Federal

Tweet de Turicas
https://twitter.com/turicas/status/1019272233095745537

Lentidão ao baixar (ETA: 4d)

Estrelando: Receita Federal


twitter.com/turicas/status/1114185311372873729

Formato Proprietário

Estrelando: Receita Federal

Dado disperso e não padronizado

Estrelando: Conselho Nacional de Justiça

Tweet de Turicas

Formato não estruturado

Estrelando: INEMA/BA

## Problemas de Usabilidade de Dados - **Formato** (qualidade técnica) - Exemplo: Boletim de balneabilidade em PDF (INEMA/BA) - **Dispersão** - Exemplo: Filiações partidárias em 945 ZIPs com CSVs (TSE) - **Quantidade** de dados - Exemplo: 18 milhões de sócios (RFB) - **Domínio** da área - Exemplo: o que é unidade eleitoral? (TSE)
## Soluções - **Educação tecnológica** - Do-it-yourself - Interdisciplinaridade - **Libertação de dados** - Dados menos dispersos - Formato aberto - **Melhorar ferramentas** - Software livre - **Pressão por dados melhores** - Dar visibilidade aos problemas - Usar a LAI
rows convert arquivo.pdf arquivo.csv Biblioteca rows convertendo PDF para CSV
github.com/turicas/balneabilidade-brasil

Brasil.IO

O Brasil em dados libertos

Logo Brasil.IO

Demonstração

covid19

## Dados: Ministério da Saúde - Histórico não disponível - Site fora do ar constantemente - Falta de dados mais locais
## Dados: Secretarias Estaduais de Saúde - Formato não estruturado (PDF, imagem etc.) - Local não centralizado (mais de um site, Twitter, Instagram etc.) - Falta de indexação dos boletins diários - Metodologia alterada durante o tempo - Falta de detalhes e padronização (faixa etária)
## Dados: Brasil.IO - [boletim](https://brasil.io/dataset/covid19/boletim) - [caso](https://brasil.io/dataset/covid19/caso) - [obito_cartorio](https://brasil.io/dataset/covid19/obito_cartorio)
## Links: Brasil.IO - [brasil.io/dataset/covid19](https://brasil.io/dataset/covid19) - [Recomendações para Secretarias de Saúde](https://github.com/turicas/covid19-br/blob/master/recomendacoes.md) - [Documentação da API](https://github.com/turicas/covid19-br/blob/master/api.md) - [FAQ](https://github.com/turicas/covid19-br/blob/master/faq.md) - [Repositório do Brasil.IO no GitHub](https://github.com/turicas/brasil.io) - [Repositório do Brasil.IO/covid19 no GitHub](https://github.com/turicas/covid19-br)
## Contribua com o Brasil.IO! ### [brasil.io/colabore](https://brasil.io/colabore) - Sugerindo datasets e melhorias - Melhorando os scripts de coleta atuais - Criando novos scripts de coleta - Publicando tutoriais no [blog.brasil.io](https://blog.brasil.io/) - **Doando** no [apoia.se/brasilio](https://apoia.se/brasilio)

Dúvidas?

“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io