Jornalismo de Dados: Programando a Democracia no Brasil

Turicas aka Álvaro Justen

The Developers Conference SP 2018

21 de julho de 2018 - São Paulo/SP

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

bit.ly/turicas-tdcsp

## MUITO OBRIGADO! - Carol Code - **Guto Maia** - Samuka Sampaio

Software Livre & Python

Desde 2004/2005

# Agenda - Democracia? - Transparência - Dados abertos - Jornalismo de dados - O que é? - Exemplos de produtos jornalísticos - **Código** - Web scraping - Do PDF ao CSV - [Brasil.IO](http://brasil.io) - O que é - Como contribuir

“ Democracia é um regime político em que todos os cidadãos elegíveis participam igualmente — diretamente ou através de representantes eleitos — na proposta, no desenvolvimento e na criação de leis, [...]
Ela abrange as condições sociais, econômicas e culturais que permitem o exercício livre e igual da autodeterminação política. ”

-- Wikipedia

“ De acordo com o governo brasileiro, o controle social é a participação da sociedade civil nos processos de planejamento, acompanhamento, monitoramento e avaliação das ações da gestão pública e na execução das políticas e programas públicos. ”

-- Wikipedia

Operação Serenata de Amor

serenata.ai

“ [A CGU] acredita que a transparência é o melhor antídoto contra corrupção, dado que ela é mais um mecanismo indutor de que os gestores públicos ajam com responsabilidade.
Uma gestão pública transparente permite à sociedade, com informações, colaborar no controle das ações de seus governantes, com intuito de checar se os recursos públicos estão sendo usados como deveriam. ”

-- CGU.gov.br

Como?

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”

-- OpenData Handbook (definição de Open Definition)

Mais detalhes:

# Produtos Jornalísticos Baseados em Código

generonumero.media
(em conjunto com Natália Mazotte)

Veja a Edição "Mulheres na Política"

Veja a Edição "Mulheres na Política II"

Veja a Edição "Espaço Público"

Rua: substantivo (ainda) masculino

youtu.be/7yQ8U2tFFq4

apublica.org
(em conjunto com Adriano Belisário)

Acesse a matéria

correio24horas.com.br
(em conjunto com Juan Torres)

Acesse a matéria

theintercept.com/brasil
(em conjunto com Adriano Belisário)

Acesse a matéria

Jornalistas estão chegando!

Curso Gratuito (3.000+ alunos)

pythonic.cafe

youtube.com/c/PythonicCafe

## Como? - [Python](https://www.python.org/) - [scrapy](https://scrapy.org), [urllib](https://docs.python.org/3/library/urllib.html), [requests](http://python-requests.org/) - [rows](https://github.com/turicas/rows) - [lxml](http://lxml.de/), [BeautifulSoup](https://pypi.python.org/pypi/beautifulsoup4) - [sqlite3](https://docs.python.org/3/library/sqlite3.html)

## Python - Fácil de aprender - Ecossistema **incrível** - Comunidade inclusive - MUITO código e material disponível - Alta produtividade - [python.org](https://www.python.org/)

Acesse a matéria

xkcd.com/353

Data Pipeline

schoolofdata.org/methodology

## Houston, we have a problem... ### Qualidade dos Dados ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)

Problema: Acessibilidade

Maior parte do tempo dos projetos de análise de dados:

Trabalhando com Dados Públicos

Repositório da biblioteca rows no GitHub

github/turicas/rows

`rows convert arquivo.pdf arquivo.csv`

Biblioteca rows convertendo PDF para CSV

# Live Coding - `rows print` - `rows convert` - `rows query` - `rows csv2sqlite` - `rows pgimport`

Só código não resolve

“ Restringir acesso a dados públicos é elitizar a democracia. ”

-- Manifesto Brasil.IO

twitter.com/turicas/status/943176715672711168

twitter.com/turicas/status/959120200976224262

twitter.com/turicas/status/960678777096425472

Brasil.IO

O Brasil em dados libertos

Demonstração

## [Brasil.IO](https://brasil.io/) ### Como Colaborar? - Código da plataforma: [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Scripts: melhorando os atuais e criando novos - Sugerindo novos datasets: [brasil.io/datasets/sugira](https://brasil.io/datasets/sugira) - Compartilhando ideias: [chat.brasil.io](https://chat.brasil.io/) - **Doando: [apoia.se/brasilio](https://apoia.se/brasilio)**

2018.pythonbrasil.org.br