Introdução a Jornalismo de Dados com Python
Turicas aka Álvaro Justen
24-25 de outubro de 2017 - Recife/PE
# E vocês?
- Quem já programa?
- Quem linguagens?
- Troca de lugares
# Roteiro
- Objetivo: introdução à programação no jornalismo usando Python
- **1) Introdução e Contextualização**
- Programação no jornalismo, Lógica e conceitos básicos de Python
- **2) Acessando bases de dados**
- Formatos de dados, acessando arquivos CSV, criando estatísticas e gerando arquivos CSV
- **3) Capturando dados da Web**
- Como a Web funciona, processos de captura de dados e extração de dados
## Parte 1:
## Introdução e Contextualização
- Programação no jornalismo
- Editor de texto
- Introdução à lógica de programação
- Por que Python?
- Instalação do Python
- Primeiro programa em Python
- Entrada e saída de dados e variáveis
- Tomando decisões com `if` e `else`
## Jornalismo de dados
### Data pipeline / Funil de dados

## Programação: quando usar?
- Captura de dados
- Quando o Excel/Spreadsheet/etc. não dá conta
- Muitos dados
- Filtros muito complexos
- Quando tem **muita** repetição de tarefas chatas
- Visualização e Interatividade
- ...
Programação!
# Lógica de programação
- Programas são conjuntos de algoritmos
- Algoritmos são receitas de bolo
- Compostos por instruções
- "Modo de preparo" da receita
- Lógica + controle
- Exemplo: data pipeline
# Instruções
- Começam com verbo
- Simples, passo-a-passo (imagine ensinar a uma criança)
- Não ambíguas
- Exemplos:
- `Inspirar por 5 segundos`
- `Fechar os olhos`
- `Expirar lentamente`
# Editor de código
- Onde programadores escrevem os programas
- Baixar editor de códigos
- [Atom](http://flight-manual.atom.io/) (Windows, Mac OS X, GNU/Linux)
- Outros exemplos:
- [Notepad++](https://notepad-plus-plus.org/) (Windows)
- [gedit](https://wiki.gnome.org/Apps/Gedit), [kwrite](https://www.kde.org/applications/utilities/kwrite/), [vim](http://www.vim.org/) (GNU/Linux)
- [MacVim](http://macvim-dev.github.io/macvim/) (livre e grátis) e outros (não livres e pagos) (Mac OS X)
# Exercício
- Criar um algoritmo para escovar os dentes
- Um verbo por frase/instrução
- Instruções simples
Resolução
Se o tubo de pasta de dentes estiver vazio:
Pegar um tubo novo na dispensa
Senão:
Pegar o tubo de pasta de dentes no armário
Abrir o tubo
Pegar a escova de dentes
Colocar pasta na escova
Fechar o tubo
Abrir a torneira
Molhar a escova por 2 segundos
Fechar a torneira
Levar a escova à boca
Repetir para cada dente:
Movimentar a escova de maneira circular
Ir para o próximo dente
Escovar a língua
Abrir a torneira
Enquanto a boca estiver com pasta de dentes:
Enxaguar a boca
Limpar a escova
Fechar a torneira
# Observações
- Linguagem formal (?)
- Variáveis (nomes)
- Boas práticas
- Granularidade ("nível")
- Estruturas de controle de fluxo:
- Enquanto ...
- E se ...
## Fluxo de Criação de Programas
- Entender o problema
- Sistematizar o algoritmo
- Escrever o código
- Executar o programa
## Como instruir um computador?
- Computador:
- Processador
- Memória RAM
- HD/SSD
- Entrada/saída (rede etc.)
- Linguagens de programação: **abstrações**
# O que é Python?
- Linguagem de programação
- Criada por Guido Van Rossum no fim da década de 80
- [python.org](http://www.python.org/) (entrar e baixar versão > 3)
- GNU/Linux e Mac OS X: já vem instalado (mas em geral é v2)
## Python - Características
- Software livre
- Fácil de aprender
- Propósito geral
- Largamente utilizada
- Comunidade incrível
- Baterias incluídas
## Python - Quem usa?
- Google
- NASA
- Mozilla Foundation
- Globo.com
- Dropbox
- ...
## Python - Comunidade
- [Associação Python Brasil (APyB)](http://associacao.python.org.br/)
- [python-brasil no Google Groups](https://groups.google.com/forum/#!forum/python-brasil)
- Grupos no Telegram:
- [pybr - roda de conversa](https://t.me/pythonbr)
- [PyCoding pt_BR](https://t.me/PyCoding)
- [Data science e Python](https://t.me/datasciencepython)
- Diversos grupos locais
- No Facebook:
- [Página PythonBrasil](https://www.facebook.com/pythonbrasil/) (oficial da APyB)
- [Grupo Python Brasil - Programadores](https://www.facebook.com/groups/python.brasil/?ref=br_rs)
## Python - Eventos
- Nível regional:
- [Caipyra](http://caipyra.python.org.br/) (Ribeirão Preto/SP)
- [Python Nordeste](http://pythonnordeste.org/) (2017: São Luís/MA)
- [Python Sudeste](http://pythonsudeste.org/) (2017: Rio de Janeiro/RJ)
- [PyCon Amazônia](http://amazonia.python.org.br/) (2017: Manaus)
- [Python Sul](http://pythonsul.org/) (2017: Caxias do Sul/RS)
- Nível nacional:
- [Python Brasil](http://www.pythonbrasil.com.br/) (2017: BH/MG, 2018: Natal/RN)
- [PyConUS](https://us.pycon.org/2017/)
- [PyConAr](http://ar.pycon.org/)
- ...
Primeiro Verbo em Python
print
Arquivo: hello.py
print("Olá, Recife!")
print?
## Estrutura dos Programas
- Entrada
- (...algo acontece...)
- Saída
- Código + dados
Saudando pelo nome
Arquivo: hello2.py
nome = input('Qual seu nome?')
print('Olá, ' + nome) # o "+" junta duas strings
# isso é um comentário e o Python vai ignorá-lo
Computando
Arquivo: soma.py
valor1 = input('Digite um número:')
valor2 = input('Digite outro número:')
print(valor1 + valor2)
## Alguns Tipos de Dados
- Strings (`str`)
- Exemplo: `"Álvaro"` (ou `'Álvaro'`)
- Números inteiros (`int`)
- Exemplo: `42`
Computando - Corrigido
Arquivo: soma_corrigido.py
# lembra de f(g(x))?
valor1 = int(input('Digite um número:'))
valor2 = int(input('Digite outro número:'))
print(valor1 + valor2)
## Outros Tipos de Dados
- Números racionais (`float`)
- Exemplo: `3.14`
- Números complexos (`complex`)
- Exemplo: `1 + 2j`
Computando - Números reais
Arquivo: soma_reais.py
valor1 = float(input('Digite um número:'))
valor2 = float(input('Digite outro número:'))
print(valor1 + valor2)
## Operadores Matemáticos
### Válidos para tipos de dados numéricos
- `+` soma
- `-` subtração
- `*` multiplicação
- `/` divisão
- `**` exponenciação
- `%` resto da divisão
- `//` divisão inteira
- `(` e `)` mudam precedência
- Exemplo: `(2 + 5) * 6`
## Exercício
## Arquivo: `media.py`
- Ler 2 números racionais (`float`)
- Mostrar a média
Resolução - Média
Arquivo: media.py
valor1 = float(input('Digite um número:'))
valor2 = float(input('Digite outro número:'))
media = (valor1 + valor2) / 2
print('A média é: ' + str(media))
E se... ?
Arquivo: condicao.py
valor1 = float(input("Digite um número:"))
valor2 = float(input("Digite outro número:"))
if valor1 > 9000 and valor2 > 9000:
print("OVER 9K!")
else:
print("Valores baixos =/")
## Operadores Lógicos
### Resultam em verdadeiro/falso
- `<` menor que
- `>` maior que
- `<=` menor ou igual que
- `>=` maior ou igual que
- `==` igual
- `!=` diferente
- `or`
- `and`
- `not`
# Exercício
- Modificar `media.py` para que ele se recuse a utilizar números negativos
Resolução - Média Positivos
Arquivo: media_positivos.py
valor1 = float(input("Digite um número:"))
valor2 = float(input("Digite outro número:"))
if valor1 < 0 or valor2 < 0:
print("Só faço com positivos.")
else:
print((valor1 + valor2) / 2)
## Parte 2:
## Acessando Bases de Dados
- Formatos de Dados
- Acessando arquivos CSV
- Criando estatísticas
- Gerando arquivos CSV
- Exemplo: bases GN
## Formato de Dados
- Formatos mais conhecidos:
- CSV (comma-separated values)
- XLS (Microsoft Excel - antigo)
- XLSX (Microsoft Excel - novo)
- ODS (LibreOffice Calc)
- JSON (utilizado na Web)
- ...
- Cada formato é "lido" de uma maneira
- Ler/escrever
## Baterias Incluídas!
- Python já vem com diversas bibliotecas
- Evitam retrabalho
- `import biblioteca`
Lendo CSVs
Arquivo: brasil.py
import csv
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.reader(arquivo):
print(registro)
## Mais Tipos de Dados
- Listas (`list`)
- estado: `registro[0]`
- municipio: `registro[1]`
- habitantes: `registro[2]`
- area: `registro[3]`
- Programadores começam a contar do zero :)
Somando habitantes
Arquivo: brasil2.py
import csv
arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.reader(arquivo):
valor = registro[2]
if valor != 'habitantes': # pula primeira linha
#populacao = populacao + int(valor)
populacao += int(valor)
print(populacao) # mostra o acumulado a cada município
print(populacao) # mostra o acumulado final
## Exercício
- Somar habitantes somente dos municípios de Pernambuco
- Mostrar total de habitantes do estado
Somando habitantes de Pernambuco
Arquivo: pernambuco.py
import csv
arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.reader(arquivo):
if registro[0] == 'PE': # engloba o filtro da primeira linha
populacao += int(registro[2])
print(populacao)
## Exercício
- Receber a sigla de um estado (`input`)
- Somar habitantes dos municípios desse estado
- Mostrar total de habitantes do estado
Resolução
Arquivo: habitantes_estado.py
import csv
estado = input('Por qual estado gostaria de filtrar? ')
populacao = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.reader(arquivo):
if registro[0] == estado.upper():
populacao += int(registro[2])
print(populacao)
## Mais Tipos de Dados
- Dicionários (`dict`)
- Cada chave possui um valor
- Chaves podem ser (quase) qualquer coisa
- Nas lista são sempre números e não temos controle
- Valores podem ser qualquer coisa
- Como nas listas
- Exemplo:
- `d = {"linguagem": "python", 42: "número"}`
- `d["linguagem"]` devolve `"python"`
- `d[42]` devolve `"número"`
Arquivo: habitantes_estado_dicionario.py
import csv
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
print(registro)
Arquivo: habitantes_estado_dicionario.py
import csv
estado = input('Por qual estado gostaria de filtrar? ')
populacao = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
if registro['estado'] == estado.upper():
populacao += int(registro['habitantes'])
print(populacao)
## Formatação de strings
- `f'modelo com {variavel}'`
- Em vez de `'modelo com' + str(variavel)`
- `numero = 42`
- `f'O valor é: {numero}'` devolve `'O valor é: 42'`
Arquivo: habitantes_estado_fstr.py
import csv
estado = input('Digite a sigla: ').upper()
total = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
if registro['estado'] == estado:
total += int(registro['habitantes'])
print(f'Total p/ {estado}: {total} hab.')
## Exercício
- Receber a sigla de um estado (`input`)
- **Para cada município**, calcular e mostrar a densidade demográfica
- Algoritmo:
- Abrir arquivo CSV com municípios
- Para cada registro (município):
- Se o estado for o estado digitado:
- Calcula densidade (`habitantes / area`)
- Mostra **nome** do município e a **densidade** calculada
Arquivo: densidade_pe.py
import csv
estado = input('Digite a sigla: ').upper()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
if registro['estado'] == estado:
municipio = registro['municipio']
habitantes = int(registro['habitantes'])
area = float(registro['area'])
densidade = habitantes / area
print(f'{municipio}/{estado}: {densidade:.2f} hab/km².')
## Exercício
- E se eu quisesse para o nordeste inteiro?
Arquivo: nordeste.py
import csv
arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.DictReader(arquivo):
estado = registro['estado']
if estado == 'AL' or estado == 'BA' or estado == 'CE' or \
estado == 'MA' or estado == 'PB' or estado == 'PE' or \
estado == 'PI' or estado == 'RN' or estado == 'SE':
populacao += int(registro['habitantes'])
print(f'O nordeste possui {populacao} habitantes.')
Arquivo: nordeste.py
- Melhoria:
elemento in lista
import csv
nordeste = ['AL', 'BA', 'CE', 'MA', 'PB', 'PE', 'PI', 'RN', 'SE']
arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.DictReader(arquivo):
if registro['estado'] in nordeste:
populacao += int(registro['habitantes'])
print(f'O nordeste possui {populacao} habitantes.')
## Exercício
- E se eu quisesse para cada estado do Brasil?
- Tipo de dado para contar: `collections.Counter`
- `contador.most_common(5)`
## Exercício
- Criar um contador
- Contar total de habitantes por estado
- Mostrar os 5 estados com mais habitantes
Arquivo: habitantes_por_estado.py
import csv
from collections import Counter
contador = Counter()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
contador[registro['estado']] += int(registro['habitantes'])
print(contador.most_common(5))
Arquivo: habitantes_por_estado_2.py
import csv
from collections import Counter
contador = Counter()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
contador[registro['estado']] += int(registro['habitantes'])
for estado, habitantes in contador.most_common(5):
print(f'{estado} possui {habitantes} habitantes.')
## Exercício
- E se eu quisesse para cada região do Brasil?
- `if`/`elif`/`else`
Arquivo: habitantes_por_regiao.py
import csv
from collections import Counter
norte = ['AC', 'AM', 'AP', 'PA', 'RO', 'RR', 'TO']
nordeste = ['AL', 'BA', 'CE', 'MA', 'PB', 'PE', 'PI', 'RN', 'SE']
centro_oeste = ['DF', 'GO', 'MS', 'MT']
sudeste = ['ES', 'MG', 'RJ', 'SP']
sul = ['PR', 'RS', 'SC']
arquivo = open('brasil.csv', encoding='utf8')
contador = Counter()
for registro in csv.DictReader(arquivo):
estado = registro['estado']
habitantes = int(registro['habitantes'])
if estado in norte:
contador['norte'] += habitantes
elif estado in nordeste:
contador['nordeste'] += habitantes
elif estado in centro_oeste:
contador['centro oeste'] += habitantes
elif estado in sudeste:
contador['sudeste'] += habitantes
elif estado in sul:
contador['sul'] += habitantes
print(f"Norte: {contador['norte']}")
print(f"Nordeste: {contador['nordeste']}")
print(f"Centro-Oeste: {contador['centro oeste']}")
print(f"Sudeste: {contador['sudeste']}")
print(f"Sul: {contador['sul']}")
## Exercício
- E se eu quisesse o resultado por estado em um novo CSV?
- `csv.writer`
Exemplo: Criando CSV
Arquivo: habitantes_por_estado_csv.py
import csv
from collections import Counter
contador = Counter()
arquivo = open('brasil.csv', encoding='utf-8')
for registro in csv.DictReader(arquivo):
contador[registro['estado']] += int(registro['habitantes'])
saida = csv.writer(
open('habitantes.csv', mode='w', encoding='utf8'),
lineterminator='\n'
)
saida.writerow(['estado', 'habitantes'])
for estado, habitantes in contador.most_common():
saida.writerow([estado, habitantes])
## Exercício
- E se eu quisesse também a densidade demográfica?
- Usar outro `Counter`
CSV com Densidade Demográfica
Arquivo: densidade_por_estado_csv.py
import csv
from collections import Counter
# Contando
contador_populacao = Counter()
contador_area = Counter()
arquivo = open('brasil.csv', encoding='utf-8')
for registro in csv.DictReader(arquivo):
estado = registro['estado']
habitantes = int(registro['habitantes'])
area = float(registro['area'])
contador_populacao[estado] += habitantes
contador_area[estado] += area
# Criando o arquivo de saída
saida = csv.writer(
open('densidade-por-estado.csv', mode='w', encoding='utf8'),
lineterminator='\n'
)
saida.writerow(['estado', 'habitantes', 'area', 'densidade'])
for estado, habitantes in contador_populacao.most_common():
area = contador_area[estado]
densidade = habitantes / area
saida.writerow([estado, habitantes, area, densidade])
## Exercício - Consultar bases
- [`candidatos-2016-PE.csv`](https://gist.github.com/turicas/3ac8c1fbf8e1df7c8491d70b51183260/raw/7149cafae3234b3764637571942d9fabb0bc0ec9/candidatos-2016-PE.csv)
- [`votacao-2016-PE.csv`](https://gist.github.com/turicas/c44ec619a374a173ebe2b1fce827c23c/raw/f60e4a3a886b82330abc7e47aba01eb6a75b109f/votacao-2016-PE.csv)
- Primeiro, abra os arquivos para conhecer os dados
- Faça perguntas como:
- Existe diversidade de gênero nas candidaturas à prefeitura?
- As etnias no Brasil estão bem representadas?
- Quais são as profissões dos eleitos?
- Analisar suas próprias bases de dados
- Caso esteja em `xls`, `xlsx` ou `ods`, converta para CSV com Microsoft Excel, LibreOffice Calc ou Google Spreadsheets
## Parte 3:
## Capturando dados da Web
- Dados Públicos/abertos
- Como a Web funciona?
- Web scraping: crawling + parsing
- Exemplos:
- Balas perdidas
- Dados IBGE
Dados Públicos
Informações de interesse público disponíveis como dados abertos
“
Dados abertos são dados que podem ser livremente usados,
reutilizados e redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de atribuição da fonte e
compartilhamento pelas mesmas regras.
”
-- OpenData
Handbook (definição de Open Definition)
## Lei de Acesso à Informação
- [Lei 12.527/2011](http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm)
- Em vigor desde 16 de maio de 2012
# 5-Star Data
## [5stardata.info](http://5stardata.info/)

“
Quanto menos acessível está um dado, mais fechado ele está.
”
## Para Saber Mais
- [opendatahandbook.org](http://opendatahandbook.org/)
- [kit.dados.gov.br](http://kit.dados.gov.br/)
- [escoladedados.org](https://escoladedados.org/)
## Como a Internet e a Web funcionam?
- [Submarine cable map](https://www.submarinecablemap.com/)
- Protocolos:
- [DNS](https://en.wikipedia.org/wiki/DNS)
- [HTTP](https://en.wikipedia.org/wiki/HTTP)
- Formatos:
- [HTML](https://en.wikipedia.org/wiki/HTML)
- [JSON](http://www.json.org/)
## Baterias não incluídas
- [Python Package Index (PyPI)](https://pypi.python.org/)
- `pip`: comando para instalar pacotes
- Instalar 3 pacotes disponíveis no PyPI:
- `pip install requests lxml rows`
## Captura e análise
### Balas Perdidas
- Quais notícias possuem o termo "bala perdida"?
- Entrada: [bit.ly/bala-perdida-csv](http://bit.ly/bala-perdida-csv) (salvar como `bala-perdida.csv`)
- [Ver código](https://github.com/turicas/slides/blob/gh-pages/python/abraji12/exemplos/notificacoes/bala_perdida.py)
Busca por Balas Perdidas
Arquivo: balas_perdidas.py
import csv
import requests
encontrados, nao_encontrados = 0, 0
materias = csv.DictReader(open('bala-perdida.csv', encoding='utf-8'))
for materia in materias:
link = materia['link']
print(f'Baixando {link}...')
pagina = requests.get(link)
if 'bala perdida' in pagina.text:
print('Termo encontrado!')
encontrados += 1
else:
print('Termo não encontrado')
nao_encontados += 1
print(f'Encontrados: {encontrados}')
print('Não encontrados: {nao_encontrados}')
## Captura e análise
### IBGE
- Qual a população e área dos municípios brasileiros?
- Entrada: [bit.ly/ibge-habitantes-pe](bit.ly/ibge-habitantes-pe)
Baixar a população de um estado
Arquivo: populacao_estado_ibge.py