Introdução a Jornalismo de Dados com Python


Turicas aka Álvaro Justen


24-25 de outubro de 2017 - Recife/PE

Prazer! =)

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@pythonic.cafe

Blog: turicas.info


escoladedados.org


generonumero.media


impacto.jor.br


simplefractal.com


pythonic.cafe

youtube.com/c/PythonicCafe

# E vocês? - Quem já programa? - Quem linguagens? - Troca de lugares
# Roteiro - Objetivo: introdução à programação no jornalismo usando Python - **1) Introdução e Contextualização** - Programação no jornalismo, Lógica e conceitos básicos de Python - **2) Acessando bases de dados** - Formatos de dados, acessando arquivos CSV, criando estatísticas e gerando arquivos CSV - **3) Capturando dados da Web** - Como a Web funciona, processos de captura de dados e extração de dados
## Parte 1: ## Introdução e Contextualização - Programação no jornalismo - Editor de texto - Introdução à lógica de programação - Por que Python? - Instalação do Python - Primeiro programa em Python - Entrada e saída de dados e variáveis - Tomando decisões com `if` e `else`
## Jornalismo de dados ### Data pipeline / Funil de dados ![Funil de Dados](images/funil-de-dados.png)
## Programação: quando usar? - Captura de dados - Quando o Excel/Spreadsheet/etc. não dá conta - Muitos dados - Filtros muito complexos - Quando tem **muita** repetição de tarefas chatas - Visualização e Interatividade - ...

Programação!

Let's automate ALL the things
# Lógica de programação - Programas são conjuntos de algoritmos - Algoritmos são receitas de bolo - Compostos por instruções - "Modo de preparo" da receita - Lógica + controle - Exemplo: data pipeline
# Instruções - Começam com verbo - Simples, passo-a-passo (imagine ensinar a uma criança) - Não ambíguas - Exemplos: - `Inspirar por 5 segundos` - `Fechar os olhos` - `Expirar lentamente`
# Editor de código - Onde programadores escrevem os programas - Baixar editor de códigos - [Atom](http://flight-manual.atom.io/) (Windows, Mac OS X, GNU/Linux) - Outros exemplos: - [Notepad++](https://notepad-plus-plus.org/) (Windows) - [gedit](https://wiki.gnome.org/Apps/Gedit), [kwrite](https://www.kde.org/applications/utilities/kwrite/), [vim](http://www.vim.org/) (GNU/Linux) - [MacVim](http://macvim-dev.github.io/macvim/) (livre e grátis) e outros (não livres e pagos) (Mac OS X)
# Exercício - Criar um algoritmo para escovar os dentes - Um verbo por frase/instrução - Instruções simples

Resolução

Se o tubo de pasta de dentes estiver vazio:
	Pegar um tubo novo na dispensa
Senão:
	Pegar o tubo de pasta de dentes no armário
Abrir o tubo
Pegar a escova de dentes
Colocar pasta na escova
Fechar o tubo
Abrir a torneira
Molhar a escova por 2 segundos
Fechar a torneira
Levar a escova à boca
Repetir para cada dente:
	Movimentar a escova de maneira circular
	Ir para o próximo dente
Escovar a língua
Abrir a torneira
Enquanto a boca estiver com pasta de dentes:
	Enxaguar a boca
Limpar a escova
Fechar a torneira
# Observações - Linguagem formal (?) - Variáveis (nomes) - Boas práticas - Granularidade ("nível") - Estruturas de controle de fluxo: - Enquanto ... - E se ...
## Fluxo de Criação de Programas - Entender o problema - Sistematizar o algoritmo - Escrever o código - Executar o programa
## Como instruir um computador? - Computador: - Processador - Memória RAM - HD/SSD - Entrada/saída (rede etc.) - Linguagens de programação: **abstrações**

Genealogia das Linguagens de Programação


Fonte: github.com/stereobooster/programming-languages-genealogical-tree
# O que é Python? - Linguagem de programação - Criada por Guido Van Rossum no fim da década de 80 - [python.org](http://www.python.org/) (entrar e baixar versão > 3) - GNU/Linux e Mac OS X: já vem instalado (mas em geral é v2)
## Python - Características - Software livre - Fácil de aprender - Propósito geral - Largamente utilizada - Comunidade incrível - Baterias incluídas
## Python - Quem usa? - Google - NASA - Mozilla Foundation - Globo.com - Dropbox - ...
## Python - Comunidade - [Associação Python Brasil (APyB)](http://associacao.python.org.br/) - [python-brasil no Google Groups](https://groups.google.com/forum/#!forum/python-brasil) - Grupos no Telegram: - [pybr - roda de conversa](https://t.me/pythonbr) - [PyCoding pt_BR](https://t.me/PyCoding) - [Data science e Python](https://t.me/datasciencepython) - Diversos grupos locais - No Facebook: - [Página PythonBrasil](https://www.facebook.com/pythonbrasil/) (oficial da APyB) - [Grupo Python Brasil - Programadores](https://www.facebook.com/groups/python.brasil/?ref=br_rs)
## Python - Eventos - Nível regional: - [Caipyra](http://caipyra.python.org.br/) (Ribeirão Preto/SP) - [Python Nordeste](http://pythonnordeste.org/) (2017: São Luís/MA) - [Python Sudeste](http://pythonsudeste.org/) (2017: Rio de Janeiro/RJ) - [PyCon Amazônia](http://amazonia.python.org.br/) (2017: Manaus) - [Python Sul](http://pythonsul.org/) (2017: Caxias do Sul/RS) - Nível nacional: - [Python Brasil](http://www.pythonbrasil.com.br/) (2017: BH/MG, 2018: Natal/RN) - [PyConUS](https://us.pycon.org/2017/) - [PyConAr](http://ar.pycon.org/) - ...

Primeiro Verbo em Python

print

Arquivo: hello.py

print("Olá, Recife!")

print?

## Estrutura dos Programas - Entrada - (...algo acontece...) - Saída - Código + dados

Saudando pelo nome

Arquivo: hello2.py

nome = input('Qual seu nome?')
print('Olá, ' + nome) # o "+" junta duas strings
# isso é um comentário e o Python vai ignorá-lo

Computando

Arquivo: soma.py

valor1 = input('Digite um número:')
valor2 = input('Digite outro número:')
print(valor1 + valor2)
## Alguns Tipos de Dados - Strings (`str`) - Exemplo: `"Álvaro"` (ou `'Álvaro'`) - Números inteiros (`int`) - Exemplo: `42`

Computando - Corrigido

Arquivo: soma_corrigido.py

# lembra de f(g(x))?
valor1 = int(input('Digite um número:'))
valor2 = int(input('Digite outro número:'))
print(valor1 + valor2)
## Outros Tipos de Dados - Números racionais (`float`) - Exemplo: `3.14` - Números complexos (`complex`) - Exemplo: `1 + 2j`

Computando - Números reais

Arquivo: soma_reais.py

valor1 = float(input('Digite um número:'))
valor2 = float(input('Digite outro número:'))
print(valor1 + valor2)
## Operadores Matemáticos ### Válidos para tipos de dados numéricos - `+` soma - `-` subtração - `*` multiplicação - `/` divisão - `**` exponenciação - `%` resto da divisão - `//` divisão inteira - `(` e `)` mudam precedência - Exemplo: `(2 + 5) * 6`
## Exercício ## Arquivo: `media.py` - Ler 2 números racionais (`float`) - Mostrar a média

Resolução - Média

Arquivo: media.py

valor1 = float(input('Digite um número:'))
valor2 = float(input('Digite outro número:'))
media = (valor1 + valor2) / 2
print('A média é: ' + str(media))

E se... ?

Arquivo: condicao.py

valor1 = float(input("Digite um número:"))
valor2 = float(input("Digite outro número:"))

if valor1 > 9000 and valor2 > 9000:
    print("OVER 9K!")
else:
    print("Valores baixos =/")
## Operadores Lógicos ### Resultam em verdadeiro/falso - `<` menor que - `>` maior que - `<=` menor ou igual que - `>=` maior ou igual que - `==` igual - `!=` diferente - `or` - `and` - `not`
# Exercício - Modificar `media.py` para que ele se recuse a utilizar números negativos

Resolução - Média Positivos

Arquivo: media_positivos.py

valor1 = float(input("Digite um número:"))
valor2 = float(input("Digite outro número:"))

if valor1 < 0 or valor2 < 0:
    print("Só faço com positivos.")
else:
    print((valor1 + valor2) / 2)
## Parte 2: ## Acessando Bases de Dados - Formatos de Dados - Acessando arquivos CSV - Criando estatísticas - Gerando arquivos CSV - Exemplo: bases GN
## Formato de Dados - Formatos mais conhecidos: - CSV (comma-separated values) - XLS (Microsoft Excel - antigo) - XLSX (Microsoft Excel - novo) - ODS (LibreOffice Calc) - JSON (utilizado na Web) - ... - Cada formato é "lido" de uma maneira - Ler/escrever
## Baterias Incluídas! - Python já vem com diversas bibliotecas - Evitam retrabalho - `import biblioteca`

Lendo CSVs

Arquivo: brasil.py

import csv

arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.reader(arquivo):
    print(registro)
## Mais Tipos de Dados - Listas (`list`) - estado: `registro[0]` - municipio: `registro[1]` - habitantes: `registro[2]` - area: `registro[3]` - Programadores começam a contar do zero :)

Somando habitantes

Arquivo: brasil2.py

import csv

arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.reader(arquivo):
    valor = registro[2]
    if valor != 'habitantes':  # pula primeira linha
        #populacao = populacao + int(valor)
        populacao += int(valor)
        print(populacao)  # mostra o acumulado a cada município
print(populacao)  # mostra o acumulado final
## Exercício - Somar habitantes somente dos municípios de Pernambuco - Mostrar total de habitantes do estado

Somando habitantes de Pernambuco

Arquivo: pernambuco.py

import csv

arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.reader(arquivo):
    if registro[0] == 'PE':  # engloba o filtro da primeira linha
        populacao += int(registro[2])
print(populacao)
## Exercício - Receber a sigla de um estado (`input`) - Somar habitantes dos municípios desse estado - Mostrar total de habitantes do estado

Resolução

Arquivo: habitantes_estado.py

import csv

estado = input('Por qual estado gostaria de filtrar? ')
populacao = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.reader(arquivo):
    if registro[0] == estado.upper():
        populacao += int(registro[2])
print(populacao)
## Mais Tipos de Dados - Dicionários (`dict`) - Cada chave possui um valor - Chaves podem ser (quase) qualquer coisa - Nas lista são sempre números e não temos controle - Valores podem ser qualquer coisa - Como nas listas - Exemplo: - `d = {"linguagem": "python", 42: "número"}` - `d["linguagem"]` devolve `"python"` - `d[42]` devolve `"número"`

Arquivo: habitantes_estado_dicionario.py

import csv

arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    print(registro)

Arquivo: habitantes_estado_dicionario.py

import csv

estado = input('Por qual estado gostaria de filtrar? ')
populacao = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    if registro['estado'] == estado.upper():
        populacao += int(registro['habitantes'])
print(populacao)
## Formatação de strings - `f'modelo com {variavel}'` - Em vez de `'modelo com' + str(variavel)` - `numero = 42` - `f'O valor é: {numero}'` devolve `'O valor é: 42'`

Arquivo: habitantes_estado_fstr.py

import csv

estado = input('Digite a sigla: ').upper()
total = 0
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    if registro['estado'] == estado:
        total += int(registro['habitantes'])
print(f'Total p/ {estado}: {total} hab.')
## Exercício - Receber a sigla de um estado (`input`) - **Para cada município**, calcular e mostrar a densidade demográfica - Algoritmo: - Abrir arquivo CSV com municípios - Para cada registro (município): - Se o estado for o estado digitado: - Calcula densidade (`habitantes / area`) - Mostra **nome** do município e a **densidade** calculada

Arquivo: densidade_pe.py

import csv

estado = input('Digite a sigla: ').upper()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    if registro['estado'] == estado:
        municipio = registro['municipio']
        habitantes = int(registro['habitantes'])
        area = float(registro['area'])
        densidade = habitantes / area
        print(f'{municipio}/{estado}: {densidade:.2f} hab/km².')
## Exercício - E se eu quisesse para o nordeste inteiro?

Arquivo: nordeste.py

import csv

arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.DictReader(arquivo):
    estado = registro['estado']
    if estado == 'AL' or estado == 'BA' or estado == 'CE' or \
            estado == 'MA' or estado == 'PB' or estado == 'PE' or \
            estado == 'PI' or estado == 'RN' or estado == 'SE':
        populacao += int(registro['habitantes'])

print(f'O nordeste possui {populacao} habitantes.')

Arquivo: nordeste.py

  • Melhoria: elemento in lista
import csv

nordeste = ['AL', 'BA', 'CE', 'MA', 'PB', 'PE', 'PI', 'RN', 'SE']
arquivo = open('brasil.csv', encoding='utf8')
populacao = 0
for registro in csv.DictReader(arquivo):
    if registro['estado'] in nordeste:
        populacao += int(registro['habitantes'])

print(f'O nordeste possui {populacao} habitantes.')
## Exercício - E se eu quisesse para cada estado do Brasil? - Tipo de dado para contar: `collections.Counter` - `contador.most_common(5)`
## Exercício - Criar um contador - Contar total de habitantes por estado - Mostrar os 5 estados com mais habitantes

Arquivo: habitantes_por_estado.py

import csv
from collections import Counter

contador = Counter()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    contador[registro['estado']] += int(registro['habitantes'])

print(contador.most_common(5))

Arquivo: habitantes_por_estado_2.py

  • Resultado: um por linha
import csv
from collections import Counter

contador = Counter()
arquivo = open('brasil.csv', encoding='utf8')
for registro in csv.DictReader(arquivo):
    contador[registro['estado']] += int(registro['habitantes'])

for estado, habitantes in contador.most_common(5):
    print(f'{estado} possui {habitantes} habitantes.')
## Exercício - E se eu quisesse para cada região do Brasil? - `if`/`elif`/`else`

Arquivo: habitantes_por_regiao.py

import csv
from collections import Counter

norte = ['AC', 'AM', 'AP', 'PA', 'RO', 'RR', 'TO']
nordeste = ['AL', 'BA', 'CE', 'MA', 'PB', 'PE', 'PI', 'RN', 'SE']
centro_oeste = ['DF', 'GO', 'MS', 'MT']
sudeste = ['ES', 'MG', 'RJ', 'SP']
sul = ['PR', 'RS', 'SC']

arquivo = open('brasil.csv', encoding='utf8')
contador = Counter()
for registro in csv.DictReader(arquivo):
    estado = registro['estado']
    habitantes = int(registro['habitantes'])

    if estado in norte:
        contador['norte'] += habitantes
    elif estado in nordeste:
        contador['nordeste'] += habitantes
    elif estado in centro_oeste:
        contador['centro oeste'] += habitantes
    elif estado in sudeste:
        contador['sudeste'] += habitantes
    elif estado in sul:
        contador['sul'] += habitantes

print(f"Norte:        {contador['norte']}")
print(f"Nordeste:     {contador['nordeste']}")
print(f"Centro-Oeste: {contador['centro oeste']}")
print(f"Sudeste:      {contador['sudeste']}")
print(f"Sul:          {contador['sul']}")
## Exercício - E se eu quisesse o resultado por estado em um novo CSV? - `csv.writer`

Exemplo: Criando CSV

Arquivo: habitantes_por_estado_csv.py

import csv
from collections import Counter

contador = Counter()
arquivo = open('brasil.csv', encoding='utf-8')
for registro in csv.DictReader(arquivo):
    contador[registro['estado']] += int(registro['habitantes'])

saida = csv.writer(
        open('habitantes.csv', mode='w', encoding='utf8'),
        lineterminator='\n'
)
saida.writerow(['estado', 'habitantes'])
for estado, habitantes in contador.most_common():
    saida.writerow([estado, habitantes])
## Exercício - E se eu quisesse também a densidade demográfica? - Usar outro `Counter`

CSV com Densidade Demográfica

Arquivo: densidade_por_estado_csv.py

import csv
from collections import Counter

# Contando
contador_populacao = Counter()
contador_area = Counter()
arquivo = open('brasil.csv', encoding='utf-8')
for registro in csv.DictReader(arquivo):
    estado = registro['estado']
    habitantes = int(registro['habitantes'])
    area = float(registro['area'])

    contador_populacao[estado] += habitantes
    contador_area[estado] += area

# Criando o arquivo de saída
saida = csv.writer(
        open('densidade-por-estado.csv', mode='w', encoding='utf8'),
        lineterminator='\n'
)
saida.writerow(['estado', 'habitantes', 'area', 'densidade'])
for estado, habitantes in contador_populacao.most_common():
    area = contador_area[estado]
    densidade = habitantes / area
    saida.writerow([estado, habitantes, area, densidade])
## Exercício - Consultar bases - [`candidatos-2016-PE.csv`](https://gist.github.com/turicas/3ac8c1fbf8e1df7c8491d70b51183260/raw/7149cafae3234b3764637571942d9fabb0bc0ec9/candidatos-2016-PE.csv) - [`votacao-2016-PE.csv`](https://gist.github.com/turicas/c44ec619a374a173ebe2b1fce827c23c/raw/f60e4a3a886b82330abc7e47aba01eb6a75b109f/votacao-2016-PE.csv) - Primeiro, abra os arquivos para conhecer os dados - Faça perguntas como: - Existe diversidade de gênero nas candidaturas à prefeitura? - As etnias no Brasil estão bem representadas? - Quais são as profissões dos eleitos? - Analisar suas próprias bases de dados - Caso esteja em `xls`, `xlsx` ou `ods`, converta para CSV com Microsoft Excel, LibreOffice Calc ou Google Spreadsheets
## Parte 3: ## Capturando dados da Web - Dados Públicos/abertos - Como a Web funciona? - Web scraping: crawling + parsing - Exemplos: - Balas perdidas - Dados IBGE

Dados Públicos

Informações de interesse público disponíveis como dados abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)
## Lei de Acesso à Informação - [Lei 12.527/2011](http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm) - Em vigor desde 16 de maio de 2012
# 5-Star Data ## [5stardata.info](http://5stardata.info/) ![](images/5-star-steps.png)
“ Quanto menos acessível está um dado, mais fechado ele está. ”
## Para Saber Mais - [opendatahandbook.org](http://opendatahandbook.org/) - [kit.dados.gov.br](http://kit.dados.gov.br/) - [escoladedados.org](https://escoladedados.org/)
## Como a Internet e a Web funcionam? - [Submarine cable map](https://www.submarinecablemap.com/) - Protocolos: - [DNS](https://en.wikipedia.org/wiki/DNS) - [HTTP](https://en.wikipedia.org/wiki/HTTP) - Formatos: - [HTML](https://en.wikipedia.org/wiki/HTML) - [JSON](http://www.json.org/)
## Baterias não incluídas - [Python Package Index (PyPI)](https://pypi.python.org/) - `pip`: comando para instalar pacotes - Instalar 3 pacotes disponíveis no PyPI: - `pip install requests lxml rows`
## Captura e análise ### Balas Perdidas - Quais notícias possuem o termo "bala perdida"? - Entrada: [bit.ly/bala-perdida-csv](http://bit.ly/bala-perdida-csv) (salvar como `bala-perdida.csv`) - [Ver código](https://github.com/turicas/slides/blob/gh-pages/python/abraji12/exemplos/notificacoes/bala_perdida.py)

Busca por Balas Perdidas

Arquivo: balas_perdidas.py

import csv
import requests

encontrados, nao_encontrados = 0, 0
materias = csv.DictReader(open('bala-perdida.csv', encoding='utf-8'))
for materia in materias:
    link = materia['link']
    print(f'Baixando {link}...')
    pagina = requests.get(link)

    if 'bala perdida' in pagina.text:
        print('Termo encontrado!')
        encontrados += 1
    else:
        print('Termo não encontrado')
        nao_encontados += 1

print(f'Encontrados: {encontrados}')
print('Não encontrados: {nao_encontrados}')
## Captura e análise ### IBGE - Qual a população e área dos municípios brasileiros? - Entrada: [bit.ly/ibge-habitantes-pe](bit.ly/ibge-habitantes-pe)

Baixar a população de um estado

Arquivo: populacao_estado_ibge.py