Gênero e Número: Python ajudando a entender as questões de gênero brasileiras
Turicas aka Álvaro Justen
07 de outubro de 2017 - Belo Horizonte/MG
$ whoami
Turicas, prazer! =)
Sigam-me os bons:
## Entrevistei Guido van Rossum!

Em breve em **[youtube.com/c/PythonicCafe](https://youtube.com/c/PythonicCafe)**
Software Livre
Desde 2004
Python
Desde 2005
## Roteiro
- Gênero e Número
- Dados abertos
- Desafios
- Código: convertendo, limpando e analisando dados
- Recadinhos
Investigar as questões de gênero no Brasil e América Latina,
com dados abertos e técnicas de jornalismo de dados.
generonumero.media
## Jornalismo Aberto
- Link para as **fontes de dados** utilizados
- **Código-fonte** dos scripts disponível
- Link para planilhas com os **resultados das análises**
- Descrição da **metodologia**
- Exemplo: [Como classificamos mais de 800 mil logradouros brasileiros por gênero](http://www.generonumero.media/como-classificamos-mais-de-800-mil-logradouros-brasileiros-por-genero/)
## A Jornada (Data Pipeline)
### #ddj #datajournalism

Jornalistas
Levantam questões e contam boas histórias
Equipe Gênero e Número
Dados Públicos
Informações de interesse público disponíveis como dados abertos
“
Dados abertos são dados que podem ser livremente usados,
reutilizados e redistribuídos por qualquer pessoa -
sujeitos, no máximo, à exigência de atribuição da fonte e
compartilhamento pelas mesmas regras.
”
-- OpenData
Handbook (definição de Open Definition)
## Lei de Acesso à Informação
- [Lei 12.527/2011](http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm)
- Em vigor desde 16 de maio de 2012
# 5-Star Data
## [5stardata.info](http://5stardata.info/)

“
Quanto menos acessível está um dado, mais fechado ele está.
”
## Para Saber Mais
- [opendatahandbook.org](http://opendatahandbook.org/)
- [kit.dados.gov.br](http://kit.dados.gov.br/)
- [escoladedados.org](https://escoladedados.org/)
Pythonistas
Automação de processos
Dados Abertos - Desafios
Maior parte do tempo dos projetos de análise de dados
Obtendo, verificando e limpando dados
“
O nível de acessibilidade de um dado é um filtro sobre quem
conseguirá utilizá-lo.
”
## Problema: Dados Fechados
### \#temqueverissoaí
- [Por que o CEP deve ser tratado como informação pública](https://www.codigourbano.org/por-que-o-cep-deve-ser-tratado-como-informacao-publica/)
## Problema: Dados Incompletos
### \#temqueverissoaí
- [Por que é tão difícil confiar numa base de dados olímpica](http://www.generonumero.media/por-que-e-tao-dificil-confiar-numa-base-de-dados-olimpica/)
Meu Próprio Leitor/Escritor de CSV
def le_csv(arquivo):
with open(arquivo, encoding='utf-8') as fobj:
return [linha.split(',')
for linha in fobj.readlines()]
def escreve_csv(linhas):
with open(arquivo, mode='w', encoding='utf-8') as fobj:
for linha in linhas:
fobj.writeline(','.join(linha))
rows to the rescue!
## rows
- Biblioteca Python
- Command-Line Interface
- Plugins:
- CSV
- JSON
- HTML (+ XPath)
- TXT
- XLS
- XLSX
- SQLite
- ODS
- Parquet
- (+ outros em desenvolvimento)
csv com Python + rows
import rows
table1 = rows.import_from_csv('data/brazilian-cities.csv')
for row in table1:
print(row)
## Identificação Automática
- Encoding
- Dialeto
- Tipos de dados
Row(state='PR',
city='Curitiba',
inhabitants=1751907,
area=435.04)
# namedtuple #FTW \o/
xls com Python + rows
import rows
table2 = rows.import_from_xls('data/brazilian-cities.xls')
for row in table2:
print(row)
html com Python + rows
import rows
table3 = rows.import_from_html('data/brazilian-cities.html')
for row in table3:
print(row)
import rows
## OpenSpace de Café!
- **Amanhã (sábado)**
- **16h (COFFEE BREAK)** -- mas no open space!
- Extrações: coado e aeropress
- Balança eletrônica ou chaleira elétrica?
## Tutorial: Capturando Dados Sem Dor de Cabeça
- Conversão e limpeza de dados
- Uso das bases de dados e código da Gênero e Número
- **Terça-feira de 14h às 17h**
- **Sala 3**
## Sprint: rows
- [Versão 0.4.0](https://github.com/turicas/rows/milestone/4)
- **Quarta-feira (dia 11)**
- **9 às 18h**
## Curso: Python e Gênero e Número
### Para Jornalistas
- Rio de Janeiro
- 18 a 20 de outubro
- [bit.ly/curso_python](http://bit.ly/curso_python)
25 e 26 de novembro de 2017
São Paulo/SP