Gênero e Número: Python ajudando a entender as questões de gênero brasileiras


Turicas aka Álvaro Justen


PythonBrasil[13]

07 de outubro de 2017 - Belo Horizonte/MG

bit.ly/pybr13-gn

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@pythonic.cafe

Blog: turicas.info


simplefractal.com


escoladedados.org


generonumero.media


impacto.jor.br


pythonic.cafe

youtube.com/c/PythonicCafe

## Entrevistei Guido van Rossum! ![Álvaro Justen entrevista Guido van Rossum](images/entrevista-guido.jpg) Em breve em **[youtube.com/c/PythonicCafe](https://youtube.com/c/PythonicCafe)**

Software Livre

Desde 2004

Python

Desde 2005


pythonquito.tk

#CWB


grupypr.github.io

## Roteiro - Gênero e Número - Dados abertos - Desafios - Código: convertendo, limpando e analisando dados - Recadinhos


Investigar as questões de gênero no Brasil e América Latina, com dados abertos e técnicas de jornalismo de dados.

generonumero.media

## Jornalismo Aberto - Link para as **fontes de dados** utilizados - **Código-fonte** dos scripts disponível - Link para planilhas com os **resultados das análises** - Descrição da **metodologia** - Exemplo: [Como classificamos mais de 800 mil logradouros brasileiros por gênero](http://www.generonumero.media/como-classificamos-mais-de-800-mil-logradouros-brasileiros-por-genero/)
## A Jornada (Data Pipeline) ### #ddj #datajournalism ![Funil de Dados](images/funil-de-dados.png)

Jornalistas

Levantam questões e contam boas histórias

Equipe Gênero e Número

Dados Públicos

Informações de interesse público disponíveis como dados abertos

“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)
## Lei de Acesso à Informação - [Lei 12.527/2011](http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm) - Em vigor desde 16 de maio de 2012
# 5-Star Data ## [5stardata.info](http://5stardata.info/) ![](images/5-star-steps.png)
“ Quanto menos acessível está um dado, mais fechado ele está. ”
## Para Saber Mais - [opendatahandbook.org](http://opendatahandbook.org/) - [kit.dados.gov.br](http://kit.dados.gov.br/) - [escoladedados.org](https://escoladedados.org/)

Pythonistas

Automação de processos


youtu.be/7yQ8U2tFFq4

Dados Abertos - Desafios

Maior parte do tempo dos projetos de análise de dados

Obtendo, verificando e limpando dados



“ O nível de acessibilidade de um dado é um filtro sobre quem conseguirá utilizá-lo. ”
## Problema: Dados Fechados ### \#temqueverissoaí - [Por que o CEP deve ser tratado como informação pública](https://www.codigourbano.org/por-que-o-cep-deve-ser-tratado-como-informacao-publica/)
## Problema: Dados Incompletos ### \#temqueverissoaí - [Por que é tão difícil confiar numa base de dados olímpica](http://www.generonumero.media/por-que-e-tao-dificil-confiar-numa-base-de-dados-olimpica/)

Problema: Formato Ruim

#temqueverissoaí

Lidar com os dados do TSE não é para meros mortais

Meu Próprio Leitor/Escritor de CSV

def le_csv(arquivo):
    with open(arquivo, encoding='utf-8') as fobj:
        return [linha.split(',')
                for linha in fobj.readlines()]

def escreve_csv(linhas):
    with open(arquivo, mode='w', encoding='utf-8') as fobj:
        for linha in linhas:
            fobj.writeline(','.join(linha))

NÃO FAÇA ISSO!

Leia a RFC do CSV

Dados Tabulares: Qual o Pior Formato?


youtu.be/mVkWZVtZDT0

rows to the rescue!

Let's automate ALL the things

github.com/turicas/rows

## rows - Biblioteca Python - Command-Line Interface - Plugins: - CSV - JSON - HTML (+ XPath) - TXT - XLS - XLSX - SQLite - ODS - Parquet - (+ outros em desenvolvimento)

csv com Python + rows

import rows

table1 = rows.import_from_csv('data/brazilian-cities.csv')

for row in table1:
    print(row)
## Identificação Automática - Encoding - Dialeto - Tipos de dados


Row(state='PR',
    city='Curitiba',
    inhabitants=1751907,
    area=435.04)

# namedtuple #FTW \o/

xls com Python + rows

import rows

table2 = rows.import_from_xls('data/brazilian-cities.xls')

for row in table2:
    print(row)

html com Python + rows

import rows

table3 = rows.import_from_html('data/brazilian-cities.html')

for row in table3:
    print(row)

import rows

Carlton dance

Classificando Logradouros por Gênero

(nível fácil)


censo2010.ibge.gov.br/nomes

Show me the code


github.com/generonumero/logradouros

Capturando Dados Históricos das Olimpíadas

(nível médio)


sports-reference.com

Show me the CLI


github.com/generonumero/olimpiadas

Analisando Dados da Educação Superior

(parece fácil, mas é difícil)


generonumero.media

Bash + rows + SQL


github.com/generonumero/educacao

# #fikdik
## OpenSpace de Café! - **Amanhã (sábado)** - **16h (COFFEE BREAK)** -- mas no open space! - Extrações: coado e aeropress - Balança eletrônica ou chaleira elétrica?
## Tutorial: Capturando Dados Sem Dor de Cabeça - Conversão e limpeza de dados - Uso das bases de dados e código da Gênero e Número - **Terça-feira de 14h às 17h** - **Sala 3**
## Sprint: rows - [Versão 0.4.0](https://github.com/turicas/rows/milestone/4) - **Quarta-feira (dia 11)** - **9 às 18h**
## Curso: Python e Gênero e Número ### Para Jornalistas - Rio de Janeiro - 18 a 20 de outubro - [bit.ly/curso_python](http://bit.ly/curso_python)

coda.escoladedados.org

25 e 26 de novembro de 2017
São Paulo/SP

?


{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@pythonic.cafe

Blog: turicas.info

generonumero.media

bit.ly/pybr13-gn