Capturando e Convertendo Dados de Maneira Fácil com Python
Turicas aka Álvaro Justen
29 de março de 2017 - Curitiba/PR
Turicas, prazer! =)
Sigam-me os bons:
Software Livre
Python
Arduino
# E vocês?
- Quem sabe programar?
- Quem conhece e usa Python?
- Para quê?
- Quem trabalha com conversão de dados, *scraping*, *data science*, ...? (mesmo que não programando)
Como tudo começou...
A Jornada
Dados Presos
"Quanto mais inacessível um dado está (mesmo que aberto), menos aberto ele é"
Álvaro Justen
# 5 Stars Data
## [5stardata.info](http://5stardata.info/)

O Que Eu Já Fiz
O Que Eu Quero
O Que Tenho Que Fazer
Obtendo...
Verificando...
Limpando...
E Se Fosse CSV?
JSON
XLS, XLSX
rows to the rescue!
pip install rows # Python Package Index
apt-get install rows # Debian
dnf install rows # Fedora

## rows
- Biblioteca Python
- Command-Line Interface
- Plugins:
- CSV
- JSON
- HTML (+ XPath)
- TXT
- XLS
- XLSX
- SQLite
- ODS
- Parquet
- (+ outros em desenvolvimento)
csv em Python
live coding
csv com Python + rows
import rows
table1 = rows.import_from_csv('data/brazilian-cities.csv')
for row in table1:
print(row)
Row(state='PR',
city='Curitiba',
inhabitants=1751907,
area=435.04)
# namedtuple #FTW \o/
xls com Python + rows
import rows
table2 = rows.import_from_xls('data/brazilian-cities.xls')
for row in table2:
print(row)
html com Python + rows
import rows
table3 = rows.import_from_html('data/brazilian-cities.html')
for row in table3:
print(row)
import rows
## rows: Funcionalidades
- Interface única (não importa o formato)
- Escrever é tão fácil quanto ler (*pythonic way*)
- Vários plugins
- CLI
- Conversão **automática** de dados
- **Eu já fiz os testes**
- Test-driven development
- Semantic versioning
## Command-Line Interface
### live coding
## Command-Line Interface
- `print`: mostra a tabela em formato texto
- `convert`: converte entre os formatos suportados
- `sum`: agrega tabelas
- `join`: cruza dados
- `query`: SQL!
## Alguns Casos de Uso
- CLI:
- Download, conversão e limpeza
- Análises preliminares
- Biblioteca:
- Conversão e limpeza (exemplo: Interlegis)
- Conversão e análise (exemplos: scifi, fisl_talks)
Colaboradores
# GruPy-PR
## [grupypr.github.io](grupypr.github.io)
## [t.me/grupy_pr](https://t.me/grupy_pr)
## Encontros mensais (próximo: 8 de abril durante o FLISOL)
5 a 7 de maio de 2017
Rio de Janeiro/RJ
06 a 08 de outubro de 2017
Belo Horizonte/MG
Curso de Python Online (em breve)
Obrigado! (:
Turicas aka Álvaro Justen