Capturando e Convertendo Dados de Maneira Fácil com Python


Turicas aka Álvaro Justen


Encontro Code for Curitiba

29 de março de 2017 - Curitiba/PR

bit.ly/rows-cfc

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

alvaro@CursoDeArduino.com.br

turicas.info


cursodearduino.com.br


pythonic.cafe


generonumero.media


escoladedados.org


simplefractal.com

Álvaro Justen wordcloud

Software Livre

Python

Arduino

pythonquito.tk

# E vocês? - Quem sabe programar? - Quem conhece e usa Python? - Para quê? - Quem trabalha com conversão de dados, *scraping*, *data science*, ...? (mesmo que não programando)

Como tudo começou...

Álvaro Justen e sua casa

A Jornada

Dados Presos

"Quanto mais inacessível um dado está (mesmo que aberto), menos aberto ele é"

Álvaro Justen

# 5 Stars Data ## [5stardata.info](http://5stardata.info/) ![](images/5-stars-data.png)

O Que Eu Já Fiz

O Que Eu Quero

O Que Tenho Que Fazer

Obtendo...

Verificando...

Limpando...

E Se Fosse CSV?

JSON

XLS, XLSX

rows to the rescue!


pip install rows # Python Package Index

apt-get install rows # Debian

dnf install rows # Fedora


github.com/turicas/rows

## rows - Biblioteca Python - Command-Line Interface - Plugins: - CSV - JSON - HTML (+ XPath) - TXT - XLS - XLSX - SQLite - ODS - Parquet - (+ outros em desenvolvimento)

csv em Python

live coding

csv com Python + rows

import rows

table1 = rows.import_from_csv('data/brazilian-cities.csv')

for row in table1:
    print(row)


Row(state='PR',
    city='Curitiba',
    inhabitants=1751907,
    area=435.04)

# namedtuple #FTW \o/

xls com Python + rows

import rows

table2 = rows.import_from_xls('data/brazilian-cities.xls')

for row in table2:
    print(row)

html com Python + rows

import rows

table3 = rows.import_from_html('data/brazilian-cities.html')

for row in table3:
    print(row)

import rows

Carlton dance
## rows: Funcionalidades - Interface única (não importa o formato) - Escrever é tão fácil quanto ler (*pythonic way*) - Vários plugins - CLI - Conversão **automática** de dados - **Eu já fiz os testes** - Test-driven development - Semantic versioning
## Command-Line Interface ### live coding
## Command-Line Interface - `print`: mostra a tabela em formato texto - `convert`: converte entre os formatos suportados - `sum`: agrega tabelas - `join`: cruza dados - `query`: SQL!
## Alguns Casos de Uso - CLI: - Download, conversão e limpeza - Análises preliminares - Biblioteca: - Conversão e limpeza (exemplo: Interlegis) - Conversão e análise (exemplos: scifi, fisl_talks)

github.com/turicas/rows

Colaboradores

#fikdik

# GruPy-PR ## [grupypr.github.io](grupypr.github.io) ## [t.me/grupy_pr](https://t.me/grupy_pr) ## Encontros mensais (próximo: 8 de abril durante o FLISOL)

pythonsudeste.org

5 a 7 de maio de 2017
Rio de Janeiro/RJ

pythonbrasil.org.br

06 a 08 de outubro de 2017
Belo Horizonte/MG

Curso de Python Online (em breve)

pythonic.cafe

?

Obrigado! (:

Turicas aka Álvaro Justen

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

alvaro@CursoDeArduino.com.br

turicas.info

bit.ly/rows-cfc