Capturando Datos:

La manera Pythónica


Turicas aka Álvaro Justen


Primero PythonQuito

8 de Marzo de 2016, EPN - Quito, Ecuador

Turicas, mucho gusto! =)

{twitter.com, github.com, youtube.com, slideshare.net}/turicas

alvarojusten@gmail.com

turicas.info

# Y ustedes? - Conocen Python? - Experiencia con *crawling*/*parsing* de datos? - Experiencia con *data science*/*dataviz*?

bit.ly/pyuio-turicas

# Agenda - Periodismo de datos - Captura de datos - **LIVE CODING** - Normalización de datos - **LIVE CODING**
# Periodismo de Datos - **1. Capturar**: búsqueda y descarga - **2. Normalización**: cambiar a un formato mejor (ej: HTML para CSV) - **3. Analizar**: ver si el dato te sirve - **4. Visualización**: mostrar para el mundo!
# Periodismo de Datos [2] - **4. Visualización**: chévere! (ver charla de Carlos) - **3. Analizar**: chévere! (ver charla de Carlos) - **2. Normalización**: aburrido - **1. Capturar**: aburrido

Captura + Normalización

# Captura: APIs - `pip install requests` (requests >>>>> urllib) - `pip install tapioca-facebook`
# Live coding? - `requests` y GitHub API
# Captura: Otros Sitios - `pip install splinter` - `pip install scrapy`
# Live coding? - `splinter` y sitio del Tesouro Direto
# Normalización - `pip uninstall beaufitulsoup4` - `pip uninstall lxml` - `pip install rows`

CSV

csv en Python

import csv

reader = csv.DictReader(open('tesouro-direto.csv'))
# TODO: identificar dialecto CSV

for row in reader:
    print row  # todo es string =/
    # TODO: crear conversión de datetime
    # TODO: crear conversión de date
    # TODO: crear conversión decimal
    # TODO: crear conversión percent

HTML

HTML

La vida real no es tan buena! :D

html en Python + lxml

pip install lxml
import lxml.etree

filename = 'tesouro-direto.html'
html = open(filename).read()
tree = lxml.etree.fromstring(html)
table = tree.xpath('//table')[0]

# ... aburrido aburrido aburrido ...
# tentativa
# error
# tentativa
# error
# error
# error

...


:-/

XLS

xls con python y xlrd

pip install xlrd
import xlrd

filename = 'tesouro-direto.xls'
book = xlrd.open_workbook(filename, formatting_info=True)
sheet = book.sheet_by_index(0)
NUMERO_DE_COLUNAS = 7 # WTF?
header = [sheet.cell(0, col).value for col in range(NUMERO_DE_COLUNAS)]
NUMERO_DE_LINEAS = 19 # WTF?
data = [[sheet.cell(row, col).value for col in range(NUMERO_DE_COLUNAS)]
        for row in range(1, NUMERO_DE_LINEAS + 1)]
for row_data in data:
    row = dict(zip(header, row_data))
    print row
    # TODO: crear conversión de date y datetime
    # TODO: crear conversión de decimal
    # TODO: crear conversión de percent

Resultado...

{u'preco_compra': 0.0, u'timestamp': 42314.73819444444, u'vencimento': 42801.0, u'taxa_venda': 0.0002, u'taxa_compra': 0.0702, u'preco_venda': 7259.64, u'titulo': u'Tesouro Selic 2017 (LFT)'}
..., u'timestamp': 42314.73819444444, ...
"Que porra é essa?"
# Qué es malo en csv, lxml, xlrd, ...? - Datos de tablas pero con APIs diferentes - Necesitas aprender sobre el formato (pero sólo quiero los datos...) - Aprender a usar una librería para cada formato - Convertir los datos (las librerías no convertien todo) - Hacer pruebas de las funciones de conversión (ustedes hacen pruebas, correcto?) - Todo esto es para leer archivos. Y para escribir?

rows te ayuda!

pip install rows # Python Package Index

apt-get install rows # Debian!

dnf install rows # Fedora

github.com/turicas/rows

csv con Python y rows

import rows

table1 = rows.import_from_csv('tesouro-direto.csv')

for row in table1:
    print row

Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...

xls con Python y rows

import rows

table2 = rows.import_from_xls('tesouro-direto.xls')

for row in table2:
    print row

Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...

html con Python y rows

import rows

table3 = rows.import_from_html('tesouro-direto.html')

for row in table3:
    print row

Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...
assert list(table1) == list(table2) == list(table3)
print table1[0]

Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43),
    titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)',
    vencimento=datetime.date(2017, 5, 15),
    taxa_compra=Decimal('0.0702'),
    taxa_venda=Decimal('0.063'),
    preco_compra=0.0,
    preco_venda=2792.97)

# namedtuple #FTW \o/
# Live coding? - Y si no son tablas?
## Funcionalidades - API única (no importa el formato) - Leer y escribir = misma manera - CSV, HTML, XLS, XLSX, JSON, TXT, SQLite... - Conversión **automática** de datos - *Command-line interface*! \o/ - **Yo ya he hecho las pruebas**
# Ayúdame! - Python 3 - Otros plugins (PDF, OFX, ODS, DBF...)

?

Gracias! (:

Turicas aka Álvaro Justen

{twitter.com, github.com, youtube.com, slideshare.net}/turicas

alvarojusten@gmail.com

turicas.info

bit.ly/pyuio-turicas