Capturando Datos:
La manera Pythónica
Turicas aka Álvaro Justen
8 de Marzo de 2016, EPN - Quito, Ecuador
Turicas, mucho gusto! =)
# Y ustedes?
- Conocen Python?
- Experiencia con *crawling*/*parsing* de datos?
- Experiencia con *data science*/*dataviz*?
# Agenda
- Periodismo de datos
- Captura de datos
- **LIVE CODING**
- Normalización de datos
- **LIVE CODING**
# Periodismo de Datos
- **1. Capturar**: búsqueda y descarga
- **2. Normalización**: cambiar a un formato mejor (ej: HTML para CSV)
- **3. Analizar**: ver si el dato te sirve
- **4. Visualización**: mostrar para el mundo!
# Periodismo de Datos [2]
- **4. Visualización**: chévere! (ver charla de Carlos)
- **3. Analizar**: chévere! (ver charla de Carlos)
- **2. Normalización**: aburrido
- **1. Capturar**: aburrido
Captura + Normalización
# Captura: APIs
- `pip install requests` (requests >>>>> urllib)
- `pip install tapioca-facebook`
# Live coding?
- `requests` y GitHub API
# Captura: Otros Sitios
- `pip install splinter`
- `pip install scrapy`
# Live coding?
- `splinter` y sitio del Tesouro Direto
# Normalización
- `pip uninstall beaufitulsoup4`
- `pip uninstall lxml`
- `pip install rows`
CSV
csv en Python
import csv
reader = csv.DictReader(open('tesouro-direto.csv'))
# TODO: identificar dialecto CSV
for row in reader:
print row # todo es string =/
# TODO: crear conversión de datetime
# TODO: crear conversión de date
# TODO: crear conversión decimal
# TODO: crear conversión percent
HTML
HTML
La vida real no es tan buena! :D
html en Python + lxml
pip install lxml
import lxml.etree
filename = 'tesouro-direto.html'
html = open(filename).read()
tree = lxml.etree.fromstring(html)
table = tree.xpath('//table')[0]
# ... aburrido aburrido aburrido ...
# tentativa
# error
# tentativa
# error
# error
# error
...
:-/
XLS
xls con python y xlrd
pip install xlrd
import xlrd
filename = 'tesouro-direto.xls'
book = xlrd.open_workbook(filename, formatting_info=True)
sheet = book.sheet_by_index(0)
NUMERO_DE_COLUNAS = 7 # WTF?
header = [sheet.cell(0, col).value for col in range(NUMERO_DE_COLUNAS)]
NUMERO_DE_LINEAS = 19 # WTF?
data = [[sheet.cell(row, col).value for col in range(NUMERO_DE_COLUNAS)]
for row in range(1, NUMERO_DE_LINEAS + 1)]
for row_data in data:
row = dict(zip(header, row_data))
print row
# TODO: crear conversión de date y datetime
# TODO: crear conversión de decimal
# TODO: crear conversión de percent
Resultado...
{u'preco_compra': 0.0, u'timestamp': 42314.73819444444, u'vencimento': 42801.0, u'taxa_venda': 0.0002, u'taxa_compra': 0.0702, u'preco_venda': 7259.64, u'titulo': u'Tesouro Selic 2017 (LFT)'}
..., u'timestamp': 42314.73819444444, ...
"Que porra é essa?"
# Qué es malo en csv, lxml, xlrd, ...?
- Datos de tablas pero con APIs diferentes
- Necesitas aprender sobre el formato (pero sólo quiero los datos...)
- Aprender a usar una librería para cada formato
- Convertir los datos (las librerías no convertien todo)
- Hacer pruebas de las funciones de conversión (ustedes hacen pruebas, correcto?)
- Todo esto es para leer archivos. Y para escribir?
rows te ayuda!
pip install rows # Python Package Index
apt-get install rows # Debian!
dnf install rows # Fedora
csv con Python y rows
import rows
table1 = rows.import_from_csv('tesouro-direto.csv')
for row in table1:
print row
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...
xls con Python y rows
import rows
table2 = rows.import_from_xls('tesouro-direto.xls')
for row in table2:
print row
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...
html con Python y rows
import rows
table3 = rows.import_from_html('tesouro-direto.html')
for row in table3:
print row
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)', vencimento=datetime.date(2017, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.063'), preco_compra=0.0, preco_venda=2792.97)
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43), titulo=u'Tesouro IPCA+ 2019 (NTNB Princ)', vencimento=datetime.date(2019, 5, 15), taxa_compra=Decimal('0.0702'), taxa_venda=Decimal('0.0706'), preco_compra=2150.33, preco_venda=2147.53)
...
assert list(table1) == list(table2) == list(table3)
print table1[0]
Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43),
titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)',
vencimento=datetime.date(2017, 5, 15),
taxa_compra=Decimal('0.0702'),
taxa_venda=Decimal('0.063'),
preco_compra=0.0,
preco_venda=2792.97)
# namedtuple #FTW \o/
# Live coding?
- Y si no son tablas?
## Funcionalidades
- API única (no importa el formato)
- Leer y escribir = misma manera
- CSV, HTML, XLS, XLSX, JSON, TXT, SQLite...
- Conversión **automática** de datos
- *Command-line interface*! \o/
- **Yo ya he hecho las pruebas**
# Ayúdame!
- Python 3
- Otros plugins (PDF, OFX, ODS, DBF...)
Gracias! (:
Turicas aka Álvaro Justen