Libertando Dados Públicos com Ferramentas Livres


Turicas aka Álvaro Justen


Fórum Goiano de Software Livre 2016

19 de novembro de 2016 - Goiânia/GO

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

alvaro@CursoDeArduino.com.br

turicas.info

bit.ly/rows-fgsl

Software Livre

Python

Arduino


cursodearduino.com.br

pythonquito.tk


pythonic.cafe

(preenche o formulário lá!)

youtube.com/c/PythonicCafe


generonumero.media


escoladedados.org

Álvaro Justen wordcloud

# E vocês? - Quem trabalha com conversão de dados? - *Scraping*, *data science*, ... - Quem conhece/usa Python?

Nômade Digital

Álvaro Justen e sua casa

A Jornada

Existem softwares livres para automatizar várias etapas da jornada.

Dados Presos

Dado aberto, porém não acessível

O Que Eu Já Fiz

(manualmente)

O Que Eu Quero

(semi-automaticamente)

O Que Tenho Que Fazer

(mas não queria ter que fazer)

Obtendo...

Verificando...

Limpando...

Automatizar tudo que for chato

## Problema Específico ### Dados **Tabulares** - Colunas (nome e tipo) - Registros (valores)
## Dados Tabulares ### Formatos Possíveis - CSV - HTML ("table") - JSON - ODS - SQLite - XLS - XLSX - ...

Exemplo: CSV

csv em Python

import csv

reader = csv.DictReader(open('tesouro-direto.csv'))
# TODO: identificar dialecto CSV

for row in reader:
    print row  # todo es string =/
    # TODO: crear conversión de datetime
    # TODO: crear conversión de date
    # TODO: crear conversión decimal
    # TODO: crear conversión percent

JSON

json em Python

import json

reader = json.load(open('tesouro-direto.csv'))

for row in reader:
    print row  # nem todo convertido =/
    # TODO: crear conversión de datetime
    # TODO: crear conversión de date
    # TODO: crear conversión decimal
    # TODO: crear conversión percent

XLS

xls em Python + xlrd

pip install xlrd
import xlrd

filename = 'tesouro-direto.xls'
book = xlrd.open_workbook(filename, formatting_info=True)
sheet = book.sheet_by_index(0)
NUMERO_DE_COLUNAS = 7 # WTF?
header = [sheet.cell(0, col).value for col in range(NUMERO_DE_COLUNAS)]
NUMERO_DE_LINEAS = 19 # WTF?
data = [[sheet.cell(row, col).value for col in range(NUMERO_DE_COLUNAS)]
        for row in range(1, NUMERO_DE_LINEAS + 1)]
for row_data in data:
    row = dict(zip(header, row_data))
    print row
    # TODO: crear conversión de date y datetime
    # TODO: crear conversión de decimal
    # TODO: crear conversión de percent

Resultado...

{u'preco_compra': 0.0, u'timestamp': 42314.73819444444, u'vencimento': 42801.0, u'taxa_venda': 0.0002, u'taxa_compra': 0.0702, u'preco_venda': 7259.64, u'titulo': u'Tesouro Selic 2017 (LFT)'}
..., u'timestamp': 42314.73819444444, ...
Que porra é essa?
# Vida Real... - "Me mandaram o CSV, mas veio sem o cabeçalho" - "Esse campo não está batendo" - "Porque tem tanto NULL?" - ...
## Problemas - Formatos não possuem as mesmas *funcionalidades* - Falta *controle de qualidade* na hora de publicar os dados - Bibliotecas para cada formato são muito diferentes
## Resultado: ### Perda de tempo em uma atividade que **não é seu objetivo**

rows to the rescue!


pip install rows # Python Package Index

apt-get install rows # Debian

dnf install rows # Fedora


github.com/turicas/rows

## rows - Biblioteca Python - Command-Line Interface - Plugins: - CSV - JSON - HTML (+ XPath) - TXT - XLS - XLSX - SQLite - ODS - Parquet - (+ outros em desenvolvimento)

csv com Python + rows

import rows

table1 = rows.import_from_csv('tesouro-direto.csv')

for row in table1:
    print row


Row(timestamp=datetime.datetime(2015, 11, 6, 17, 43),
    titulo=u'Tesouro IPCA+ com Juros Semestrais 2017 (NTNB)',
    vencimento=datetime.date(2017, 5, 15),
    taxa_compra=Decimal('0.0702'),
    taxa_venda=Decimal('0.063'),
    preco_compra=0.0,
    preco_venda=2792.97)

# namedtuple #FTW \o/

xls com Python + rows

import rows

table2 = rows.import_from_xls('tesouro-direto.xls')

for row in table2:
    print row

html com Python + rows

import rows

table3 = rows.import_from_html('tesouro-direto.html')

for row in table3:
    print row

import rows

Carlton dance
## rows: Funcionalidades - Interface única (não importa o formato) - Escrever é tão fácil quanto ler (*pythonic way*) - Vários plugins - CLI - Conversão **automática** de dados - **Eu já fiz os testes**
## Command-Line Interface - `print`: mostra a tabela em formato texto - `convert`: converte entre os formatos suportados - `sum`: agrega tabelas - `join`: cruza dados - `query`: SQL!
# Live coding (CLI)
## Alguns Casos de Uso - CLI: - Download, conversão e limpeza - Análises preliminares - Biblioteca: - Conversão e limpeza (exemplo: Interlegis) - Conversão e análise (exemplos: scifi, fisl_talks)

github.com/turicas/rows

Curso de Python Online e Gratuito!

pythonic.cafe

?

Obrigado! (:

Turicas aka Álvaro Justen

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

alvaro@CursoDeArduino.com.br

turicas.info

bit.ly/rows-fgsl