Brasil.IO: libertación de datos públicos con Python


Turicas aka Álvaro Justen


PyCon Colombia 2019

09 de febrero de 2019 - Bogotá, Colombia

$ whoami

🇧🇷 Turicas, mucho gusto =)

¡Síganme los buenos!

{twitter,
github,
youtube,
slideshare,
instagram,
telegram}
/turicas

turicas@brasil.io

Diapositivas en:
bit.ly/turicas-pyco2019

Software Libre & Python

(desde 2004/2005)

       

Conferencias que organizé

+ Conferencias


(sí, es Guido van Rossum)
Logo Brasil.IO
brasil.io

impacto.jor.br

br.okfn.org

✈️ ☕🌱👀 = 💖

# Agenda - Datos abiertos - Definición - Problemas - Accesibilidad - Python + Datos - rows - Ejemplos en vivo - [Brasil.IO](https://brasil.io/) - Que es - Como creamos - Quien utiliza
## Encuesta - Empezando en Python? - Trabaja con datos? - Experiencia con datos de gobierno?

Datos Abiertos

“ Son datos que pueden ser utilizados, reutilizados y redistribuidos libremente por cualquier persona, y que se encuentran sujetos, cuando más, al requerimiento de atribución y de compartirse de la misma manera en que aparecen. ”
-- OpenData Handbook


Más detalles:

## Importancia de los datos abiertos - Transparencia - Lucha contra la corrupción - Control social - Sociedad más democrática

Control Social: Ejemplo

Operação Serenata de Amor

Operação Serenata de Amor
serenata.ai

Data pipeline


schoolofdata.org/methodology

Ni siempre están disponibles

twitter.com/turicas/status/1019272233095745537

Mayor parte del trabajo con datos abiertos

Obtener, verificar, limpiar



## Houston, we have a problem... ### Calidad de los datos ![](images/5-star-steps.png) [5stardata.info](http://5stardata.info/)
## Accesibilidad: Problemas - **Formato** (calidad técnica) - Ejemplo: boletín de balneabilidad (INEMA/BA), en PDF - **Dispersión** - Ejemplo: filiación partidaria (TSE), 945 ZIPs com CSVs (TSE) - **Cantidad** de datos - Ejemplo: 18M socios empresas (RFB) - **Dominio** del área - Ejemplo: que és unidad electoral? (TSE)
“ Restringir acesso a dados públicos é elitizar a democracia. ”
-- Manifesto Brasil.IO
## Libertación de Datos: ### Resolver los problemas de **formato** e **dispersión**
Tweet de Turicas
twitter.com/turicas/status/943176715672711168
Tweet de Turicas
twitter.com/turicas/status/959120200976224262

Cómo?

pip install rows Repositório da biblioteca rows no GitHub
github/turicas/rows
Versión 0.4.0 lanzada hoy!

Ejempo: Tablas en CSV

import rows
(codificación en vivo)

Ejempo: Tablas en HTML


(codificación en vivo)

Ejempo: Tablas en PDF


(codificación en vivo)

rows convert arquivo.pdf arquivo.csv

Biblioteca rows convertendo PDF para CSV
## Interfaz de línea de comando - `rows print https://www.sports-reference.com/olympics/countries/BRA/summer/2016/` - `rows convert archivo.html archivo.csv` - `rows query 'SELECT * FROM table1 WHERE ...' archivo.pdf`
## Accesbilidad: 2/4 - [x] **Formato** - [x] **Dispersión** - [ ] **Cantidad** de datos - [ ] **Dominio** del área

Brasil.IO

Datos públicos brasileños accesibles

Brasil.IO
github/turicas/brasil.io
brasil.io/api/datasets
## Accesbilidad: 2/4 - [x] **Formato** - [x] **Dispersión** - [x] **Cantidad** de datos - [x] **Dominio** del área
## Cómo? - Scripts: - [Python3](https://www.python.org/) - [scrapy](https://scrapy.org) - [rows](https://github.com/turicas/rows) - Análisis: - [sqlite3](https://docs.python.org/3/library/sqlite3.html) - Backend: - [Python3](https://www.python.org/) - [Django](https://www.djangoproject.com/) - [PostgreSQL](https://www.postgresql.org/) - [Neo4J](https://neo4j.com/) - Servidores: DigitalOcean y OVH - PaaS: dokku
# Por qué? ## Ejemplos de utilización
Logo Gênero & Número
generonumero.media

Vea la edición "Mulheres na Política"

Vea la edición "Mulheres na Política II"

Leia a matéria

Vea la edición "Espaço Público"

Calle: Sustantivo (aún) Masculino


youtu.be/7yQ8U2tFFq4
Logo Agência Pública
apublica.org

Acceda a la materia
Logo Correio 24 Horas
correio24horas.com.br

Acceda a la materia
Logo The Intercept Brasil
theintercept.com/brasil

Acceda a la materia

Acceda a la materia

Acceda a la materia

Acceda a la materia

eleicoes.poder360.com.br

perfilpolitico.serenata.ai

transparenciapartidaria.org

Contribuyentes

## [Brasil.IO](https://brasil.io/) ### Cómo contribuir? - [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues) - Creando scrapers - Charlando: [chat.brasil.io](https://chat.brasil.io/) - Donación: [apoia.se/brasilio](https://apoia.se/brasilio)

15a Conferencia de Python en Brasil

Logo PythonBrasil
pythonbrasil.com.br
Octubre de 2019, Ribeirão Preto - São Paulo

Preguntas?

Cual bar vamos hoy?


{twitter,
github,
youtube,
slideshare,
instagram,
telegram}
/turicas

turicas@brasil.io

bit.ly/turicas-pyco2019