Brasil.IO: libertación de datos públicos con Python
Turicas aka Álvaro Justen
09 de febrero de 2019 - Bogotá, Colombia
$ whoami
🇧🇷 Turicas, mucho gusto =)
¡Síganme los buenos!
Software Libre & Python
(desde 2004/2005)
Conferencias que organizé
+ Conferencias
(sí, es Guido van Rossum)
✈️ ☕🌱👀 = 💖
# Agenda
- Datos abiertos
- Definición
- Problemas
- Accesibilidad
- Python + Datos
- rows
- Ejemplos en vivo
- [Brasil.IO](https://brasil.io/)
- Que es
- Como creamos
- Quien utiliza
## Encuesta
- Empezando en Python?
- Trabaja con datos?
- Experiencia con datos de gobierno?
Datos Abiertos
“
Son datos que pueden ser utilizados, reutilizados y
redistribuidos libremente por cualquier persona, y que se
encuentran sujetos, cuando más, al requerimiento de atribución y
de compartirse de la misma manera en que aparecen.
”
-- OpenData
Handbook
Más detalles:
## Importancia de los datos abiertos
- Transparencia
- Lucha contra la corrupción
- Control social
- Sociedad más democrática
Control Social: Ejemplo
Operação Serenata de Amor
serenata.ai
Mayor parte del trabajo con datos abiertos
Obtener, verificar, limpiar
## Houston, we have a problem...
### Calidad de los datos

[5stardata.info](http://5stardata.info/)
## Accesibilidad: Problemas
- **Formato** (calidad técnica)
- Ejemplo: boletín de balneabilidad (INEMA/BA), en PDF
- **Dispersión**
- Ejemplo: filiación partidaria (TSE), 945 ZIPs com CSVs (TSE)
- **Cantidad** de datos
- Ejemplo: 18M socios empresas (RFB)
- **Dominio** del área
- Ejemplo: que és unidad electoral? (TSE)
## Libertación de Datos:
### Resolver los problemas de **formato** e **dispersión**
Ejempo: Tablas en CSV
import rows
(codificación en vivo)
Ejempo: Tablas en HTML
(codificación en vivo)
Ejempo: Tablas en PDF
(codificación en vivo)
rows convert arquivo.pdf arquivo.csv
## Interfaz de línea de comando
- `rows print https://www.sports-reference.com/olympics/countries/BRA/summer/2016/`
- `rows convert archivo.html archivo.csv`
- `rows query 'SELECT * FROM table1 WHERE ...' archivo.pdf`
## Accesbilidad: 2/4
- [x] **Formato**
- [x] **Dispersión**
- [ ] **Cantidad** de datos
- [ ] **Dominio** del área
## Accesbilidad: 2/4
- [x] **Formato**
- [x] **Dispersión**
- [x] **Cantidad** de datos
- [x] **Dominio** del área
## Cómo?
- Scripts:
- [Python3](https://www.python.org/)
- [scrapy](https://scrapy.org)
- [rows](https://github.com/turicas/rows)
- Análisis:
- [sqlite3](https://docs.python.org/3/library/sqlite3.html)
- Backend:
- [Python3](https://www.python.org/)
- [Django](https://www.djangoproject.com/)
- [PostgreSQL](https://www.postgresql.org/)
- [Neo4J](https://neo4j.com/)
- Servidores: DigitalOcean y OVH
- PaaS: dokku
# Por qué?
## Ejemplos de utilización
Contribuyentes
## [Brasil.IO](https://brasil.io/)
### Cómo contribuir?
- [github.com/turicas/brasil.io/issues](https://github.com/turicas/brasil.io/issues)
- Creando scrapers
- Charlando: [chat.brasil.io](https://chat.brasil.io/)
- Donación: [apoia.se/brasilio](https://apoia.se/brasilio)
15a Conferencia de Python en Brasil
pythonbrasil.com.br
Octubre de 2019, Ribeirão Preto - São Paulo
Preguntas?
Cual bar vamos hoy?