Capturando Dados Com Python


Turicas aka Álvaro Justen


UAI Python!

29 de agosto de 2015, Belo Horizonte/MG

Turicas, prazer! =)

{twitter.com, github.com, youtube.com, slideshare.net}/turicas

alvarojusten@gmail.com

turicas.info

# E Vocês? - Python? - *Crawling*/*parsing* de dados? - Análise/visualização de dados?
# Valeu, PUG-MG! o/

bit.ly/uaipython-turicas

# Roteiro - Jornalismo de dados - Captura de dados - **LIVE CODING** - Normalização de dados - **LIVE CODING** - Dados abertos, Brasil.IO etc.
# Funil de Dados - **1. Captura**: encontrar e baixar - **2. Normalização**: colocar em um formato amigável - **3. Análise**: ver o que tem de bom - **4. Visualização**: mostrar para os leigos
# Funil de Dados [2] - **4. Visualização**: cereja do bolo - **3. Análise**: onde ocorrem os *insights* - **2. Normalização**: pé no saco - **1. Captura**: pé no saco [2]

Captura + Normalização

WARNING:

DANGER ZONE

# Captura: APIs - `pip install requests` - `pip install tapioca-facebook`
# Captura: Nem Tudo São Flores - `pip install splinter` - `pip install scrapy`
# Normalização - `pip uninstall beaufitulsoup4` - `pip uninstall lxml` - `pip install rows`
# `rows` - 0.1.0 **hoje** (especialmente pra vcs <3) - Contribuições são bem-vindas! - [gihub.com/turicas/rows](https://github.com/turicas/rows)
# Dados Abertos - Dados Públicos - [dados.gov.br](http://dados.gov.br/) - Transparência - Empoderamento
# 5 Stars Data ## [5stardata.info](http://5stardata.info/) ![](images/5-stars-data.png)
# Linked Data ## [linkeddata.org](http://linkeddata.org/) ![](images/linked-data.png)
# Brasil.IO ## Contribuições são bem-vindas! ### [github.com/turicas/api.brasil.io](https://github.com/turicas/api.brasil.io) ### [groups.google.com/group/brasil-io](https://groups.google.com/group/brasil-io) ### [twitter.com/brasil_io](https://twitter.com/brasil_io) ### [facebook.com/api.brasil.io](https://facebook.com/api.brasil.io) #### `#Brasil.IO` @ `irc.FreeNode.net`

?

Obrigado! (:

Turicas aka Álvaro Justen

{twitter.com, github.com, youtube.com, slideshare.net}/turicas

alvarojusten@gmail.com

turicas.info

bit.ly/uaipython-turicas