Introdução aos Dados Abertos


Turicas aka Álvaro Justen


Encontro de Dados Abertos de Joinville

26 de agosto de 2017 - Joinville/SC

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@pythonic.cafe

Blog: turicas.info

+55 41 999 311 221

(Signal, Telegram, WhatsApp)

bit.ly/jlle-dados-abertos


escoladedados.org


generonumero.media


impacto.jor.br


pythonic.cafe

youtube.com/c/PythonicCafe


simplefractal.com

## Roteiro - Introdução - Exemplos de uso - Problemas - Possíveis soluções


(Picture by Max Pixel, CC-0)

## A Jornada ![Funil de Dados](images/funil-de-dados.png)
“ Dados abertos são dados que podem ser livremente usados, reutilizados e redistribuídos por qualquer pessoa - sujeitos, no máximo, à exigência de atribuição da fonte e compartilhamento pelas mesmas regras. ”
-- OpenData Handbook (definição de Open Definition)
## Lei de Acesso à Informação - [Lei 12.527/2011](http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12527.htm) - Em vigor desde 16 de maio de 2012
# 5-Star Data ## [5stardata.info](http://5stardata.info/) ![](images/5-star-steps.png)
“ Quanto menos acessível está um dado, mais fechado ele está. ”
## Para Saber Mais - [opendatahandbook.org](http://opendatahandbook.org/) - [kit.dados.gov.br](http://kit.dados.gov.br/) - [escoladedados.org](https://escoladedados.org/)

Investigar as questões de gênero no Brasil e América Latina, com dados abertos e técnicas de jornalismo de dados.


youtu.be/7yQ8U2tFFq4
## Outros Usos - Todos as redações - Ativistas - Empresas

Problemas

“ O nível de acessibilidade de um dado é um filtro sobre quem conseguirá utilizá-lo. ”

Dados Presos

Análise?

Máquina Hollerith
Let's automate ALL the things

Programming Language?


Fonte: github.com/stereobooster/programming-languages-genealogical-tree

Python

## Python - Características - Software livre - **Fácil de aprender** - **Largamente utilizada** - **Comunidade incrível** - Main info: [python.org](http://www.python.org/) e [python.org.br](http://www.python.org.br/)

rows

Facilita conversão, limpeza e análise


pip install rows # Python Package Index

apt-get install rows # Debian

dnf install rows # Fedora


github.com/turicas/rows

## Command-Line Interface - `print`: mostra a tabela em formato texto - `convert`: converte entre os formatos suportados - `sum`: agrega tabelas - `join`: cruza dados - `query`: SQL!

csv com Python + rows

import rows

table1 = rows.import_from_csv('data/brazilian-cities.csv')

for row in table1:
    print(row)


Row(state='PR',
    city='Curitiba',
    inhabitants=1751907,
    area=435.04)

# namedtuple #FTW \o/

xls com Python + rows

import rows

table2 = rows.import_from_xls('data/brazilian-cities.xls')

for row in table2:
    print(row)

html com Python + rows

import rows

table3 = rows.import_from_html('data/brazilian-cities.html')

for row in table3:
    print(row)
## Considerações Finais - Brasil possui mecanismo legal para dados públicos - Movimento forte - Algumas questões (como privacidade) precisam melhorar - Qualidade dos dados ainda é ruim - Ferramentas (softwares) são necessárias para automatizar os processos

pythonsul.org

08 a 10 de setembro de 2017
Caxias do Sul/RS

pythonbrasil.org.br

06 a 11 de outubro de 2017
Belo Horizonte/MG

coda.escoladedados.org

25 e 26 de novembro de 2017
São Paulo/SP

?


{twitter, github, youtube,
slideshare, instagram}/turicas

turicas@pythonic.cafe

Blog: turicas.info

+55 41 999 311 221