Ciência de dados no terminal
Turicas aka Álvaro Justen
26 de outubro de 2019
$ whoami
Turicas, prazer! =)
Sigam-me os bons:
## Olar
- 11a PyBr **consecutiva**
- 1a em que não tenho palestra aprovada
- (das que enviei)
## Seleção de Palestras na PyBr
- [#temqueverissoaí](https://twitter.com/search?q=%23temqueverissoa%C3%AD)
- desde 2011 (pelo menos!)
- APyB deve definir **processo**
- Proposta das chapas?
- Troquemos uma ideia sobre no bar!
## Por quê?
- Não somos mais uma **pequena comunidade**
- A fala (e quem fala) granham **visibilidade**
- Estamos vivendo a era da pós-verdade
- Keynote **A era da pós verdade (e como Python pode nos ajudar)**
- [Slides PythonNordeste](http://turicas.info/slides/pos-verdade/index.html#/) - julho 2019
- [Slides PyConLATAM](http://turicas.info/slides/pos-verdade/pylatam.html), [vídeo](https://www.youtube.com/watch?v=2NXeBsMFeyM) - agosto 2019
- [Slides PythonSul](http://turicas.info/slides/pos-verdade/pysul2019.html#/) - setembro 2019
## Ciência de Dados no Terminal

- `grep`, `head`, `tail`, `sed` etc.
- `rows pgimport/pgexport`
- `psql`
- ...
(vai virar curso online!)
## PgConf BR
- Palestra **Dados Abertos, Python e PostgreSQL**
- [Slides](http://turicas.info/slides/brasil.io/pgconfbr/index.html)
- [Vídeo](https://www.youtube.com/watch?v=rUTJkvGXJAE)

[pgconf.com.br](https://www.pgconf.com.br/)
## Crau: web crawler
- Necessidade: **arquivar a Web**
- Ninguém no Brasil fala **crawl**
- (a não ser quando cantamos Linkin Park no karaokê)
- (ou na Carreta Furacão, junto com Numb)
- `pip install crau`
## Crau - Funcionalidades
- Arquiva lista de links com um comando:
- `crau archive file.warc.gz URL1 URL2 ...`:
- Usa o formato WARC (largamente utilizado nessa área)
- Extrai dados do arquivamento:
- `crau list file.warc.gz`
- `crau extract file.warc.gz URL`
- "Toca" o arquivamento no navegador (tipo a [Wayback Machine](https://web.archive.org/) do [Internet Archive](https://archive.org/)):
- `crau play file.warc.gz`
- Em breve cache storage pro scrapy!
- Feito em 2 madrugadas de PyBr
## Gracias
- Pelos códigos, cafés, cervejas e papos na madruga:
- [Guilherme Semente](https://github.com/semente)
- [Raphael Passini](https://github.com/RaphaPassini)
- [Artur Gaspar](https://github.com/ArturGaspar/)
- Galera da mansão [pós-dojo](http://blog.justen.eng.br/2009/10/coding-dojorio-em-niteroi.html) (10 anos!)
- Pelos códigos, galera que desenvolve:
- [scrapy](https://scrapy.org/)
- [pywb](https://github.com/webrecorder/pywb)
- [warcio](https://github.com/webrecorder/warcio)
## Sprint (segunda-feira!)
- [rows](https://turicas.info/rows)
- [Brasil.IO](https://brasil.io/)
- [crau](https://github.com/turicas/crau)