Ciência de dados no terminal


Turicas aka Álvaro Justen


PythonBrasil[15] - Ribeirão Preto/SP

26 de outubro de 2019

$ whoami

Turicas, prazer! =)

Sigam-me os bons:

{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io

Slides em: bit.ly/turicas-pybr15

## Olar - 11a PyBr **consecutiva** - 1a em que não tenho palestra aprovada - (das que enviei)
## Seleção de Palestras na PyBr - [#temqueverissoaí](https://twitter.com/search?q=%23temqueverissoa%C3%AD) - desde 2011 (pelo menos!) - APyB deve definir **processo** - Proposta das chapas? - Troquemos uma ideia sobre no bar!
## Por quê? - Não somos mais uma **pequena comunidade** - A fala (e quem fala) granham **visibilidade** - Estamos vivendo a era da pós-verdade - Keynote **A era da pós verdade (e como Python pode nos ajudar)** - [Slides PythonNordeste](http://turicas.info/slides/pos-verdade/index.html#/) - julho 2019 - [Slides PyConLATAM](http://turicas.info/slides/pos-verdade/pylatam.html), [vídeo](https://www.youtube.com/watch?v=2NXeBsMFeyM) - agosto 2019 - [Slides PythonSul](http://turicas.info/slides/pos-verdade/pysul2019.html#/) - setembro 2019
## Ciência de Dados no Terminal ![](images/data-pipeline.png) - `grep`, `head`, `tail`, `sed` etc. - `rows pgimport/pgexport` - `psql` - ... (vai virar curso online!)
## PgConf BR - Palestra **Dados Abertos, Python e PostgreSQL** - [Slides](http://turicas.info/slides/brasil.io/pgconfbr/index.html) - [Vídeo](https://www.youtube.com/watch?v=rUTJkvGXJAE) ![](images/pgconfbr.png) [pgconf.com.br](https://www.pgconf.com.br/)
## Crau: web crawler - Necessidade: **arquivar a Web** - Ninguém no Brasil fala **crawl** - (a não ser quando cantamos Linkin Park no karaokê) - (ou na Carreta Furacão, junto com Numb) - `pip install crau`
## Crau - Funcionalidades - Arquiva lista de links com um comando: - `crau archive file.warc.gz URL1 URL2 ...`: - Usa o formato WARC (largamente utilizado nessa área) - Extrai dados do arquivamento: - `crau list file.warc.gz` - `crau extract file.warc.gz URL` - "Toca" o arquivamento no navegador (tipo a [Wayback Machine](https://web.archive.org/) do [Internet Archive](https://archive.org/)): - `crau play file.warc.gz` - Em breve cache storage pro scrapy! - Feito em 2 madrugadas de PyBr
## Gracias - Pelos códigos, cafés, cervejas e papos na madruga: - [Guilherme Semente](https://github.com/semente) - [Raphael Passini](https://github.com/RaphaPassini) - [Artur Gaspar](https://github.com/ArturGaspar/) - Galera da mansão [pós-dojo](http://blog.justen.eng.br/2009/10/coding-dojorio-em-niteroi.html) (10 anos!) - Pelos códigos, galera que desenvolve: - [scrapy](https://scrapy.org/) - [pywb](https://github.com/webrecorder/pywb) - [warcio](https://github.com/webrecorder/warcio)
## Sprint (segunda-feira!) - [rows](https://turicas.info/rows) - [Brasil.IO](https://brasil.io/) - [crau](https://github.com/turicas/crau)

Slides em: bit.ly/turicas-pybr15


{twitter,
github,
youtube,
slideshare,
instagram}
/turicas

turicas@brasil.io