Navegando em um mar de dados com Python @ XVII Encontro da PythOnRio

Não é novidade para ninguém que nosso mundo está passando por uma nova revolução, a digital. A quantidade de dados gerados nos últimos dois anos é maior que o de toda a história da humanidade, e em 2020 a projeção é de 1.7MB gerados por segundo, somando um total de 35 zettabytes.
Mas com essa quantidade exorbitante de dados, como podemos trabalhar com eles? Que Python nos ajude.

Transcript

1. João Pedro Portela – jportela.gomez@gmail.com
2. Quem é esse cara? Quem são vocês? Bacharel em Sistemas de Informação, PUC-Rio Mestrando em Computação, UFF Desenvolvedor de Software, IBM Estudantes? Entusiastas? Professores? Profissionais?
3. Dados? É de brincar?
6. Tipos de dados Estruturados Semi-Estruturados Não Estruturados
7. Mas como conseguir estes dados?
8. Engenheiro de Dados ou Cientista de Dados? Engenheiro de Dados Cientista de Dados ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓
9. ETL e DAD extract, transform, load discover, access, distill engenheiro de dados cientista de dados Transform cálculo de idade de clientes análise de sentimento tamanho de tumor Extract query em RDBMS tweet tomografias Load inserção em um dataset, CSV, etc. documento NoSQL HDFS Discover consumo por faixa etária avaliação de produto padrões Access pandas MapReduce Hive Distill marketing para uma faixa etária análise de estoque melhor tratamento
10. Web Scraping E Extração de informação de sites. Técnicas Ctrl+C, Ctrl+V humano Padrão textual HTTP Parsing de HTML Parsing de DOM Agregação vertical Semantic annotation recognizing Computer vision web-page analysis BOTS
11. div.produto > h2.nome-cerveja Scrapy https://scrapy.org <div class=“produto” id=“cerveja_1”> <h2 class=“nome-cerveja”>Duff</h2> <p class=“desc-cerveja”>Lorem ipsum</p> </div> div.produto > p.desc-cerveja /* json */ { “type”: “cerveja”, “nome”: “Duff”, “desc”: “Lorem Ipsum” } E
12. Visão Computacional E Técnicas Reconhecimento de objetos Indexação de Imagens Recuperação de imagens Classificação e imagens Mineração de regras de associação Redes neurais Clusterização de imagens
13. T
14. L Hadoop Jobs Dump de dados Algoritmos de Machine Learning etc
15. L TASKS VÃO FALHAR
16. Hadoop e Spark L A
17. pandas A Análise de dados
18. + Análise estrutural de texto Insights de personalidade Reconhecimento de imagens recuperação e rank análise de tom classificador de linguagem natural
19. Conclusão
20. E T L D A D pandas pandas
21. Referências http://www.datasciencecentral.com/profiles/blogs/data-scientist-versus-data-engineer http://www.datasciencecentral.com/profiles/blogs/discover-access-distill-the-essence-of-data-science http://www.forbes.com/sites/bernardmarr/2015/09/30/big-data-20-mind-boggling-facts-everyone-must-read/#121ff7ba6c1d http://pandas.pydata.org http://bluemix.net https://www.ibm.com/watson http://scikit-learn.org http://hadoop.apache.org https://github.com/spotify/luigi http://spark.apache.org
22. jportela.gomez@gmail.com porthunt porthunt see ya! ;)