big data disruptiva com pyspark

Transcript

1. big data disruptiva com pyspark all you need is python / she loves python yeah! yeah! @bsao / hello@bsao.me
2. @bsao • +12 anos como desenvolvedor (+10 com python) • data engineer @ vivareal.com • meu time: http://bit.ly/data-vr rupy brazil chairman startup vale co-founder agilevale co-founder
3. São Paulo / SP - 24 e 25 de Novembro www.polyconf.com.br DIVERSIDADE UNIDA
4. big data é o imenso volume de dados estruturados ou não que impactam o dia a dia dos negócios.
5. 5 “v’s” volume velocidade variedade valor veracidade
6. http://cacm.acm.org/blogs/blog-cacm/169199-data-science-workflow-overview-and-challenges/fulltext
8. +
9. • framework para processamento de big-data • foco em velocidade • abstração de analises sofisticadas • nasceu da academia em Berkeley, 2009 • open source 2010 • fácil/rápido/escalável/framework para cluster computing • o core é escrito em scala (jvm) • apis completas para Python e o resto (Java/Scala/R) • um projeto muito ativo desde 2014
10. características • extende MapReduce; • suporta mais do que apenas as funções de Map e Reduce; • evita mover dados durante o processamento, • “cachea” dados em memória e processamento proximo do tempo real. • detem dados intermediários em memória, para processar o mesmo conjunto de dados varias vezes • o disco é usado quando a memória acaba. • REPL
11. creditos: https://weidongzhou.wordpress.com/2015/09/08/hadoop-hdfs-mapreduce-and-spark-on-big-data/
12. arquitetura • API - criação de aplicações (Scala, Java ou Python) • Armazenamento de dados - Usa o HDFS para armezar os dados, ou seja, consegue processar nativamente qualquer dado compatível. • Framework de gerenciamento - Gestão da infraestrutura.
13. RDD Resilient Distributed Datasets é a estrutura de dado fundamental do Spark é uma coleção de dados distribuida pode conter qualquer tipo de dados python / java ou scala tolerante a falhas
14. SparkContext • é a porta de entrada para o spark • configuração e provisionamento
15. RDD storage valor tranformacão map filter foreach group ação count take reduce collect countByValue savar
16. modelo de execução Driver SparkContext Worker Executor Task Worker Executor Task Worker Executor Task
17. beatles = sc.textFile(‘storage/file’) storage partição partição partição beatles = beatles.map(loads) collect beatles.collect() partição partição partição beatles = beatles.filter(lambda b: b[‘track_duration’] > 25000)
18. behind the scenes - python • py4j - permite que um programa python rodando dentro de um interpretador python possa acessar objetos java em uma jvm. • pickle
19. driver worker Python SparkContext beatles = sc.textFile(‘storage/file’) py4j Java SparkContext sc = SparkContext() java executor task beatles = beatles.map(loads) Python Code Python Code task beatles = beatles.filter(lambda b: b[‘track_duration’] > 25000)
20. funções serão executadas no worker por um processo python
21. no spark o código vai até o dado reversal russa
22. spark permite criar programas altamente testavéis
23. obrigado / @bsao