Os próximos 10 anos do Apache Hadoop

Transcript

1. Luiz Zanardo Hadoop, próximos 10 anos?!? o_O
2. LUIZ ZANARDO @lzanardo /zanardo Soundcloud.com/lzanardo INT 21h @ Cloudera behind the wall
3. Hadoop, próximos 10 anos • Techy • Mercado
5. Hadoop, próximos 10 anos - Techy
6. Hadoop, próximos 10 anos – Techy (passado)
7. Hadoop, próximos 10 anos – Techy (presente!?)
8. Hadoop, próximos 10 anos – Techy (presente)
9. Hadoop, próximos 10 anos – Techy (presente/futuro)
10. Hadoop, próximos 10 anos – Techy (futuro) Tenant Cluster Tenant Cluster Tenant Cluster Tenant Cluster DATA SCIENCE OPERATIONAL DATABASE ANALYTIC DATABASE DATA ENGINEERING Base Cluster (Storage) DATA CATALOG SECURITY GOVERNANCE WORKLOAD MANAGEMENT INGEST & REPLICATION Shared Storage (S3, ADLS, HDFS, KUDU) Tenant Cluster DATA SCIENCE Tenant Cluster OPERATIONAL DATABASE Tenant Cluster ANALYTIC DATABASE Tenant Cluster DATA ENGINEERING
11. Phase 1 Single-Cluster Phase 2 Multi-Cluster Phase 3 No Cluster Phase 4 Federated • Traditional single-cluster, scale-out architecture • Multi-cluster architecture with isolated storage and compute • Pre-configured services in a cloud-native architecture • Global service management and optimization across multiple infrastructure environments • Optimized for data locality and cost efficiency • Optimized for agility and multi-tenancy • Optimized for rapid deployment on elastic infrastructure • Optimized for deployments spanning multiple clouds, availability zones, and data center environments • Runs on nodes • Runs on VMs • Runs on containers • Runs on containers Governance + Security Hadoop, próximos 10 anos - Techy
12. Hadoop, próximos 10 anos – Techy • I/O Disco e Network Control como variáveis YARN (decisão e controle) • IPv6 • Object Stores && Low level • Data Locality!!!!!!! • Multi Line COMMIT (relacional) • Camada de Acesso comum (todos engs) • Convergência Kafka+Kudu • Spark SQL sobre Hbase (não somente via HiveExtTable) • Impala Client-Side load balancer
13. Hadoop, próximos 10 anos – Techy • Suporte a Google Protocol Buffer (Impala) • Nested/Complex types (Kudu) • Melhor previsibilidade do uso de recursos das consultas • Capacidade de definir caixa de penalidade para consultas que é importante para executar, • Melhor previsibilidade do impacto de uma consulta / carga de trabalho (como o analisador de carga de trabalho Teradata) • Capacidade de classificar consultas semelhantes durante a fase de planejamento e fornecer uma maneira de priorizá-las • Capacidade de criar um plano integrado com outros mecanismos, por exemplo, se uma consulta estiver na caixa de penalidade, como no exemplo acima, comece a executar em segundo plano no Hive-Spark.
14. Hadoop, próximos 10 anos – Trippy mode on
15. Hadoop, próximos 10 anos – Techy – The dOS • Tanenbaum on Data o_O
16. Hadoop, próximos 10 anos – Techy – Computação Quântica • Assusta um pouco mas: – Importante p/ operações de SORT – Computação tradicional ainda empregada – Similar ao que fazemos hoje com GPUs/FPGAs – Lucence pode viver em universos paralelos – QRAM (Quantum RAM) para controle de sobreposição – Algoritmos terão de ser otimizados para tal – Storage quântico quase impraticável devido estado desconhecido dos qubits, são ariscos e mudam ao tentar copia-los
18. Hadoop, próximos 10 anos – Mercado (passado)
19. Hadoop, próximos 10 anos – Mercado (presente?!)
20. Hadoop, próximos 10 anos – Mercado (presente)
21. Hadoop, próximos 10 anos – Mercado – Estado atual
22. Hadoop, próximos 10 anos – Mercado - Consolidação
23. Hadoop, próximos 10 anos – Mercado – Gravity!!!! Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit. Lorem ipsum dolor sit amet, consectetur adipiscing elit, sed do eiusmod tempor incididunt labore dolore magna aliqua. Lorem ipsum dolor sit amet, consectetur adipiscing elit.
24. Hadoop, próximos 10 anos – Mercado – Futuro
25. Hadoop, próximos 10 anos – Mercado – Futuro
26. Hadoop, próximos 10 anos – Mercado – Pq?
27. OBRIGADO! Luiz Zanardo Zanardo Luiz (depende do meu estado quântico) @lzanardo /zanardo Soundcloud.com/lzanardo