Expandindo suas habilidades de big data batch processing para streaming e multi-cloud

Apresentação realizada por Marcos Takeshi no Big Data Week São Paulo 2019 [http://sao-paulo.bigdataweek.com].

Transcript

1. BDW SP 2019 MARCOS TAKESHI
2. AGENDA • Sobre mim • Tendências • Atualização • Tema? • Arquitetura • Crawling • Infra • Controller • Cloud • Validação BIG DATA WEEK SÃO PAULO 2019
3. Big Data Master Specialist MARCOS TAKESHI técnico eletrotécnico engenheiro eletrônico (telecomunicações) administração empresas big data ISTJ /marcos.takeshi /takeshi_marcos /marcostakeshi http://sao-paulo.bigdataweek.com/ BIG DATA WEEK SÃO PAULO 2019
4. ISTJ Acrônimo utilizado para descrever as personalidades criadas por Katharine Briggs e Isabel Myers Significados: "Introverted", "Sensing", "Thinking", "Judging". ISTJ indica uma pessoa que valoriza o tempo gasto consigo mesmo (Introverted), que foca mais em fatos e detalhes do que ideias e conceitos (Sensing), que faz decisões baseada na lógica e na razão (Thinking) e que prefere se planejada e organizada a ser espontânea e flexível (Judging). BIG DATA WEEK SÃO PAULO 2019
5. MASTER ESPECIALIST - Perfil Técnico - Referência Técnica - Compartilha conhecimento - Atua em diversos papéis - Mobilidade entre projetos - Estagiários BIG DATA WEEK SÃO PAULO 2019 analistas coordenadores especialistas gerentes especialistas master
6. participação em projetos não garante um conhecimento abrangente BIG DATA WEEK SÃO PAULO 2019
7. Tendências
8. EVENTOS & TENDÊNCIAS - Strata 2018 (Março): Spark - Strata 2018 (Setembro): Machine Learning - Strata 2019 (Março): Streaming - Strata 2019 (Setembro): Inteligência Artificial BIG DATA WEEK SÃO PAULO 2019
9. GUIDELINES - Hadoop e processamento Batch são commodities - Itens inclusos no hadoop devem ser de conhecimento dos profissionais - hdfs - sqoop - flume - hive - impala - hbase BIG DATA WEEK SÃO PAULO 2019
10. LINUX - o ecossistema hadoop é opensource e roda em linux - nem sempre interfaces gráficas estão disponíveis - conhecimento de comandos linux economiza programação BIG DATA WEEK SÃO PAULO 2019
11. PROCESSAMENTO - Spark (Python/ Scala) ainda é bastante utilizado em processamento batch - Storm - Flink BIG DATA WEEK SÃO PAULO 2019
12. OUTRAS FERRAMENTAS - Solr - Elasticsearch/ Kibana/ Logstash/ Beat/ plugins/ ML - WSO2 Stream Processor - Apache Nifi - Streamsets BIG DATA WEEK SÃO PAULO 2019
13. FRAMEWORKS ML - pandas - scikit-learn - tensorflow - theano - keras - H2O BIG DATA WEEK SÃO PAULO 2019
14. Atualização
15. PROJETOS PESSOAIS - Projetos simples (crawlers, APIs, etc) - Game Hacking - Arduino & RaspberryPI - Alexa / Dash Button BIG DATA WEEK SÃO PAULO 2019
16. PROJETOS FUTUROS - Robô para aumentar seguidores (Instagram) - Chatbot com Telegram - Garduino - etc... BIG DATA WEEK SÃO PAULO 2019
17. BIG DATA WEEK SÃO PAULO 2019
18. OBJETIVO BIG DATA WEEK SÃO PAULO 2019 coisas que você AMA coisas em que você é BOM coisas que dão DINHEIRO
19. IKIGAI BIG DATA WEEK SÃO PAULO 2019 DINHEIRO MUNDO BOM AMA PAIXÃO MISSÃO VOCAÇÃO PROFISSÃO satisfação, mas sentimento de inutilidade confortável, mas sentimento de vazio entusiasmo, mas sentimento de incerteza alegria, mas sem prosperidade RAZÃO DE VIVER
20. EVOLUÇÃO BIG DATA WEEK SÃO PAULO 2019 (1)365 = 1
21. EVOLUÇÃO BIG DATA WEEK SÃO PAULO 2019 (1,01)365 = 37,8
22. INTENÇÃO BIG DATA WEEK SÃO PAULO 2019 - Profissionais não se limitem apenas a suas funções - Expandam seus conhecimentos
23. ENGAJAMENTO - Pró-Atividade - Objetivo em mente - Primeiro o mais importante - Ganha-ganha - Primeiro compreender, depois ser compreendido - Crie sinergia - Cuide da máquina BIG DATA WEEK SÃO PAULO 2019
24. Tema ?
25. - POC trading: Operação em mini-índices PROJETO PESSOAL ATUAL - desenvolvimento de projetos paralelos que estimulem BIG DATA WEEK SÃO PAULO 2019
26. OBJETO DE ESTUDO BIG DATA WEEK SÃO PAULO 2019 Contratos futuros são acordos de compra e venda de produtos negociados na Bolsa de Valores com uma data de vencimento futura. Os minicontratos são uma oportunidade para que investidores com pequeno capital possam operar no mercado futuro, acreditando na alta ou baixa de produtos como Índices, Moedas ou Juros. Os principais investimentos que podem ser feitos com minicontratos são: - Dólar (WDO) - Índices (WIN)
27. OBJETO DE ESTUDO BIG DATA WEEK SÃO PAULO 2019
28. Arquitetura
29. Arquitetura da POC BIG DATA WEEK SÃO PAULO 2019 EC2 crawler rest web service kafka zookeeper S3 Google Drive site controle captura controle análise
30. Crawling
31. SELENIUM - Desenvolvimento em Python - Selenium migração de docker para EC2 pesquisa docker hub BIG DATA WEEK SÃO PAULO 2019
32. AIOHTTP - Desenvolvimento em Python - Biblioteca de HTTP Client/Server BIG DATA WEEK SÃO PAULO 2019
33. CRAWLER - Desenvolvimento em Python - Realiza efetivamente a navegação BIG DATA WEEK SÃO PAULO 2019
34. Infra
35. SCRIPT - SO BIG DATA WEEK SÃO PAULO 2019
36. SCRIPT - JAVA BIG DATA WEEK SÃO PAULO 2019
37. SCRIPT - ZOOKEEPER BIG DATA WEEK SÃO PAULO 2019
38. SCRIPT - KAFKA BIG DATA WEEK SÃO PAULO 2019
39. SCRIPT - PYTHON BIG DATA WEEK SÃO PAULO 2019
40. SCRIPT - CHROME BIG DATA WEEK SÃO PAULO 2019
41. SCRIPT - XVFB BIG DATA WEEK SÃO PAULO 2019
42. SCRIPT - SPARK BIG DATA WEEK SÃO PAULO 2019
43. INSTANCE DETAILS BIG DATA WEEK SÃO PAULO 2019
44. Controller
45. CAPTURA BIG DATA WEEK SÃO PAULO 2019
46. PROBLEMA BIG DATA WEEK SÃO PAULO 2019
47. LOG BIG DATA WEEK SÃO PAULO 2019
48. ANÁLISE BIG DATA WEEK SÃO PAULO 2019
49. SPARK SHELL BIG DATA WEEK SÃO PAULO 2019
50. SPARK SHELL BIG DATA WEEK SÃO PAULO 2019
51. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
52. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
53. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
54. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
55. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
56. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
57. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
58. VISUALIZAÇÃO BIG DATA WEEK SÃO PAULO 2019
59. INSTÂNCIAS BIG DATA WEEK SÃO PAULO 2019
60. Cloud
61. Cloud Conhecimentos adicionais para gerenciamento de instâncias AWS (DevOps) "tão importante quanto ganhar é controlar quanto gasta" BIG DATA WEEK SÃO PAULO 2019
62. Cloudwatch Stop com alarmes BIG DATA WEEK SÃO PAULO 2019
63. Cloudwatch Utilização da máquina BIG DATA WEEK SÃO PAULO 2019
64. Cloudwatch Utilização da máquina BIG DATA WEEK SÃO PAULO 2019
65. Cloudwatch Utilização da máquina BIG DATA WEEK SÃO PAULO 2019
66. Cloudwatch Utilização da máquina BIG DATA WEEK SÃO PAULO 2019
67. Cloudwatch – EC2 BIG DATA WEEK SÃO PAULO 2019
68. Cloudwatch – EC2 BIG DATA WEEK SÃO PAULO 2019
69. Cloudwatch – EC2 BIG DATA WEEK SÃO PAULO 2019
70. Cloudwatch Utilização da máquina BIG DATA WEEK SÃO PAULO 2019
71. Agendamento Start/Stop programados de instâncias EC2 utilizando Cloudwatch, lambda, roles e policies. BIG DATA WEEK SÃO PAULO 2019
72. IAM - Policies BIG DATA WEEK SÃO PAULO 2019
73. Create Policy BIG DATA WEEK SÃO PAULO 2019
74. Review Policy BIG DATA WEEK SÃO PAULO 2019
75. Policy - {} JSON BIG DATA WEEK SÃO PAULO 2019 Versão JSON
76. IAM - Roles BIG DATA WEEK SÃO PAULO 2019
77. Create Role - Service BIG DATA WEEK SÃO PAULO 2019
78. Create Role - Policy BIG DATA WEEK SÃO PAULO 2019
79. Create Role - Tag BIG DATA WEEK SÃO PAULO 2019
80. Create Role - Review BIG DATA WEEK SÃO PAULO 2019
81. IAM - Roles BIG DATA WEEK SÃO PAULO 2019
82. Lambda - Functions BIG DATA WEEK SÃO PAULO 2019
83. Lambda – Create Function BIG DATA WEEK SÃO PAULO 2019
84. Lambda – Nome/Linguagem BIG DATA WEEK SÃO PAULO 2019
85. Lambda – Nome/Linguagem BIG DATA WEEK SÃO PAULO 2019
86. Lambda – Nome/Linguagem BIG DATA WEEK SÃO PAULO 2019
87. Lambda – Function BIG DATA WEEK SÃO PAULO 2019
88. Lambda – Códigos Python BIG DATA WEEK SÃO PAULO 2019 import boto3 def lambda_handler(event, context): ec2 = boto3.client('ec2', 'us-east-1') ec2.start_instance('i-0201d38dfd205x1fb') import boto3 def lambda_handler(event, context): ec2 = boto3.client('ec2', 'us-east-1') ec2.stop_instance('i-0201d38dfd205x1fb')
89. Lambda – Role & Timeout BIG DATA WEEK SÃO PAULO 2019
90. Lambda – Role & Timeout BIG DATA WEEK SÃO PAULO 2019
91. Lambda - Functions BIG DATA WEEK SÃO PAULO 2019
92. Cloudwatch – Rules BIG DATA WEEK SÃO PAULO 2019
93. Cloudwatch – Source BIG DATA WEEK SÃO PAULO 2019
94. Cloudwatch – Cron BIG DATA WEEK SÃO PAULO 2019
95. Cloudwatch – Target BIG DATA WEEK SÃO PAULO 2019
96. Cloudwatch – Target Lambda BIG DATA WEEK SÃO PAULO 2019
97. Cloudwatch – Details BIG DATA WEEK SÃO PAULO 2019
98. Cloudwatch – Rules BIG DATA WEEK SÃO PAULO 2019
99. Custos BIG DATA WEEK SÃO PAULO 2019
100. Validação
101. Comparação BIG DATA WEEK SÃO PAULO 2019
102. Comparação BIG DATA WEEK SÃO PAULO 2019
103. Próximos Passos
104. KAFKA PRODUCER BIG DATA WEEK SÃO PAULO 2019
105. KAFKA CONSUMER BIG DATA WEEK SÃO PAULO 2019 - Programa em python ou scala utilizando spark streaming - Utilizando função windowing para análise de diversos tempos gráficos - Gravação dos resultados em novos tópicos separados por tempo gráfico
106. OPERAÇÕES BIG DATA WEEK SÃO PAULO 2019 - window - countByWindow - reduceByWindow - reduceByKeyAndWindow - countByValueAndWindow
107. SLIDING WINDOW BIG DATA WEEK SÃO PAULO 2019 60seg 0?
108. GROUP KEY BIG DATA WEEK SÃO PAULO 2019 30seg 120seg 30seg 30seg key = segundo
109. /marcos.takeshi /takeshi_marcos /marcostakeshi http://sao-paulo.bigdataweek.com/ MARCOS TAKESHI OBRIGADO BIG DATA WEEK SÃO PAULO 2019