Observability with the Elastic Stack (pt-br)

When we talk about observability the most common reaction is "What is this?" But also things like "We just launched an observability initiative but we are still figuring out exactly how to do it" and finally, some organizations already consider observability an integral part of how to design and build products and services. Since the term is still gaining momentum in this talk I demystify what Elastic observability is to us, how we understand it and how to use the Stack for that purpose.

Transcript

1. !1 Observabilidade com o Elastic Stack Priscilla Parodi | Community Advocate for Latin America
2. Somos uma empresa de busca!
3. !3
4. !4
5. A busca é uma constante
6. !6 Diferença tecnológica ESCALA VELOCIDADE RELEVÂNCIA
7. !7 Clientes de várias indústrias, segmentos e geografias. TECHNOLOGY FINANCE TELCO CONSUMER HEALTHCARE PUBLIC SECTOR AUTOMOTIVE / TRANSPORTATION RETAIL
8. !8 O Elastic Stack
9. !9 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
10. !10 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
11. Elasticsearch Centro do Elastic Stack Escalável Altamente disponível Tempo Real REST API Armazenamento versátil Busca eficiente
12. Elasticsearch Conceitos básicos • Document • Index • Node • Cluster • Shards e Replicas Node 1 Cluster Index Shard Shard Node 2 Shard Shard
13. !13 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
14. !14 Logstash ETL para Elasticsearch Ingerir de dados de todas as formas, tamanhos e origens Analisar e transformar dados dinamicamente Transportar dados para qualquer saída Proteger e criptografar entradas de dados Construa seus próprios pipelines Diversos plugins
15. Logstash Entrada JDBC … … … TCP UDP HTTP Elasticsearch Filtros / Normalização/ Enriquecimento Extract Fields Geo Enrich Lookup Enrich DNS Lookups Pattern Matching ArcSight Codec … Network / Security Data Syslog Servers Infra / App Data IoT / Sensors Persistent Disk Based Queues Logstash Pipelines: Filtros + Normalização + Enriquecimento Saída Elasticsearch … … … … … Kafka RabbitMQ RDBMS Elasticsearch Filtre, normalize e enriqueça antes de indexar
16. !16 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
17. !17 Beats Leves agentes expedidores de dados Enviar dados da fonte Navegar e centralizar no Elasticsearch Enviar para o Logstash para transformação e análise Enviar para Elastic Cloud Libbeat: framework de API para construir batidas personalizadas 70+ Beats feitos pela comunidade
18. !18 FileBeat Logs MetricBeat Métricas PacketBeat Dados de rede WinLogBeat Eventos Windows HeartBeat Monitoramento de tempo de atividade AuditBeat Dados de auditoria FunctionBeat Serverless E mais… Módulos de Beats
19. !19 • Informações imediatas para tipos de dados específicos • Dados no painel em apenas um passo Ganhe Visibilidade Imediata • Análise e enriquecimento automatizados • Painéis padrão, alertas, trabalhos de ML • Descoberta automática
20. Logstash Entrada Beats … … JDBC … … TCP UDP HTTP Elasticsearch Filtros / Normalização/ Enriquecimento Extract Fields Geo Enrich Lookup Enrich DNS Lookups Pattern Matching ArcSight Codec … Network / Security Data Syslog Servers Infra / App Data IoT / Sensors Persistent Disk Based Queues Beats + Logstash Beats Saída Elasticsearch … … … … … Kafka RabbitMQ RDBMS Elasticsearch Filtre, normalize e enriqueça antes de indexar
21. !21 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
22. !22 Kibana Visualização e gerenciamento do Elastic Stack Visualize e analise Geoespacial Personalizar e compartilhar relatórios Exploração Gráfica UX para gerenciar o Elastic Stack Crie aplicativos personalizados
23. !23 Kibana Seus dados, do seu jeito. Em qualquer escala, com velocidade.
24. Componentes do Elastic Stack trabalhando juntos Kibana Beats Logstash Elasticsearch Datastore Web APIs Ingest Nodes (X) Ingerir dados com o Beats e / ou Logstash. Gerenciar / visualizar com o Kibana
25. !25 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
26. !26 Observabilidade 

27. !27 O que é? Source: Silicon Valley giants like Twitter and Google Logs Métricas APM (Application Performance Management) Objetivo: ”Garantir que os operadores responsáveis pelo sistema possam detectar comportamentos indesejáveis tendo as informações necessárias para determinar a causa raiz de maneira eficaz.”
28. !28 Elastic Stack para logs Logs Métricas APM
29. !29 Definição de Logs 64.242.88.10 - - [07/Jan/2019:16:10:02 -0800] "GET /mailman/listinfo/hsdivision HTTP/1.1" 200 6291 64.242.88.10 - - [07/Jan/2019:16:11:58 -0800] "POST /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 404 7352 64.242.88.10 - - [07/Jan/2019:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253 Para cada evento mostre o que aconteceu Logs são registros cronológicos de eventos
30. 30 Módulos BEATS para Logs System • Linux / MacOS • Windows Events Containers • Docker • Kubernetes Databases • MySQL • PostgreSQL Queues • Kafka • Redis Web servers • Apache • Nginx Audit data • Filesystem • System calls Infraestrutura Aplicação WINLOGBEAT FILEBEAT AUDITBEAT
31. !31 UI para logs
32. !32 Elastic Stack para métricas Logs Métricas APM
33. !33 Definição de Métricas Métricas são medições periódicas de KPIs 07/Jan/2019 16:10:00 all 2.58 0.00 0.70 1.12 0.05 95.55 server1 containerX regionA
 07/Jan/2019 16:20:00 all 2.56 0.00 0.69 1.05 0.04 95.66 server2 containerY regionB
 07/Jan/2019 16:30:00 all 2.64 0.00 0.65 1.15 0.05 95.50 server2 containerZ regionC
 
 A cada x minutos meça o uso da CPU, mostre e anote com meta-dados.
34. !34 Infrastructure System • Linux • MacOS • Windows • Perfmon Cloud • AWS • GCP • Azure • DigitalOcean • Alibaba Containers • Docker • Kubernetes Virtualization • vSphere Network • Netflow • Packets • TLS Envelope Storage • Ceph Infraestrutura Módulos BEATS para métricas PACKETBEAT METRICBEAT HEARTBEAT
35. !35 Infrastructure Uptime • Heartbeat Custom apps • JMX/Jolokia • PHP-FPM • Golang Datastores • MySQL • PostgreSQL • MongoDB • Couchbase • Aerospike • Graphite Queues • Kafka • Redis • RabbitMQ Caches • Memcached Web servers • Apache • Nginx Other • … Aplicação PACKETBEAT METRICBEAT HEARTBEAT Módulos BEATS para métricas
36. !36 UI para métricas
37. !37 Elastic Stack para APM Logs Métricas APM (Application Performance Management)
38. !38 Definição de APM Vive dentro da aplicação. 08:32:10 Request comes in "/api/checkout" 08.33:27 Response goes back "/api/checkout 500 ERROR" Caixa Preta
39. !39 UI para APM Great overview and drill-down with industry-standard visualizations RUM
40. !40 Kibana Beats Logstash Elasticsearch Logs Metrics Packets ... Datastore JMX APM no Stack APM Server APM Agents
41. !41 Monitoramento Full-stack Logs Métricas APM
42. !42 Correlação entre logs, métricas e APM
43. !43 Visualização e gerenciamento Kibana Monitoramento Reports Machine Learning Correlação Dashboards Alertas
44. !44 Elastic Stack Armazenamento e busca Elasticsearch Visualização e Gerenciamento Kibana Beats Ingestão Logstash Metrics Logging APM Site
 Search Application Search Business
 Analytics Enterprise
 Search Security
 Analytics Future Soluções SaaS Elastic Cloud Self Managed Elastic Cloud
 Enterprise Standalone Modos de deploy
45. DEMO
46. !46 Faça parte da nossa comunidade!
47. !47 200,000+ membros
48. !48 Como fazer parte? Meetup GitHub Mídias Sociais Seja um(a) organizador(a)! Fórum discuss.elastic.co/ t/about-elastic- em-portugues github.com/elastic http://bit.ly/elastic- community-brasil
49. !49 Perguntas
50. !50 OBRIGADA! /priscillaparodi pri.parodi Priscilla Bueno Parodi