Introdução à Análise de Dados com Elastic Stack

Os dados já não são mais apenas uma simples camada da aplicação, hoje eles são essencialmente vitais na tomada de decisões das empresas. Por esse motivo, a Análise de Dados é um componente relevante em diversos cenários modernos: Machine Learning, Data Science, IoT, etc.
Nesta palestra, apresentada no evento Insiter Conf 2018, em Teresina-PI, mostrei como podemos começar a produzir, extrair e transformar dados de uma aplicação/site/game e como consumi-los de forma organizada, usando Elastic Stack.

Transcript

1. Introdução à Análise de Dados com Elastic Stack Cleiton Francisco
2. Quem sou Cleiton Francisco Analista de Tecnologia do Jus.com.br Desenvolvedor Full Stack (a long time)
3. ➔ Apresentação ◆ Motivação ◆ Pipeline de análise de dados ◆ Porque Elastic? ➔ A Elastic Stack ◆ Beats ◆ Logstash ◆ Elasticsearch ◆ Kibana O que vamos ver? ➔ Modelo de aplicação ➔ Como funciona ◆ Filebeat ◆ Logstash ➔ Instalação e Configuração ➔ Kibana ➔ Elastic na Nuvem
4. Apresentação
5. ➔ Quem precisa fazer análise de dados? ➔ Como começar? Motivação
6. ➔ Aquisição de dados ➔ Exploração e Entendimento ➔ Limpeza e Manipulação ➔ Análise e Modelagem ➔ Comunicar e operacionalizar Pipeline de análise de dados
7. ➔ Simples e acessível ➔ Integra facilmente com outras ferramentas ➔ Baixa/média curva de aprendizagem ➔ Diversos cases e players já adotam ➔ Tá surfando na crista da onda Porque Elastic
8. Buzzwords 2018 ➔ Artificial Intelligence (AI) ➔ Internet of Things ➔ Blockchain ➔ Digital Detox / Digital Productivity ➔ Microservices / Microservice Architecture ➔ Quantum Computing ➔ Serverless Architecture ➔ Mobile First ➔ Dark Data ➔ Actionable Analytics / Self-Service Analytics
9. Buzzwords 2018 ➔ Artificial Intelligence (AI) ➔ Internet of Things ➔ Blockchain ➔ Digital Detox / Digital Productivity ➔ Microservices / Microservice Architecture ➔ Quantum Computing ➔ Serverless Architecture ➔ Mobile First ➔ Dark Data ➔ Actionable Analytics / Self-Service Analytics
10. O que é Elastic Stack
11. Elastic Stack conhecida anteriormente como ELK Stack
12. Elastic Stack conhecida anteriormente como ELK Stack
13. Os entregadores Beats é a plataforma de entrega de dados. Eles são instalados como agentes leves e enviam dados de centenas ou milhares de máquinas para o Logstash ou o Elasticsearch. Beats
14. Beats Os entregadores A família do Beats é composta por: • Filebeat (Log Files) • Metricbeat (Metrics) • Packetbeat (Network Data) • Winlogbeat (Windows Event Logs) • Auditbeat (Audit Data) • Heartbeat (Uptime Monitoring)
15. Pipeline O Logstash é o motor de fluxo de dados do Elastic Stack para coletar, enriquecer e unificar todos os seus dados independentemente do formato ou esquema. Logstash
16. O coração da Stack Elasticsearch é um software open source, que provê uma interface RESTful de pesquisa e análise de dados capaz de solucionar um número crescente de casos de uso. Baseado no Apache Lucene. Elasticsearch
17. Kibana A Interface Kibana é uma janela dentro do Elastic Stack. Ele permite a exploração visual, criação de dashboards e análise em tempo real dos dados no Elasticsearch. Ele quem torna mais fácil e compreensível a interpretação de grandes e complexos fluxos de dados.
18. Modelo de aplicação
19. Elastic Stack Um conjunto de servidores de aplicação
20. Elastic Stack Começam a produzir diversos logs
21. Elastic Stack Cada servidor de App passa a contar então com o Filebeat
22. Elastic Stack Que será responsável por enviar os logs para o Logstash
23. Elastic Stack Os logs serão processados, filtrados e transformados
24. Elastic Stack Depois serão encaminhados para o Elasticsearch
25. Elastic Stack Que vai indexar e analisar os dados que estavam nos logs
26. Elastic Stack O Kibana irá organizar visualmente estas informações
27. Como funciona
28. 1 Filebeat em ação Cada prospector do Filebeat possui as regras para captar logs específicos e enviá-los para um output que pode ser o Elasticsearch, Logstash, Kafka, Redis, etc.
29. 1 Tudo vai ser entregue Se o Logstash estiver ocupado, processando um grande volume de dados, o Filebeat desacelera suas atividades, até que o congestionamento seja resolvido.
30. 1 Logstash ama dados O Logstash aceita dados de todas as formas e tamanhos. Depois pode encaminhar seus dados pra onde for mais importante. INPUT OUTPUT FILTERS
31. ➔ Weblogs / Syslog ➔ Logs customizados ➔ Métricas do sistema ➔ Logs de eventos ➔ Dados da Rede / Firewall ➔ Filas de processamento ➔ Bancos de dados Relacionais / Não Relacionais ➔ Streaming Inputs
32. Outputs: Análise e Arquivamento
33. Outputs: Monitoramento e Alerta Watcher com Elasticsearch
34. Instalação e Configuração
35. Instalação Documentação do Elastic Stack https://www.elastic.co/guide/en/elastic-stack/current/installing-elastic-stack.html Pacotes de instalção: zip/tar.gz | deb | rpm | msi | docker Gerenciamento de Configuração: Puppet | Chef | Ansible
36. Configuração do Elasticsearch Edite o arquivo /etc/elasticsearch/elasticsearch.yml e altere as seguintes linhas: node.name: es-node-1 network.host: localhost
37. Configuração do Kibana Edite o arquivo /etc/kibana/kibana.yml e altere as seguintes linhas: #server.port: 5601 server.host: "localhost" #server.name: "your-hostname" elasticsearch.url: "http://localhost:9200"
38. O logstash precisa do Java 8 (Java 9 não é suportado) Instalação do Logstash
39. filebeat.prospectors: - type: log enabled: true paths: - /var/log/*.log Configuração do Filebeat
40. - input_type: log paths: - /home/user/www/site/count_hits.log tags: ["count_hits"] Configuração do Filebeat
41. #output.elasticsearch: #hosts: ["localhost:9200"] output.logstash: hosts: ["192.168.220.141:5044", "192.168.199.130:5044"] Configuração do Filebeat
42. Configuração do Logstash Crie um arquivo de configuração. Exemplo: /etc/logstash/conf.d/config-1.conf
43. Configuração do Logstash Crie um arquivo de configuração. Exemplo: /etc/logstash/conf.d/config-1.conf
44. input { beats { port => 5044 ssl => true ssl_certificate => "/etc/pki/tls/certs/logstash.crt" ssl_key => "/etc/pki/tls/private/logstash.key" } }
45. filter { if [type] == "syslog" { grok { match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_ pid}\])?: %{GREEDYDATA:syslog_message}" } # continua
46. add_field => ["received_at", "%{@timestamp}"] add_field => ["received_from", "%{host}"] } date { match => [ "syslog_timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } # fim do "syslog"
47. if "count_hits" in [tags] { json { skip_on_invalid_json => true source => "message" } geoip { source => "client_ip" } } } # fim do filter
48. output { elasticsearch { hosts => ["localhost:9200"] sniffing => true manage_template => false index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}" document_type => "%{[@metadata][type]}" } }
49. Kibana
50. Discover do Kibana
51. Discover do Kibana
52. Discover do Kibana
53. Visualize do Kibana
54. Dashboard do Kibana
55. Dashboard do Kibana
56. Visualize do Kibana
57. Visualize do Kibana
58. Elastic na Nuvem
59. Elastic na nuvem
60. Perguntas?
61. Muito Obrigado! @cleitonfco