Elasticsearch 在智能运维领域的运用

分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践，如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。

Transcript

1. Elasticsearch 在智能运维领域的运用 Elastic 技术专家 曾勇
2. 什么是智能运维？
4. 人工智能！
5. 落地！
6. 我们具体聊聊运维的痛点！
7. 服务器器、硬件、⽹网络 …
8. 软件、服务、代码…
9. 传感器器、设备、物联⽹网… Image Credit: https://www.flickr.com/photos/teco_kit/23908928999
10. 每时每刻产⽣生⼤大量量的…
11. 事件、⽇日志…
12. Metrics、指标…
13. 期望得到的…
14. 报表…
15. 异常…
16. 告警…
17. 因为…
18. Improve Uptime Stability Visibility Reduce Errors Downtime Time to Resolution
19. 你需要…
20. 所有这些. Unstructured Machine Learning Query language Fast Highly available Secure Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
21. Elastic 提供 所有这些. Unstructured Machine Learning Query language Fast Highly available Secure Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
22. Elastic 为什什么不不⼀一样?
23. ⽤用户⽆无处不不在
24. LOG MANAGEMENT MOBILE APM SYSTEM MONITORING TIME SERIES WEB MONITORING ANOMALY DETECTION Elastic 不不在 <Gartner 魔⼒力力象限> 尽管
25. Search Analytics Numbers Text Logs Historical Metrics Real time Heuristic Machine Learning 多样性 才是我们的⻓长处 不不过
26. 回到话题
27. 运维之监控！ •  监控指标的收集 •  监控数据的存储 •  监控数据的分析 •  监控数据的告警
28. 运维之监控！ •  监控数据的存储 •  监控数据的分析 •  监控数据的告警
29. Metricbeat, Filebeat, Auditbeat & Logstash System •  Linux •  MacOS •  Windows •  Perfmon Custom apps •  JMX/Jolokia •  PHP-FPM •  Golang •  Dropwizard Storage •  Ceph Cloud •  AWS •  GCP •  DigitalOcean Queues •  Redis •  Kafka •  RabbitMQ Security •  ArcSight Caches •  Memcached Containers •  Docker •  Kubernetes Virtualization •  vSphere Datastores •  MySQL •  PostgreSQL •  MongoDB •  Couchbase •  Aerospike Network •  Netflow •  Packets Web servers •  Apache •  Nginx Other •  HAProxy •  Zookeeper •  Prometheus •  Graphite •  Icinga … …
30. 运维之监控！ •  监控数据的分析 •  监控数据的告警
31. 运维之监控！ •  监控数据的分析
32. 运维之监控！ 人工智能 亦或 只能人工
33. 也还行， 也就几千个指标！ CPU Metrics
34. 也还行， 也就几千个指标！ 几万？ CPU Metrics
36. Elastic Stack 可采集海量指标 •  爆炸！
37. ELASTIC 的人工智能，智能运维。
38. ELASTIC 的人工智能，智能运维。 ELASTIC 的机器学习。
39. 先看看监控数据 •  三大类 – Logging – Tracing info – Metrics
40. 都是时序型数据！
41. 什么是时序型数据？
42. 为什么使用时序型数据？
43. 为什么使用时序型数据？
44. Bucketing
45. Bucket 的选择
46. 监督型机器学习。
47. 非监督型机器学习。
48. 时序型指标 特征化，模型化！
49. 让机器去帮你 监控海量指标，发现异常！
50. DEMO
51. 总结 •  运维已进入精细化智能化时代 •  AI 不会让运维失业 •  让机器做机器擅长的 •  Elastic 让运维分析更简单
53. IT-OPS-KPI
54. IT-OPS-NETWORK
55. IT-OPS-SQL
56. 关联分析