Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Elasticsearch 在智能运维领域的运用
Search
medcl
January 20, 2018
Technology
0
340
Elasticsearch 在智能运维领域的运用
分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。
medcl
January 20, 2018
Tweet
Share
More Decks by medcl
See All by medcl
Elastic Stack- Past, Present, & Future
medcl
0
52
A Spider Written in Golang
medcl
1
74
又一个爬虫
medcl
0
91
Introduction to Beats and extending Beats
medcl
0
98
Elasticsearch & Bigdata
medcl
2
220
Elastic Stack V5
medcl
0
100
Elastic Stack V5
medcl
0
71
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
440
Introduction to Elasticsearch @ FOSSASIA2016
medcl
0
7.3k
Other Decks in Technology
See All in Technology
【GPT-5本出版記念】npaka による AIの今とこれから と AI時代の生存戦略
npaka
2
800
VCC 2025 Write-up
bata_24
0
110
Goに育てられ開発者向けセキュリティ事業を立ち上げた僕が今向き合う、AI × セキュリティの最前線 / Go Conference 2025
flatt_security
0
180
AIを導⼊しても、 開発⽣産性は"爆増"していない なぜ?
kinosuke01
4
3.5k
Deep Research と NotebookLM を使い倒す!レガシーリプレイスの技術選定と学習コスト削減術
tet0h
0
2.5k
あなたのWebサービスはAIに自動テストしてもらえる?アクセシビリティツリーで読み解く、AIの『視点』
yusukeiwaki
1
3.1k
生成AIで「お客様の声」を ストーリーに変える 新潮流「Generative ETL」
ishikawa_satoru
1
110
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
ypresto
7
2.8k
Streamlit は社内ツールだけじゃない!PoC の速さで実現する'商用品質'の分析 SaaS アーキテクチャ
kdash
2
930
#普通の文系サラリーマンチャレンジ 自分でアプリ開発と電子工作を続けたら人生が変わった
tatsuya1970
0
690
更高效率低成本的 Observability 2.0 時代即將來臨 (Observability 2.0 Why you need know) - DevOpsDays Taiwan 2025
shazi7804
0
360
履歴 on Rails: Bitemporal Data Modelで実現する履歴管理/history-on-rails-with-bitemporal-data-model
hypermkt
0
1.4k
Featured
See All Featured
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Code Reviewing Like a Champion
maltzj
525
40k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Java REST API Framework Comparison - PWX 2021
mraible
33
8.8k
The Art of Programming - Codeland 2020
erikaheidi
56
13k
Documentation Writing (for coders)
carmenintech
75
5k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Visualization
eitanlees
148
16k
Speed Design
sergeychernyshev
32
1.1k
How to Ace a Technical Interview
jacobian
280
23k
Transcript
Elasticsearch 在智能运维领域的运用 Elastic 技术专家 曾勇
什么是智能运维?
None
人工智能!
落地!
我们具体聊聊运维的痛点!
服务器器、硬件、⽹网络 …
软件、服务、代码…
传感器器、设备、物联⽹网… Image Credit: https://www.flickr.com/photos/teco_kit/23908928999
每时每刻产⽣生⼤大量量的…
事件、⽇日志…
Metrics、指标…
期望得到的…
报表…
异常…
告警…
因为…
Improve Uptime Stability Visibility Reduce Errors Downtime Time to Resolution
你需要…
所有这些. Unstructured Machine Learning Query language Fast Highly available Secure
Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 提供 所有这些. Unstructured Machine Learning Query language Fast Highly
available Secure Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 为什什么不不⼀一样?
⽤用户⽆无处不不在
LOG MANAGEMENT MOBILE APM SYSTEM MONITORING TIME SERIES WEB MONITORING
ANOMALY DETECTION Elastic 不不在 <Gartner 魔⼒力力象限> 尽管
Search Analytics Numbers Text Logs Historical Metrics Real time Heuristic
Machine Learning 多样性 才是我们的⻓长处 不不过
回到话题
运维之监控! • 监控指标的收集 • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
Metricbeat, Filebeat, Auditbeat & Logstash System • Linux • MacOS
• Windows • Perfmon Custom apps • JMX/Jolokia • PHP-FPM • Golang • Dropwizard Storage • Ceph Cloud • AWS • GCP • DigitalOcean Queues • Redis • Kafka • RabbitMQ Security • ArcSight Caches • Memcached Containers • Docker • Kubernetes Virtualization • vSphere Datastores • MySQL • PostgreSQL • MongoDB • Couchbase • Aerospike Network • Netflow • Packets Web servers • Apache • Nginx Other • HAProxy • Zookeeper • Prometheus • Graphite • Icinga … …
运维之监控! • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的分析
运维之监控! 人工智能 亦或 只能人工
也还行, 也就几千个指标! CPU Metrics
也还行, 也就几千个指标! 几万? CPU Metrics
None
Elastic Stack 可采集海量指标 • 爆炸!
ELASTIC 的人工智能,智能运维。
ELASTIC 的人工智能,智能运维。 ELASTIC 的机器学习。
先看看监控数据 • 三大类 – Logging – Tracing info – Metrics
都是时序型数据!
什么是时序型数据?
为什么使用时序型数据?
为什么使用时序型数据?
Bucketing
Bucket 的选择
监督型机器学习。
非监督型机器学习。
时序型指标 特征化,模型化!
让机器去帮你 监控海量指标,发现异常!
DEMO
总结 • 运维已进入精细化智能化时代 • AI 不会让运维失业 • 让机器做机器擅长的 • Elastic
让运维分析更简单
None
IT-OPS-KPI
IT-OPS-NETWORK
IT-OPS-SQL
关联分析