Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Elasticsearch 在智能运维领域的运用
Search
medcl
January 20, 2018
Technology
0
340
Elasticsearch 在智能运维领域的运用
分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。
medcl
January 20, 2018
Tweet
Share
More Decks by medcl
See All by medcl
Elastic Stack- Past, Present, & Future
medcl
0
52
A Spider Written in Golang
medcl
1
75
又一个爬虫
medcl
0
92
Introduction to Beats and extending Beats
medcl
0
98
Elasticsearch & Bigdata
medcl
2
220
Elastic Stack V5
medcl
0
100
Elastic Stack V5
medcl
0
72
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
440
Introduction to Elasticsearch @ FOSSASIA2016
medcl
0
7.4k
Other Decks in Technology
See All in Technology
OpenTelemetry が拡げる Gemini CLI の可観測性
phaya72
2
510
「使い方教えて」「事例教えて」じゃもう遅い! Microsoft 365 Copilot を触り倒そう!
taichinakamura
0
450
LLMアプリの地上戦開発計画と運用実践 / 2025.10.15 GPU UNITE 2025
smiyawaki0820
1
670
私のMCPの使い方
tsubakimoto_s
0
110
Biz職でもDifyでできる! 「触らないAIワークフロー」を実現する方法
igarashikana
3
890
ソフトウェアエンジニアの生成AI活用と、これから
lycorptech_jp
PRO
0
570
FinOps について (ちょっと) 本気出して考えてみた
skmkzyk
0
170
Click A, Buy B: Rethinking Conversion Attribution in ECommerce Recommendations
lycorptech_jp
PRO
0
110
WEBサービスを成り立たせるAWSサービス
takano0131
1
180
AI Agent Dojo #2 watsonx Orchestrateフローの作成
oniak3ibm
PRO
0
130
プレーリーカードを活用しよう❗❗デジタル名刺交換からはじまるイベント会場交流のススメ
tsukaman
0
190
サイバーエージェント流クラウドコスト削減施策「みんなで金塊堀太郎」
kurochan
4
2.1k
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
GraphQLの誤解/rethinking-graphql
sonatard
73
11k
Why Our Code Smells
bkeepers
PRO
340
57k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Agile that works and the tools we love
rasmusluckow
331
21k
Statistics for Hackers
jakevdp
799
220k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
4 Signs Your Business is Dying
shpigford
185
22k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.5k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
34
2.3k
Transcript
Elasticsearch 在智能运维领域的运用 Elastic 技术专家 曾勇
什么是智能运维?
None
人工智能!
落地!
我们具体聊聊运维的痛点!
服务器器、硬件、⽹网络 …
软件、服务、代码…
传感器器、设备、物联⽹网… Image Credit: https://www.flickr.com/photos/teco_kit/23908928999
每时每刻产⽣生⼤大量量的…
事件、⽇日志…
Metrics、指标…
期望得到的…
报表…
异常…
告警…
因为…
Improve Uptime Stability Visibility Reduce Errors Downtime Time to Resolution
你需要…
所有这些. Unstructured Machine Learning Query language Fast Highly available Secure
Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 提供 所有这些. Unstructured Machine Learning Query language Fast Highly
available Secure Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 为什什么不不⼀一样?
⽤用户⽆无处不不在
LOG MANAGEMENT MOBILE APM SYSTEM MONITORING TIME SERIES WEB MONITORING
ANOMALY DETECTION Elastic 不不在 <Gartner 魔⼒力力象限> 尽管
Search Analytics Numbers Text Logs Historical Metrics Real time Heuristic
Machine Learning 多样性 才是我们的⻓长处 不不过
回到话题
运维之监控! • 监控指标的收集 • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
Metricbeat, Filebeat, Auditbeat & Logstash System • Linux • MacOS
• Windows • Perfmon Custom apps • JMX/Jolokia • PHP-FPM • Golang • Dropwizard Storage • Ceph Cloud • AWS • GCP • DigitalOcean Queues • Redis • Kafka • RabbitMQ Security • ArcSight Caches • Memcached Containers • Docker • Kubernetes Virtualization • vSphere Datastores • MySQL • PostgreSQL • MongoDB • Couchbase • Aerospike Network • Netflow • Packets Web servers • Apache • Nginx Other • HAProxy • Zookeeper • Prometheus • Graphite • Icinga … …
运维之监控! • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的分析
运维之监控! 人工智能 亦或 只能人工
也还行, 也就几千个指标! CPU Metrics
也还行, 也就几千个指标! 几万? CPU Metrics
None
Elastic Stack 可采集海量指标 • 爆炸!
ELASTIC 的人工智能,智能运维。
ELASTIC 的人工智能,智能运维。 ELASTIC 的机器学习。
先看看监控数据 • 三大类 – Logging – Tracing info – Metrics
都是时序型数据!
什么是时序型数据?
为什么使用时序型数据?
为什么使用时序型数据?
Bucketing
Bucket 的选择
监督型机器学习。
非监督型机器学习。
时序型指标 特征化,模型化!
让机器去帮你 监控海量指标,发现异常!
DEMO
总结 • 运维已进入精细化智能化时代 • AI 不会让运维失业 • 让机器做机器擅长的 • Elastic
让运维分析更简单
None
IT-OPS-KPI
IT-OPS-NETWORK
IT-OPS-SQL
关联分析