Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Elasticsearch 在智能运维领域的运用
Search
medcl
January 20, 2018
Technology
0
340
Elasticsearch 在智能运维领域的运用
分享Elasticsearch和X-Pack组件在智能运维领域的技术原理和应用实践,如非监督型机器学习在自动的异常检测、高级关联和分类、根源问题诊断、早期故障预测等方面的应用等。
medcl
January 20, 2018
Tweet
Share
More Decks by medcl
See All by medcl
Elastic Stack- Past, Present, & Future
medcl
0
52
A Spider Written in Golang
medcl
1
74
又一个爬虫
medcl
0
92
Introduction to Beats and extending Beats
medcl
0
98
Elasticsearch & Bigdata
medcl
2
220
Elastic Stack V5
medcl
0
100
Elastic Stack V5
medcl
0
71
基于Elastic Stack的数据探索与分析@QConBeijing2016
medcl
1
440
Introduction to Elasticsearch @ FOSSASIA2016
medcl
0
7.4k
Other Decks in Technology
See All in Technology
dbtとBigQuery MLで実現する リクルートの営業支援基盤のモデル開発と保守運用
recruitengineers
PRO
3
130
私のMCPの使い方
tsubakimoto_s
0
110
「れきちず」のこれまでとこれから - 誰にでもわかりやすい歴史地図を目指して / FOSS4G 2025 Japan
hjmkth
1
330
フレームワークを意識させないワークショップづくり
keigosuda
0
210
今この時代に技術とどう向き合うべきか
gree_tech
PRO
2
2.1k
AI時代におけるデータの重要性 ~データマネジメントの第一歩~
ryoichi_ota
0
700
ソースを読むプロセスの例
sat
PRO
15
9.4k
Zephyr(RTOS)にEdge AIを組み込んでみた話
iotengineer22
0
200
20251007: What happens when multi-agent systems become larger? (CyberAgent, Inc)
ornew
1
470
Claude Code Subagents 再入門 ~cc-sddの実装で学んだこと~
gotalab555
10
16k
『バイトル』CTOが語る! AIネイティブ世代と切り拓くモノづくり組織
dip_tech
PRO
1
130
RDS の負荷が高い場合に AWS で取りうる具体策 N 連発/a-series-of-specific-countermeasures-available-on-aws-when-rds-is-under-high-load
emiki
7
4.2k
Featured
See All Featured
Docker and Python
trallard
46
3.6k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
4k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
333
22k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
35
6.1k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Navigating Team Friction
lara
190
15k
jQuery: Nuts, Bolts and Bling
dougneiner
65
7.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
269
13k
What's in a price? How to price your products and services
michaelherold
246
12k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
46
2.5k
Agile that works and the tools we love
rasmusluckow
331
21k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Transcript
Elasticsearch 在智能运维领域的运用 Elastic 技术专家 曾勇
什么是智能运维?
None
人工智能!
落地!
我们具体聊聊运维的痛点!
服务器器、硬件、⽹网络 …
软件、服务、代码…
传感器器、设备、物联⽹网… Image Credit: https://www.flickr.com/photos/teco_kit/23908928999
每时每刻产⽣生⼤大量量的…
事件、⽇日志…
Metrics、指标…
期望得到的…
报表…
异常…
告警…
因为…
Improve Uptime Stability Visibility Reduce Errors Downtime Time to Resolution
你需要…
所有这些. Unstructured Machine Learning Query language Fast Highly available Secure
Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 提供 所有这些. Unstructured Machine Learning Query language Fast Highly
available Secure Enrichment Advanced Analytics Dashboards Scalable Alerting SaaS Log correlation APIs Visualizations Real-time Drill down Reports Data sources
Elastic 为什什么不不⼀一样?
⽤用户⽆无处不不在
LOG MANAGEMENT MOBILE APM SYSTEM MONITORING TIME SERIES WEB MONITORING
ANOMALY DETECTION Elastic 不不在 <Gartner 魔⼒力力象限> 尽管
Search Analytics Numbers Text Logs Historical Metrics Real time Heuristic
Machine Learning 多样性 才是我们的⻓长处 不不过
回到话题
运维之监控! • 监控指标的收集 • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的存储 • 监控数据的分析 • 监控数据的告警
Metricbeat, Filebeat, Auditbeat & Logstash System • Linux • MacOS
• Windows • Perfmon Custom apps • JMX/Jolokia • PHP-FPM • Golang • Dropwizard Storage • Ceph Cloud • AWS • GCP • DigitalOcean Queues • Redis • Kafka • RabbitMQ Security • ArcSight Caches • Memcached Containers • Docker • Kubernetes Virtualization • vSphere Datastores • MySQL • PostgreSQL • MongoDB • Couchbase • Aerospike Network • Netflow • Packets Web servers • Apache • Nginx Other • HAProxy • Zookeeper • Prometheus • Graphite • Icinga … …
运维之监控! • 监控数据的分析 • 监控数据的告警
运维之监控! • 监控数据的分析
运维之监控! 人工智能 亦或 只能人工
也还行, 也就几千个指标! CPU Metrics
也还行, 也就几千个指标! 几万? CPU Metrics
None
Elastic Stack 可采集海量指标 • 爆炸!
ELASTIC 的人工智能,智能运维。
ELASTIC 的人工智能,智能运维。 ELASTIC 的机器学习。
先看看监控数据 • 三大类 – Logging – Tracing info – Metrics
都是时序型数据!
什么是时序型数据?
为什么使用时序型数据?
为什么使用时序型数据?
Bucketing
Bucket 的选择
监督型机器学习。
非监督型机器学习。
时序型指标 特征化,模型化!
让机器去帮你 监控海量指标,发现异常!
DEMO
总结 • 运维已进入精细化智能化时代 • AI 不会让运维失业 • 让机器做机器擅长的 • Elastic
让运维分析更简单
None
IT-OPS-KPI
IT-OPS-NETWORK
IT-OPS-SQL
关联分析