Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
現状分析と予兆検知を融合した監視システムの確立 モニタリング-スタジオ
Search
ShowNet
PRO
June 16, 2022
Technology
0
410
現状分析と予兆検知を融合した監視システムの確立 モニタリング-スタジオ
2022/6/15-6/17 に幕張メッセで開催されたInterop Tokyo 2022のShowNetスタジオでの講演資料です。
ShowNet
PRO
June 16, 2022
Tweet
Share
More Decks by ShowNet
See All by ShowNet
ShowNetの歩き方 2023
shownet
PRO
0
5
ShowNet2023 Topology
shownet
PRO
0
320
ShowNet2023 External
shownet
PRO
0
20
【shownet.conf_2023】ShowNetのネットワークを解説~最新鋭の技術で作るマルチテナントバックボーン~
shownet
PRO
0
1.4k
【shownet.conf_2023】ローカル5Gサービス提供への挑戦とその知見
shownet
PRO
0
1.4k
【shownet.conf_2023】パフォーマンス計測と詳細分析を組合わせた監視基盤の実現
shownet
PRO
0
1.4k
【shownet.conf_2023】ShowNetを守るセキュリティ〜広帯域化するネットワークを守る新たな挑戦〜
shownet
PRO
0
1.4k
【shownet.conf_2023】ShowNet を効率良く試験するために
shownet
PRO
0
1.6k
【shownet.conf_2023】ShowNet2023 伝送報告
shownet
PRO
0
1.7k
Other Decks in Technology
See All in Technology
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
DMM.com アルファ室採用案内資料
hsugita
1
230
Cloud Service Mesh に触れ合う
phaya72
1
220
M5stackで使用できるpHセンサの開発
shinrinakamura
0
170
エンジニア候補者向け資料2024.04.24.pdf
macloud
0
3.4k
生産性向上チームの紹介
cybozuinsideout
PRO
1
920
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
os1ma
5
710
web-application-security
matsuihidetoshi
1
190
【SORACOM UG 東海】あらゆるモノがつながる社会へ、IoT と SORACOM
soracom
PRO
1
140
2024春 注目のWeb系 OSS & SaaS 3選
makies
0
180
M&A戦略を支えるデータマネジメント (MIDAS Tech Study #16 GENDA Komiyama)
kommy339
1
110
LLM開発・活用の舞台裏@2024.04.25
yushin_n
3
1.2k
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
26
2.3k
In The Pink: A Labor of Love
frogandcode
138
21k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Making Projects Easy
brettharned
109
5.5k
Building a Scalable Design System with Sketch
lauravandoore
457
32k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Automating Front-end Workflow
addyosmani
1357
200k
Fireside Chat
paigeccino
22
2.6k
Building Better People: How to give real-time feedback that sticks.
wjessup
356
18k
The Mythical Team-Month
searls
216
42k
Clear Off the Table
cherdarchuk
85
310k
Transcript
現状分析と予兆検知を融合した 監視システムの確立
None
モニタリング基盤
変化する監視要件に追従するシステム設計 • Hotstages前期(6/3〜6/4) • 温湿度監視、機器への死活監視、syslog受信監視 • Hotstage後期(6/5〜6/8) • 機器の設定監視、特定ログ/キーワード監視 •
Deploy Day(6/8〜6/9) • Pod監視、syslog監視、xFlow監視、品質監視 • Interop Tokyo Day1〜3(6/15〜6/17) • 安定稼働のための監視 ※6/3は主に機器マウント
監視要件の変化 1. DCの構築 2. ネットワークの構築 3. サーバ・ストレージ基盤の構築 4. セキュリティサービスの構築 5.
アプリケーションの安定稼働 6. プロバイダサービスの提供 プロバイダのサービスを 2週間で構築し提供 監視要件も都度変化する
モニタリングコンセプト
モニタリングテーマ2022 現状分析と予兆検知を融合した監視システムの確立 • 監視データを利用した予兆検知技術の運用への応用 • ハイブリッドクラウドを活用した高可用性な監視システムの実現 • トラフィック解析技術を駆使した進化するネットワーク詳細分析技術 モニタリング
モニタリングテーマ2022 現状分析と予兆検知を融合した監視システムの確立 現状分析 xFlow,SNMP,Syslog 詳細分析 パケット解析 経路解析 フィードフォワード 障害予測 キャパシティ予測
運用オペレーション 運用サポート 運用(障害)分析 運用サポート技術 アラート・ 統計情報 仮想基盤監視 クラウド監視
監視データを利用した予兆検知技術の 運用への応用 • 「AI」「機械学習」といったキーワードを売りにした製 品をどのように運用に取り入れるか。 • 異常検知 • 急なネットワーク変化による変化のアラート検知 •
キャパシティ予測 • コンピューターリソースの使用状況 • Syslog出力量 • CPU,メモリ,ディスク容量 映像品質の異常検知 トラフィック量予測
• オンプレミス・クラウド両方からのActive-Active監視 • 監視環境が地理的配置に依存しない構成 • クラウド内のリージョンを跨いだ冗長構成 ハイブリッドクラウドを活用した高可用性な 監視システムの実現 ShowNet Zabbix-1
System AnswerG3 [1-3] Azure ManagementNetwork Backup/Restore Zabbix-3 Zabbix-2 HA System AnswerG3 [1-3] Azure SQL Database West ThousandEyes- agent System AnswerG3 [1-3] East ThousandEyes- agent ShowNet機器群 監視 監視
ShowNetオンプレミス環境 Azure Flowmon Collector Logstare FlowInspe ctor-10G Zabbix6.0 R220 Pipeline
SNMP trap Syslog sFlow NetFlow IPFIX アプリケーション間連携 System Answer XC ミラートラフィック Flowmon Probe Flowmon Collector-vm Zabbix-1 System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] モニタリング ShowNet機器群 vRealizeNetwork Insight AX-Network- Manager FlowInspe ctor-100G EXA64100 #N-6 Rack PacketMaster EX5-[1-2] System AnswerG3 [1-3] Zabbix-3 Zabbix-2 監視トラフィックの集約・分散
トラフィック解析技術を駆使した進化する ネットワーク詳細分析技術 • リアルタイムトラフィック分析 • マイクロバースト・遅延値・品質値のリアルタイム測定 • リアルタイムlogの検索、監視、分析 • 映像トラフィックのシーケンス番号を識別し、jitter値をマイクロ秒オー
ダで測定 • データプレーントラフィックからのフロー生成・分析 • ミラートラフィックからnetflow生成
モニタリングから見るShowNetの状況 • 監視ホスト数 :514 • 最大Syslog数/days:53,975,699 • 最大フロー/sec:4000 ※SNMP監視の結果から抽出 Syslog数/日
フロー/秒
モニタリングから見るShowNetの状況②
おわりに • 監視基盤のアーキテクチャで効率的に収集 • 多種多様な監視データをあらゆるツールで運用 • 監視基盤の安定稼働のためにクラウド・オンプレミス で冗長化
協力いただいたいコントリビュータさま