【ShowNet Stage 2025】AI技術✕高精度な監視データ収集で築くインテリジェントな運用・監視基盤

2025年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

SS2-5 【AI技術✕高精度な監視データ収集で築くインテリジェントな運用・監視基盤】
モニタリング分科会

NOCチームメンバー
三島 航

Transcript

1. AI技術✕高精度な監視データ収集で築く インテリジェントな運用・監視基盤 ShowNet NOCチームメンバー 三島
3. 監視対象：トポロジに乗る全ての機器 3 .mon モニタリング セグメント
4. 変化する監視要件に追従するシステム設計 監視要件の変化 1. ラックマウント・監視網の構築 2. ネットワークの構築 3. サーバ・ストレージ基盤の構築 4. MoIP、モバイルサービスの構築 5. セキュリティサービスの構築 6. プロバイダサービスの提供 プロバイダのサービスを 5/30〜6/13の 約2週間で構築＆提供 構築段階に合わせ、 監視要件も都度変化 4
5. 変化する監視要件に追従するシステム設計 • Hotstage前期（5/30〜5/31） • 温湿度監視、機器への死活監視、syslog受信監視 • Hotstage後期（6/1〜6/6） • SNMP/Syslog監視、xFlow監視、テレメトリ取得、アラート通知 • Deploy Day（6/7〜6/10） • 監視エージェント設置、品質監視、アラート条件精査 • Interop Tokyo Day1〜3（6/11〜6/13） • 安定稼働のための監視 5
6. 数字で見るモニタリング • 監視ホスト数：957 • 最大syslog数/day：247,608,158 • SNMP Get 対象ホスト数：315 6 Syslog 数の推移：SystemAnswer LogOption より
7. 7 2025 モニタリングコンセプト AI技術✕高精度な監視データ収集で築くインテリジェントな 運用・監視基盤 • ShowNetが掲げるオブザーバビリティの追求 • モニタリングシステムへのAIOpsの活用 • 省電力化を意識した精緻なインフラ環境モニタリング
8. 8 各テーマの取組み内容 • ShowNetが掲げるオブザーバビリティの追求 o 複数の統合監視システムを活用したShowNetの包括的な観測 o 監視アラートの相互関連付けによる速やかな障害原因特定 • モニタリングシステムへのAIOpsの活用 o 監視データ・構成情報を活用した生成AIによる運用補助 o 監視アラート・トラブルチケットを契機とする障害分析の自動化 • 省電力化を意識した精緻なインフラ環境モニタリング o Streaming Telemetryを用いた環境メトリクスの取得 o クラウド基盤との5G接続による迅速な監視環境の構築 o ラックの3Dモデル化によるデジタルツイン構成管理
9. Flowmon Collector ＠FlowInspector 100G Zabbix7.0 Syslog SNMP trap sFlow/NetFlow/IPFIX アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk SearchHead AX-Network- Manager 監視トラフィック転送 System AnswerG3 [1-3] ThousandEyesAgent ZS7700 PacketMaster EX5-[1-2] AX-NV (AX-Sensor) AX-NV (AX-Collector) ＠FlowInspector controller CX監視Option Manager Streaming Telemetry OpsRamp GW Apstra Flow EasyBlocks Docomo MEC SDPFクラウド Cloud Interconnection Mobile Connection telegraf Splunk Indexer Splunk Indexer Splunk SearchHead ShowNet機器群 9 9
10. 統合監視・オブザーバビリティ Zabbix • SNMP/SYSLOG監視 • MoIP機器のTelemetry監視 • 各種センサー監視 • PTP環境の時刻監視 SystemAnswerG3 • SNMP/SYSLOG監視 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • ユーザーエージェント監視 アラート 連携・通知 チャットツールへ通知 生成AI連携による障害分析 ＠FlowInspector OpsRamp • SNMP/xFlow監視 • マルチレイヤ監視アラートの 相互関連付け • AI推論によるノイズアラート除去 自動分析・ 回答Post 10
11. Zabbix-1 System AnswerG3 [1-3] ThousandEyes -agent 監視 死活監視 ThousandEyes 経路監視 System AnswerG3 [1-3] SDPF Splunk SearchHead Splunk Indexer Provider Connectivity Assurance ApstraCloud Docomo MEC OpsRamp Internet 機器リソース 監視 DCファブリック 監視 TWAMP 監視 Cloud Inter- Connect Mobile Connect Management Network クラウド環境を利用した監視 11
12. エージェントを用いた UX 監視 IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option IBC CX 監視 Option Cisco PCA 12 メッセ各ホールの POD と Externalルータに エージェントを配置し、 通信品質（UX）を計測！ Cisco PCA (N-2) N-2 ラック 12 メッセ各ホールの POD と Externalルータに エージェントを配置し、 通信品質（UX）を計測！ POD（各出展者 = ユーザの収容スイッチ）
13. 映像ストリームの状態監視 100G 10G 400G 1G NE8000-F2A(1) NE8000-F2A(2) ShowNet Backbone @FlowInspector QFX5130-32CD KAIT様持ち込み KAIT様トラフィック JGN / IOWN N-7 : Monitoring N-2 : External N-10 : Exhibitor • SMTPE-2110 ST2110映像ストリームをリアルタイムに監視 • 映像・音声・補助・映像フレームレートを映像ストリーム別に監視 • パケット分析機能を用いたトラフィック分析 QFX5220-32CD .sec 1 n ・ @FlowInspector MoIPトラフィック 13 MoIP TAP
14. AI Ops の活用：LLMを用いた障害検知・分析 • Syslog,アラート情報,TTDB,オペレーションガイドの情報から具体的な障害箇所を推定 → 今までモニタリングNOCが障害調査してきたタスクを、どの程度 LLM に任せる事が出来るか • どの程度正しく推定できたかをまとめ、_shonet.conf 等で結果を報告予定 統合監視アラート @FlowInspector 14
15. 5Gを活用したモニタリング環境構築 • クラウド基盤との5G接続による迅速な監視環境の構築 • HotStage 序盤から電力計測の Telemetry データを送信 5G端末 PA-415-5G SDPF MECダイレクト テナント splunk (Indexer) NE NE ShowNet mgmt NW MEC-GW splunk (Search Head) log-server telemetry collector トンネル (GRE) over MECダイレクト Docomo mobile BackHall Streaming Telemetry SDPF mgmt NW 15 データの蓄積・可視化・分析
16. デジタルツイン構成管理ソリューション Zabbix 監視情報と 3D モデルの重ね合わせによるデジタルツイン構成管理 360° カメラで NOC ラックを 3D モデル化 Zabbix センサの 監視情報 16 NOC ルーム内、正面の巨大モニタで展示中
17. 協力いただいたコントリビュータさま ※50音順 17 17