【swonet.conf_ 2025】AI技術 x 高精度な監視データ収集で築くインテリジェントな運用・監視基盤

モニタリングチームでは、ShowNetの安定稼働を実現するための監視運用を担っています。
多種多様な機器を運用するために、ログ監視・品質監視・リソース監視・アクティブ監視といったあらゆる側面での統合的な監視が求められます。
また、運用を効率的に行うためにLLM等のAI技術を活用する取り組みも行っております。
本セッションでは、ShowNet 2025の監視システムのコンセプトと構築過程、そして監視運用で可視化した結果をご紹介します。

SPEAKER
モニタリング
ShowNet NOCチームメンバー
神山 卓哲（KDDI）

Transcript

1. 1 AI技術 X 高精度な監視データ収集で築く インテリジェントな運用・監視基盤 ShowNet NOC Team Member モニタリング担当 神山卓哲
2. ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのインターネットサービスの提供 ➢構築中の予期せぬ障害 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理 （外気からの影響を強く受ける） モニタリング 2
3. 監視対象：トポロジに乗る全ての機器 ・統合監視（SNMPを用いた全体監視） ・ログ監視・xFlow監視 ・syslog/xFlow/snmpトラップ転送 ・時刻ずれ監視 ・パケット解析・可視化 ・仮想化基盤監視 ・Telemetry監視 ・各種監視サービスの連携 3
4. モニタリング全体概要 モニタリング 4 syslog snmp xflow telemetry センサーデータ パケットキャプチャ 死活監視 アクティブ監視 その他 各項目連携による 統合監視を実現 ・エラー検知 ・log全文検索 ・trap通知 ・カウンタ情報get ・リアルタイムデータ取得 ・push型のデータ出力 ・icmp ping ・プロトコルベース ・TWAMP ・ユーザー通信を模擬した監視 ・トラフィック分析 ・セキュリティ連携 ・環境モニタリング ・温度/湿度/Co2 ・L1〜L7トラフィック分析 ・映像ストリーミング監視 ・エージェント監視 ・LLDP,時刻監視,etc..
5. 変化する監視要件に追従するシステム設計 モニタリング 5 監視要件の変化 1. ラックマウント・監視網の構築 2. ネットワークの構築 3. サーバ・ストレージ基盤の構築 4. MoIP、モバイルサービスの構築 5. セキュリティサービスの構築 6. プロバイダサービスの提供 プロバイダのサービスを 5/30〜6/13の約2週間で 構築し提供 監視要件も都度変化する
6. 変化する監視要件に追従するシステム設計 モニタリング 6 ➢Hotstage前期（5/30〜5/31） ✓温湿度監視、機器への死活監視、syslog受信監視 ➢Hotstage後期（6/1〜6/6） ✓snmp/syslog監視、xFlow監視、テレメトリ取得、アラート通知 ➢Deploy Day（6/7〜6/10） ✓監視エージェント設置、品質監視、アラート条件精査 ➢Interop Tokyo Day1〜3（6/11〜6/13） ✓安定稼働のための監視
7. 2025 モニタリングコンセプト AI技術✕高精度な監視データ収集で築くインテリジェント な運用・監視基盤 ➢ShowNetが掲げるオブザーバビリティの追求 ➢モニタリングシステムへのAIOpsの活用 ➢省電力化を意識した精緻なインフラ環境モニタリング 7
8. 各テーマの取組み内容 • ShowNetが掲げるオブザーバビリティの追求 ➢ 複数の統合監視システムを活用したShowNetの包括的な観測 ➢ 監視アラートの相互関連付けによる速やかな障害原因特定 • モニタリングシステムへのAIOpsの活用 ➢ 監視データ・構成情報を活用した生成AIによる運用補助 ➢ 監視アラートを契機とする障害分析の自動化 • 省電力化を意識した精緻なインフラ環境モニタリング ➢ Streaming Telemetryを用いた環境メトリクスの取得 ➢ クラウド基盤との5G接続による迅速な監視環境の構築 ➢ ラックの3Dモデル化によるデジタルツイン構成管理 8
9. Flowmon Collector ＠FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] ShowNet機器群 Splunk SearchHead AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZS7700 PacketMaster EX5-[1-2] AX-NV (AX-Sensor) AX-NV (AX-Collector) ＠FlowInspector controller CX監視Option Manager Streaming Telemetry OpsRamp GW Apstra Flow EasyBlocks Docomo MEC SDPFクラウド CloudInterConnection MobileConnection telegraf Splunk Indexer Splunk Indexer Splunk SearchHead 9
10. ラック実装関連 モニタリング 10 NOCラック(モニタリング) 各Hallに展開するPOD(一例) 監視エージェントを 設置してユーザー通信品質を 監視しています！
11. mgmt sw System Answer G3-1,2,3 SA Log Option Flowmon Collector 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Flowmon CollectorVA .svc head PTP Media Profile モニタリングラック物理接続構成 NOCラック CUBRO EX5-2 CUBRO EX-5-1 AX-NV(AX-Sensor) AX-NV(AX-collector) AX-NetworkManager 100G x 2(KAIT Traffic ) Cisco Provider Connectivity Assurance Cisco Crosswork Network Controller 100G x 2(MoIP+shownet mirror ) QFX5220- 32CD Flowmon Probe 10G (shownet mirror ) 10G x 2(grobal) 10G x 2(PTP) Zabbix 7.0 ZS-7700 EasyBlocks Apstra flow Splunk KAIT QFX5130 @FlowInspector100G Profitap X2-2000G D-2 N-7 N-6 N-6 N-14 D-2 N-5 N-3 N-3 N-7 @FlowInspector100G 10G x 1(制御信号用) Allegro 7310 100G x 2(MoIP+shownet mirror ) 11
12. ログ監視・テレメトリ監視 モニタリング 12 Splunk • ログ全文探索・可視化 • テレメトリデータ可視化 • 機械学習によるアノマリ検知 SystemAnswer LOG option • ログ可視化 • SnmpTrap等の横断分析 • アラート通知連携
13. ログ数で見るモニタリング • 監視ホスト数：957 • SNMP Get 対象ホスト数：315 • 最大syslog数/day：約3.19億 • Syslogサイズ合計：約1.6TByte 13 日付 log数 6月1日 26,977,512 6月2日 66,841,495 6月3日 151,690,544 6月4日 161,980,241 6月5日 190,256,468 6月6日 141,472,749 6月7日 120,309,856 6月8日 241,116,832 6月9日 245,195,719 6月10日 222,730,469 6月11日 247,835,895 6月12日 318,638,697 6月13日 273,513,889 合計 2,408,560,366 0 50,000,000 100,000,000 150,000,000 200,000,000 250,000,000 300,000,000 350,000,000 6月1日 6月2日 6月3日 6月4日 6月5日 6月6日 6月7日 6月8日 6月9日 6月10日 6月11日 6月12日 6月13日 syslog数の推移 Hotstage Deproy 会期
14. ホスト種別毎のログ数比率推移 モニタリング 14 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% 6月1日 6月2日 6月3日 6月4日 6月5日 6月6日 6月7日 6月8日 6月9日 6月10日 6月11日 6月12日 6月13日 その他 WiFi マネジメント バックボーンルーター セキュリティ Hotstage Deproy 会期 構築当初はマネジメント比率が多く、インターネット通信が増える後半は セキュリティが多くを占める
15. 会期中のある一日のログ数推移 モニタリング 15 開場時間 開場時間付近は出展社収容SWやWifi,マネジメントNWの接続・接続断 が増えるため、比例してログも増加傾向が見える 0時 1時 2時 3時 4時 5時 6時 7時 8時 9時 10時 11時 12時 13時 14時 15時 16時 17時 18時 19時 20時 21時 22時 23時 セキュリティ バックボーンルーター マネジメント WiFi その他 物理linkトラブル発生・復旧 ※冗長系によりサービス影響無し
16. ネットワークフロー監視・可視化 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから フローデータの生成 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 AX-Network-Manager • Syslog,SNMPを用いた監視、分析 • トポロジ図へマッピングさせた接続 デバイスの可視化 • 脅威検出時のNW自動遮断
17. 通信品質監視・分析 17 Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 • 映像トラフィック監視 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
18. クラウド環境を利用した監視 Zabbix-1 System AnswerG3 [1-3] 監視 死活・監視 System AnswerG3 [1-3] SDPF Splunk SearchHead Splunk Indexer PCA ApstraCloud Docomo MEC OpsRamp Internet 機器リソース監視 DCファブリック監視 TWAMP監視 Cloud InterConnect MobileConnect ManagementNetwork 18 CX監視Option Manager
19. 統合監視・オブザーバビリティ モニタリング Zabbix • SNMP/SYSLOG監視 • MoIP機器のTelemetry監視 • 各種センサー監視 • PTP環境の時刻監視 SystemAnswerG3 • SNMP/SYSLOG監視 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • ユーザーエージェント監視 アラート 連携・通知 チャットツールへ通知 生成AI連携による障害分析 ＠FlowInspector 自動分析・ 回答Post 19 OpsRamp • SaaSベースの統合監視 • SNMP/xFlow監視 • AI推論によるノイズアラート除去
20. アラート検知運用の工夫 20 分科会毎のチャンネルに アラート通知 AIを活用した自動分析の 取り組み
21. LLMを用いた障害検知・分析の取り組み 生成AI連携による障害分析 自動分析 チャットのアラート投稿と連携 21 回答Post
22. LLMを用いた障害検知・分析の取り組み • Syslog,アラート情報,TTDB,オペレーションガイドの情報から具体的な障害箇所の推定 • オペレーターが行う“障害原因分析”をどれぐらいLLMに任せる事が出来るか 22 PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 分析に用いるデータ送信 クラウド上 生成AI基盤 自動連携 監視データを用いた出力生成 • アラートの分析、要約 • 原因の推測 • 解決アクションの提案 運用補助 TTDB (構成管理) オペレー ションガイド Configデータ ＠FlowInspector 100G 物理接続、IPアドレス、設置場所情報 NW機器設定の規則
23. LLMを用いた障害検知・分析の取り組み ➢ 物理レイヤトラブルによるBGP Downアラート分析結果抜粋(チューニング前) ➔間違ったことは言っていないが、関係しないエラーを拾い原因分析が困難 23 チューニング前
24. LLMを用いた障害検知・分析の取り組み 24 ➢ 物理レイヤトラブルによるBGP Downアラート分析結果抜粋(チューニング後) ➔物理レイヤが原因の可能性が高いと分析、機器に対応したアクションを提示できている チューニング後 ShowNet環境に合わせチューニング ・ログ検索に適したキーワードの精度向上 ・障害分析ナレッジの追加 ※メッセージ/プロトコル ・機器Config/設定ポリシー情報の追加 ・各分析ロールの見直し
25. ユーザー通信品質監視 25 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング • アクティブ監視エージェントを用いたサービス監視 • 出展者用ネットワークの通信品質を常時監視 • インターネット向け経路監視 • 地理的に離れた拠点のTWANP測定
26. ShowNet Media-X拠点間のTWAMPを用いた 高精度な遅延測定 26 各放送局ルータに Smart SFPを挿入し 双方向の品質測定 モニタリング Cisco Provider Connectivity Assurance
27. 映像ストリームの状態監視 モニタリング 100G 10G 400G 1G NE8000-F2A(1) NE8000-F2A(2) ShowNet Backbone @FlowInspector QFX5130-32CD KAIT様映像トラフィック JGN / IOWN N-2 : External N-10 : Exhibitor ➢SMPTE-2110 ST2110映像ストリームをリアルタイムに監視 ✓映像・音声・補助・映像フレームレートを映像ストリーム別に監視 ➢パケット分析機能を用いたトラフィック分析 QFX5220-32CD .sec 1 n ・ @FlowInspector MoIPトラフィック 27 TAP
28. 5Gを活用したモニタリング環境構築 • クラウド基盤との5G接続による迅速な監視環境の構築 モニタリング 5G端末 PA-415-5G Docomo MEC splunk (Indexer) NE NE mgmt MEC-GW splunk (Search Head) log-server tlemetry collector トンネル (GRE) over MECダイレクト Docomo mobile BH Streaming Telemetry Telemetry可視化 28
29. デジタルツイン構成管理ソリューション • センサー監視情報と3Dモデルの重ね合わせによる環境モニタリング • ShowNetラックを3Dモデル化しデジタルツイン構成管理 モニタリング 29
30. 苦労ポイント・まとめ ➢ログ収集の全数チェックをいかに効率化するか • チェックサーバに全監視パケットを転送し自動チェック ➢”正常に全ログ収集できているか“を監視することも必要 • 正常状態の定義が構築段階により変化することを考慮 ➢重点監視ポイントの変化 • マネジメント→バックボーン→出展社(PoD)とNWが展開 • 監視アラートの速やかなチューニングが課題 ➢膨大なログをLLMで取り扱うことの難しさ • AIは万能ではないことを前提に、NW規模や要件に合わせたチューニングが必須 モニタリング 30
31. 協力いただいたコントリビュータさま ※50音順 31