【ShowNet 展示会場内セミナー 2025】ShowNetを可視化するモニタリングシステム 〜これまでとこれから〜

2025年6月に幕張メッセで実施されたInterop Tokyo 展示会場内セミナーでのNOCチームメンバーによる講演資料

A3-01【ShowNetを可視化するモニタリングシステム 〜これまでとこれから〜】

ShowNet NOCチーム
モニタリング担当
神山 卓哲

ShowNet NOCチーム
モニタリング担当
岩本 裕真

Transcript

1. 1 ShowNetを可視化するモニタリングシステム 〜これまでとこれから〜 ShowNet NOCチームメンバー 岩本・神山
2. Interop とは？ 1986年アメリカでネット技術標準を議論する会議 としてスタート Interoperability(相互運用性）から 作られた造語 ネットワーク製品の検証の場 つなげてみないとわからない 製品の商品化 → 展示会もスタート 日本では1９９４年スタート。今年で32回目 今でも当初の精神はShowNetが受け継ぐ 応用産業分野（同時開催イベントを実施） 応用産業や上位のイノベーションが広がる ことによって進化し続けるインターネット技術 2
3. ShowNetとは 3 I know it works because I saw it at Interop. 最新のネットワーク技術・ ネットワーク機器などを相互に接続 「5年後、10年後に必要となる ネットワークの姿」を示すという ビジョンのもとに構築する コンセプトネットワーク テーマ： ShowNet is your Network
4. ネットワークの規模 コントリビューション機器/製品/サービス：約2300 動員数：828名 NOCチームメンバー：32名、STM：42名 コントリビューター： 754 名 UTP総延長：約24.8km 光ファイバー総延長：約7.0km 総電気容量：100V 約44.7kW 200V 約123.1kW NOCラック NOC 100V 約23.4kW/200V 約123.1kW Pod 100V 約21.3kW 総コンセント数：約302 NOCラック:約200個、POD:約100個 4
5. ShowNetにおける監視の必要性 安定したインターネットサービスの提供 出展者ブース・来場者・構築メンバーへのインターネットサービスの提供 構築中の予期せぬ障害 設定ミス・配線ミスと言った人為的なトラブル 配線の整理作業で意図せず作業対象外ケーブルが抜線される 機器のバグが起因となる障害の発見 ShowNet特有の環境 データセンターとは違った厳しい環境での温湿度管理（外気からの影響を強 く受ける） 5
6. 変化する監視要件に追従するシステム設計 6 監視要件の変化 1. ラックマウント・監視網の構築 2. ネットワークの構築 3. サーバ・ストレージ基盤の構築 4. MoIP、モバイルサービスの構築 5. セキュリティサービスの構築 6. プロバイダサービスの提供 プロバイダのサービスを 5/30〜6/13の約2週間で 構築し提供 監視要件も都度変化する
7. 変化する監視要件に追従するシステム設計 7 Hotstage前期（5/30〜5/31） 温湿度監視、機器への死活監視、syslog受信監視 Hotstage後期（6/1〜6/6） snmp/syslog監視、xFlow監視、テレメトリ取得、アラート通知 Deploy Day（6/7〜6/10） 監視エージェント設置、品質監視、アラート条件精査 Interop Tokyo Day1〜3（6/11〜6/13） 安定稼働のための監視
8. 8 これまでのモニタリングの取り組み 〜振り返り〜
9. 現状分析と予兆検知を融合した監視システムの確立 (２０２２年) 9 予測 機器の帯域値②(6/15) 予測 機器帯域値①(6/13) 機器の帯域値の予測と実測の比較 切り取り範囲 機械学習を応用したデータ予測 マルチクラウド監視環境
10. パフォーマンス計測と詳細分析を組合わせた監視基盤の実現 (２０２３年) 10 アクティブ品質監視 SMPTE-2110 映像ストリーム解析
11. AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム (２０２４年) 11 UX監視 LLM生成AIの応用走り出し
12. 年別のテーマの差分 2022 ハイブリッドクラウド 機械学習 2023 アクティブ品質監視 SMPTE-2110 映像ストリーム解析 TWAMP 2024 UX監視 LLM生成AIの応用走り出し 12
13. 13 InteropTokyo 2025 ShowNetの取り組み
15. 監視対象：トポロジに乗る全ての機器 ・統合監視（SNMPを用いた全体監視） ・ログ監視・xFlow監視 ・syslog/xFlow/snmpトラップ転送 ・時刻ずれ監視 ・パケット解析・可視化 ・仮想化基盤監視 ・各種監視サービスの連携 15
16. 2025 モニタリングコンセプト AI技術✕高精度な監視データ収集で築くインテリジェント な運用・監視基盤 ShowNetが掲げるオブザーバビリティの追求 モニタリングシステムへのAIOpsの活用 省電力化を意識した精緻なインフラ環境モニタリング 16
17. 各テーマの取組み内容 • ShowNetが掲げるオブザーバビリティの追求  複数の統合監視システムを活用したShowNetの包括的な観測  監視アラートの相互関連付けによる速やかな障害原因特定 • モニタリングシステムへのAIOpsの活用  監視データ・構成情報を活用した生成AIによる運用補助  監視アラートを契機とする障害分析の自動化 • 省電力化を意識した精緻なインフラ環境モニタリング  Streaming Telemetryを用いた環境メトリクスの取得  クラウド基盤との5G接続による迅速な監視環境の構築  ラックの3Dモデル化によるデジタルツイン構成管理 17
18. Flowmon Collector ＠FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] ShowNet機器群 Splunk SearchHead AX-Network- Manager 監視トラフィック転送 System AnswerG3 [1-3] ThousandEyesAgent ZS7700 PacketMaster EX5-[1-2] AX-NV (AX-Sensor) AX-NV (AX-Collector) ＠FlowInspector controller CX監視Option Manager Streaming Telemetry OpsRamp GW Apstra Flow EasyBlocks Docomo MEC SDPFクラウド CloudInterConnection MobileConnection telegraf Splunk Indexer Splunk Indexer Splunk SearchHead 18
19. mgmt sw System Answer G3-1,2,3 SA Log Option Flowmon Collector 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Flowmon CollectorVA .svc head PTP Media Profile モニタリングラック物理接続構成 NOCラック CUBRO EX5-2 CUBRO EX-5-1 AX-NV(AX-Sensor) AX-NV(AX-collector) AX-NetworkManager 100G x 2(KAIT Traffic ) Cisco Provider Connectivity Assurance Cisco Crosswork Network Controller 100G x 2(MoIP+shownet mirror ) QFX5220- 32CD Flowmon Probe 10G (shownet mirror ) 10G x 2(grobal) 10G x 2(PTP) Zabbix 7.0 ZS-7700 EasyBlocks Apstra flow Splunk KAIT QFX5130 @FlowInspector100G Profitap X2-2000G D-2 N-7 N-6 N-6 N-14 D-2 N-5 N-3 N-3 N-7 @FlowInspector100G 10G x 1(制御信号用) Allegro 7310 100G x 2(MoIP+shownet mirror ) 19
20. 数字で見るモニタリング • 監視ホスト数：957 • 最大syslog数/day：247,608,158 • SNMP Get 対象ホスト数：315 SystemAnswer LogOption syslog数の推移 20
21. 統合監視 opsramp Zabbix AXNetworkManager SystemAnswerG3 21
22. ネットワーク品質監視 Allegro 7310 AX-Collector Apstra-flow Flowmon 22
23. クラウド環境を利用した監視 Zabbix-1 System AnswerG3 [1-3] ThousandEy es-agent 監視 死活・監視 System AnswerG3 [1- 3] SDPF Splunk SearchHead Splunk Indexer PCA ApstraCloud Docomo MEC OpsRamp Internet 機器リソース監視 DCファブリック監視 TWAMP監視 Cloud InterConnect MobileConnect ManagementNetwork 23
24. アクティブ監視エージェント配置(NOC/POD) IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option IBC CX 監視Option Cisco PCA 1G 24
25. モニタリング モニタリング ShowNet Media-X拠点間のTWAMPを用いた 高精度な遅延測定 Cisco Provider Connectivity Assurance 25 各放送局ルータに Smart SFPを挿入し 測定
26. アクティブ監視 アクティブ監視エージェント CX監視Option 26
27. 映像ストリームの状態監視 100G 10G 400G 1G NE8000-F2A(1) NE8000-F2A(2) ShowNet Backbone @FlowInspector QFX5130-32CD KAIT様持ち込み KAIT様トラフィック JGN / IOWN N-7 : Monitoring N-2 : External N-10 : Exhibitor SMTPE-2110 ST2110映像ストリームをリアルタイムに監視 映像・音声・補助・映像フレームレートを映像ストリーム別に監視 パケット分析機能を用いたトラフィック分析 QFX5220-32CD .sec 1 n ・ @FlowInspector MoIPトラフィック 27
28. LLMを用いた障害検知・分析 • Syslog,アラート情報,TTDB,オペレーションガイドの情報から具体的な障害箇所の推定 →モニタリングNOCが障害調査してきたタスクをどれぐらいLLMに任せる事が出来るか • どの程度正しく動作することができたかの結果をまとめ、confなどで結果を話す予定 @FlowInspector 生成AI連携による障害分析 自動分析・ 回答Post チャットのアラート投稿と連携 28
29. 統合監視・オブザーバビリティ Zabbix • SNMP/SYSLOG監視 • MoIP機器のTelemetry監視 • 各種センサー監視 • PTP環境の時刻監視 SystemAnswerG3 • SNMP/SYSLOG監視 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • ユーザーエージェント監視 アラート 連携・通知 チャットツールへ通知 生成AI連携による障害分析 ＠FlowInspector 自動分析・ 回答Post 29 OpsRamp • SaaSベースの統合監視 • SNMP/xFlow監視 • AI推論によるノイズアラート除去
30. 5Gを活用したモニタリング環境構築 • クラウド基盤との5G接続による迅速な監視環境の構築 5G端末 PA-415-5G SDPF MECダイレクト テナント splunk (Indexer) NE NE mgmt 172.16.0.0/16 MEC-GW splunk (Search Head) log-server tlemetry collector トンネル (GRE) over MECダイレクト 10.33.10.0/24 Docomo mobile BH Streaming Telemetry Telemetry可視化 30
31. デジタルツイン構成管理ソリューション • センサー監視情報と3Dモデルの重ね合わせによる環境モニタリング • ShowNetラックを3Dモデル化しデジタルツイン構成管理 Zabbix 31
32. 協力いただいたコントリビュータさま ※50音順 32