【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム

SPEAKER

ShowNet NOCチームメンバー
岩本 裕真（ブロードバンドタワー）

Transcript

1. AI技術とUX監視の応用でShowNetの 基盤を支える モニタリングシステム ShowNet NOC Team Member モニタリング担当 岩本裕真
2. ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのサービスの提供 ➢構築中の予期せぬ障害の検知 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理（外気からの影響を強 く受ける） モニタリング 2
3. モニタリング 3
4. 4 モニタリング基盤 ・ShowNetの安定稼働のため、 トポロジに乗る全ての機器を監視 ・ShowNet網内通信の可視化・分析
5. モニタリング のテーマ モニタリング 5 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ➢ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢AI技術と監視システムの融合による運用効率化の実現 ➢衛星インターネットとメディア配信技術の詳細分析
6. 各テーマの取組み内容 モニタリング • ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢ UX品質のアクティブ監視 ➢ ミラートラフィックによるユーザ通信品質可視化 • AI技術と監視システムの融合による運用効率化の実現 ➢ 生成AIと連携した監視・運用の効率化 ➢ 測定データ学習によるインシデント予測 • 衛星インターネットとメディア配信技術の詳細分析 ➢ 圧縮・非圧縮のMoIP映像トラフィックのリアルタイム監視 ➢ KAITOトラフィックの2拠点間(沖縄ー幕張)の高精度遅延計測 ➢ MoIP・衛星回線におけるTWAMPを用いたアクティブ監視
7. 過去から継続している監視項目の一覧 ➢統合監視（SNMPを用いた全体監視） ➢ログ監視・xFlow監視 ➢syslog/xFlow/snmpトラップ転送 ➢パケット解析・可視化 ➢仮想化基盤監視 ➢各種監視サービスの連携 モニタリング 7
8. モニタリングラック物理接続構成 モニタリング 8 SystemAnswer G3-1,2,3,XC ZS-7700 SA Log Option SA Stats Option Flowmon Probe Flowmon Collector Profitap (mirror Packet) @FlowInspector100G 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Zabbix 7.0 Flowmon CollectorVA .svc head AX-NV(AX-Sensor) Arbor SP7500 @FlowInspector100G @Flowコントローラー Netscout ISNG AX-NetworkManager BV-ntopng Hall間ファイバ Viavi fth-5000 光ファイバ 芯線 mgmt sw Vision400 (KAIT Traffic) CUBRO EX-5-3 1,2 PTP Packet Media Profile ※EX-5:Act/Sbyで2台 ZP-3700-N/P NetPredy BOX Allegro 7410 Arbor S8000 AX-NV(AX-collector) mgmt sw NOC#N-10/11 NOC#N-5 Netscout nG1 Netscout PFS nprobe Pod6S, Pod5S, Conf (BF-101)向け ファイバ遠隔監視
9. 構築期間中のラック周りの変化 モニタリング 9 5/31日ごろのマウント終えた直後 6/6HotStage後半 6/11ShowNet本番直前
10. 10 Flowmon Collector ＠FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 Cubro PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe ＠FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap X2-2000G ShowNet 機器群 ShowNet トラフィック モニタリング
11. モニタリングから見るShowNet モニタリング 11 最大Syslog数/秒 • 監視ホスト数：878 •Logソース： ➢Syslog：236 ➢SNMP Trap：206 • 最大Syslog数/days： 249,205,490 HotStage〜会期期間のSyslog受信量の推移
12. 統合監視 モニタリング 12 Zabbix • コンソールサーバとの連携 • 温湿度監視/CO2監視 • LLDPトポロジマップ • Proxyを用いた遠隔拠点監視 ➢ 各POD ➢ MOIP遠隔放送局 ➢ クラウド基盤 • PTP環境の時刻監視 SystemAnswerG3 • 情報収集と自動分析 • ベースライン監視/予兆検知 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • コンソールサーバとの連携 アラート 連携・通知 チャットツールへ通知 警告灯 光・音声通知による通知 NOC/MOC/STM Room 各ラック上部
13. クラウド連携 モニタリング 13 Zabbix7.0 System AnswerG3 [1-3] ManagementNetwork ThousandEyes- agent 監視 死活・監視 ThousandEyes エージェント 監視 経路監視 System AnswerG3 [1-3] ➢ShowNet監視基盤とクラウド監視基盤で冗長化・連携 SDPFクラウド 経路分析 Closswork Cloud ZP-V700 CX監視Option Manager Skylight Performance Analytics Paragon Active Assurance Control Center TWAMP測定 可視化 TWAMP測定 可視化 ZS7700 FortiMonitor 通信品質 可視化
14. ログ監視・テレメトリ監視 モニタリング 14 Splunk • ログ全文探索・可視化 • テレメトリ連携 • 機械学習によるアノマリ検知 VMware Aria Operations for Logs • ログ全文探索・可視化 • アラート通知
15. ネットワークフロー監視・経路監視 モニタリング 15 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから フローデータの生成 Arbor Sightline • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃検知によるミティゲーション デバイス連携 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 Crosswork Cloud • BGP経路監視 • 経路ハイジャック等のイベント検知 • 経路伝搬状況の可視化
16. 光ファイバー監視 モニタリング 16 FTH-5000 • 光ファイバー監視 • リモートOTDR測定 Hall4 他Hall 会議棟 FTH-5000 測定波長 でのHall間 光ファイバ監視 幕張メッセ
17. モニタリング 17
18. モニタリング 18 ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ICMP Ping Traceroute HTTP Request TWAMP ➢アクティブ監視エージェントを用いたサービス監視 ➢出展者用ネットワークの正常性確認・運用への反映 ➢ユーザーエクスペリエンスを常時監視 ➢地理的に離れたホストの死活監視 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy
19. 出展社ネットワークのアクティブ監視 モニタリング 19 PARAGON ACTIVE ASSURANCE • TWAMPによる双方向遅延測定 • L2〜L7アクティブ測定 NetPredy • TWAMPによる双方向遅延測定 • TCPパフォーマンス監視 • パケットキャプチャによるアプリケーション解析 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング FortiMonitor • ユーザ通信品質監視 • アプリケーション通信のシミュレーション
20. ユーザ通信品質の分析基盤 モニタリング 20 •ミラートラフィックによるユーザ通信品質可視化 ➢複数製品でShowNet網を流れるミラートラフィックを解析 ➢アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
21. 通信品質監視・分析 モニタリング 21 ntopng • ネットワークパケット解析 • L2〜L7通信品質可視化 • ホストのジオマッピング Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 NetScout nG1 • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
22. AI技術と監視システムの融合による運用効率化の実現 モニタリング 22 ➢ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 ➢プロンプトから調査してほしいポイントを自然言語で問い合わせ ➢自然言語対応により、オペレータの学習コストを低減 ➢結果からトラブルポイントの推定や対応策を提案 ➢人間が見落としやすい情報まで結果を自然言語で結果を提供 ＠FlowInspector 100G PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 監視データ送信 Azureクラウド上 生成AI基盤 自然言語による 問い合わせ オペレータ 監視データを用いた出力生成 • 監視情報の分析、要約 • 要因の推測 • 解決アクションの提案 運用補助
23. Link Down箇所の調査の活用例 モニタリング 23 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
24. 衛星インターネットとメディア配信技術の詳細分析 モニタリング 24 遠隔拠点にスマートSFPを設置し、TWAMPを用いた高精度測定を実施 ➢ ShowNetから衛星インターネットの折り返し接続の遅延測定 ➢ ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Reflector TWANP Reflector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP 測定 TWANP Reflector TWANP 測定 Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP TWANP Reflector TWANP Sender
25. 衛星インターネットとメディア配信技術の詳細分析 モニタリング 幕張〜各放送局間のTWAMP測定 圧縮・非圧縮映像トラフィック監視 通信品質が求められるMoIPトラフィックの監視 ➢ 各放送局(日本テレビ,NHK,テレビ北海道)と幕張間でTWAMPによるμsオーダーでの双方向遅延監視 ➢ 圧縮・非圧縮映像ストリーム(SMTPE-2110)をキャプチャしリアルタイム監視
26. おわりに モニタリング • 今年はアクティブ監視ツールを多数使用しネットワークの安定性を監視に重点 的に力をいれた構成で安定運用を実現 • AI関連の監視製品が、増えてきておりLLMで分析するというアプローチは、非 常に新鮮で使い方によって運用の最適化できる未来が見えた • ShowNetでは多くの可視化ツールを利用しています。(今年は20程度) • 10分1ツールの監視画面を眺めるとすると 20(tools)*10(分)=200(分) 3時間20分(200分) LLMによるマルチモーダル分析で統合してくれる未来を期待 26
27. 協力いただいたコントリビュータさま モニタリング 27 ※50音順