【ShowNet Stage】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム

2024年6月に幕張メッセで実施されたInterop Tokyo ShowNetブース内ステージでのNOCチームメンバーによる講演資料

Transcript

1. AI技術とUX監視の応用でShowNetの 基盤を支えるモニタリングシステム ShowNet NOCチームメンバー モニタリング担当 神山卓哲
2. 変化する監視要件に追従するシステム設計 監視要件の変化 1. DCサービス・監視網の構築 2. ネットワークの構築 3. サーバ・ストレージ基盤の構築 4. セキュリティサービスの構築 5. アプリケーションの安定稼働 6. プロバイダサービスの提供 2 プロバイダのサービスを ２週間で構築し提供 監視要件も都度変化する
3. 変化する監視要件に追従するシステム設計 Hotstages前期（5/31〜6/2） 温湿度監視、機器への死活監視、syslog受信監視 Hotstage後期（6/3〜6/7） 機器の監視設定、特定ログ/キーワード監視 Deploy Day（6/8〜6/11） Pod監視、syslog監視、xFlow監視、品質監視 Interop Tokyo Day1〜3（6/12〜6/14） 安定稼働のための監視 3 ※5/31は主に機器マウント
5. 5 監視対象：トポロジに乗る全ての機器 モニタリング基盤
6. モニタリング 2024 テーマ 6 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ユーザーエクスペリエンスを考慮したネットワーク分析基盤 AI技術と監視システムの融合による運用効率化の実現 衛星インターネットとメディア配信技術の詳細分析
7. ShowNetにおける監視の必要性 安定したインターネットサービスの提供 出展者ブース・来場者・構築メンバーへのサービスの提供 構築中の予期せぬ障害 設定ミス・配線ミスと言った人為的なトラブル 配線の整理作業で意図せず作業対象外ケーブルが抜線される 機器のバグが起因となる障害の発見 ShowNet特有の環境 データセンターとは違った厳しい環境での温湿度管理（外気からの影響を強 く受ける） 7
8. 過去からの継続 統合監視（SNMPを用いた全体監視） ログ監視・xFlow監視 syslog/xFlow/snmpトラップ転送 時刻ずれ監視 パケット解析・可視化 仮想化基盤監視 各種監視サービスの連携 8
9. 9 Flowmon Collector ＠FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe ＠FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap ShowNet 機器群 ShowNet トラフィック
10. モニタリングで見るShowNetの今日までの状況 10 最大Syslog数/秒 • 監視ホスト数：853 • Logソース： Syslog：236 SNMP Trap：202 • 最大Syslog数/days： 249,205,490 過去１週間のSyslog受信量の推移
11. ユーザーエクスペリエンスを 考慮したネットワーク分析基盤
12. ユーザーエクスペリエンスを考慮したネットワーク分析基盤 モニタリング ICMP Ping Traceroute HTTP Request TWAMP アクティブ監視エージェントを用いたサービス監視 出展者用ネットワークの正常性確認・運用への反映 ユーザーエクスペリエンスを常時監視 地理的に離れたホストの死活監視
13. ユーザーエクスペリエンスを考慮したネットワーク分析基盤 モニタリング • ミラートラフィックによるユーザ通信品質可視化  複数製品でShowNet網を流れるミラートラフィックを解析  アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
14. AI技術と監視システムの融合による 運用効率化の実現
15. AI技術と監視システムの融合による運用効率化の実現 モニタリング ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 プロンプトから調査してほしいポイントを自然言語で問い合わせ  自然言語対応により、オペレータの学習コストを低減 結果からトラブルポイントの推定や対応策を提案  人間が見落としやすい情報まで結果を自然言語で結果を提供 ＠FlowInspector 100G PacketMasterE X5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow LLM解析クラウド 監視トラフィックの転送 AIによる分析結果の送信 監視データ送信
16. Link Down箇所の調査の活用例 モニタリング 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
17. 衛星インターネットと メディア配信技術の詳細分析
18. 衛星インターネットとメディア配信技術の詳細分析 モニタリング TWAMPを用いた高精度な遅延測定  ShowNetから衛星インターネットの折り返し接続の遅延測定  ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Refrector TWANP Refrector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP Sender TWANP 測定 TWANP Refrector TWANP 測定
19. 協力いただいたコントリビュータさま 19 ※50音順