Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリン...
Search
ShowNet
PRO
September 30, 2024
Technology
0
390
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
SPEAKER
ShowNet NOCチームメンバー
岩本 裕真(ブロードバンドタワー)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
530
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
450
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
420
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
420
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
390
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
390
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
530
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
360
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
370
Other Decks in Technology
See All in Technology
見えづらい活動の成果の伝え方は日頃からめちゃくちゃ悩んでるけど、実際こんな取り組みをしな がら温度感を合わせにいってるよ / Conveying Hard-to-See Results
kakehashi
4
1.9k
ADRを運用して3年経った僕らの現在地
onk
PRO
13
5.7k
ガバメントクラウド開発と変化と成長する組織 / Organizational change and growth in developing a government cloud
kazeburo
4
810
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
260
Assisted reorganization of data structures
ennael
PRO
0
270
Slackbot × RAG で実現する社内情報検索の最適化
howdy39
2
340
業務ヒアリングと知識の呪い
tamai_63
0
290
プロダクト価値を考えるための情報透明化とチーム文化づくり
nyo_taro
1
150
Case Study: Concurrent Counting
ennael
PRO
0
120
リスクから学ぶKubernetesコンテナセキュリティ/k8s-risk-and-security
mochizuki875
1
330
New Relicを活用したシステム監視の強化とオブザーバビリティ向上
sugoto911
1
100
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
2
240
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
105
48k
From Idea to $5000 a Month in 5 Months
shpigford
381
46k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
228
52k
Testing 201, or: Great Expectations
jmmastey
38
7k
The Pragmatic Product Professional
lauravandoore
31
6.2k
Code Reviewing Like a Champion
maltzj
519
39k
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Atom: Resistance is Futile
akmur
261
25k
Become a Pro
speakerdeck
PRO
24
4.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
Creatively Recalculating Your Daily Design Routine
revolveconf
217
12k
Transcript
AI技術とUX監視の応用でShowNetの 基盤を支える モニタリングシステム ShowNet NOC Team Member モニタリング担当 岩本裕真
ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのサービスの提供 ➢構築中の予期せぬ障害の検知 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理(外気からの影響を強 く受ける)
モニタリング 2
モニタリング 3
4 モニタリング基盤 ・ShowNetの安定稼働のため、 トポロジに乗る全ての機器を監視 ・ShowNet網内通信の可視化・分析
モニタリング のテーマ モニタリング 5 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ➢ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢AI技術と監視システムの融合による運用効率化の実現 ➢衛星インターネットとメディア配信技術の詳細分析
各テーマの取組み内容 モニタリング • ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢ UX品質のアクティブ監視 ➢ ミラートラフィックによるユーザ通信品質可視化 • AI技術と監視システムの融合による運用効率化の実現
➢ 生成AIと連携した監視・運用の効率化 ➢ 測定データ学習によるインシデント予測 • 衛星インターネットとメディア配信技術の詳細分析 ➢ 圧縮・非圧縮のMoIP映像トラフィックのリアルタイム監視 ➢ KAITOトラフィックの2拠点間(沖縄ー幕張)の高精度遅延計測 ➢ MoIP・衛星回線におけるTWAMPを用いたアクティブ監視
過去から継続している監視項目の一覧 ➢統合監視(SNMPを用いた全体監視) ➢ログ監視・xFlow監視 ➢syslog/xFlow/snmpトラップ転送 ➢パケット解析・可視化 ➢仮想化基盤監視 ➢各種監視サービスの連携 モニタリング 7
モニタリングラック物理接続構成 モニタリング 8 SystemAnswer G3-1,2,3,XC ZS-7700 SA Log Option SA
Stats Option Flowmon Probe Flowmon Collector Profitap (mirror Packet) @FlowInspector100G 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Zabbix 7.0 Flowmon CollectorVA .svc head AX-NV(AX-Sensor) Arbor SP7500 @FlowInspector100G @Flowコントローラー Netscout ISNG AX-NetworkManager BV-ntopng Hall間ファイバ Viavi fth-5000 光ファイバ 芯線 mgmt sw Vision400 (KAIT Traffic) CUBRO EX-5-3 1,2 PTP Packet Media Profile ※EX-5:Act/Sbyで2台 ZP-3700-N/P NetPredy BOX Allegro 7410 Arbor S8000 AX-NV(AX-collector) mgmt sw NOC#N-10/11 NOC#N-5 Netscout nG1 Netscout PFS nprobe Pod6S, Pod5S, Conf (BF-101)向け ファイバ遠隔監視
構築期間中のラック周りの変化 モニタリング 9 5/31日ごろのマウント終えた直後 6/6HotStage後半 6/11ShowNet本番直前
10 Flowmon Collector @FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX
アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 Cubro PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe @FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap X2-2000G ShowNet 機器群 ShowNet トラフィック モニタリング
モニタリングから見るShowNet モニタリング 11 最大Syslog数/秒 • 監視ホスト数:878 •Logソース: ➢Syslog:236 ➢SNMP Trap:206
• 最大Syslog数/days: 249,205,490 HotStage〜会期期間のSyslog受信量の推移
統合監視 モニタリング 12 Zabbix • コンソールサーバとの連携 • 温湿度監視/CO2監視 • LLDPトポロジマップ
• Proxyを用いた遠隔拠点監視 ➢ 各POD ➢ MOIP遠隔放送局 ➢ クラウド基盤 • PTP環境の時刻監視 SystemAnswerG3 • 情報収集と自動分析 • ベースライン監視/予兆検知 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • コンソールサーバとの連携 アラート 連携・通知 チャットツールへ通知 警告灯 光・音声通知による通知 NOC/MOC/STM Room 各ラック上部
クラウド連携 モニタリング 13 Zabbix7.0 System AnswerG3 [1-3] ManagementNetwork ThousandEyes- agent
監視 死活・監視 ThousandEyes エージェント 監視 経路監視 System AnswerG3 [1-3] ➢ShowNet監視基盤とクラウド監視基盤で冗長化・連携 SDPFクラウド 経路分析 Closswork Cloud ZP-V700 CX監視Option Manager Skylight Performance Analytics Paragon Active Assurance Control Center TWAMP測定 可視化 TWAMP測定 可視化 ZS7700 FortiMonitor 通信品質 可視化
ログ監視・テレメトリ監視 モニタリング 14 Splunk • ログ全文探索・可視化 • テレメトリ連携 • 機械学習によるアノマリ検知
VMware Aria Operations for Logs • ログ全文探索・可視化 • アラート通知
ネットワークフロー監視・経路監視 モニタリング 15 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから
フローデータの生成 Arbor Sightline • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃検知によるミティゲーション デバイス連携 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 Crosswork Cloud • BGP経路監視 • 経路ハイジャック等のイベント検知 • 経路伝搬状況の可視化
光ファイバー監視 モニタリング 16 FTH-5000 • 光ファイバー監視 • リモートOTDR測定 Hall4 他Hall
会議棟 FTH-5000 測定波長 でのHall間 光ファイバ監視 幕張メッセ
モニタリング 17
モニタリング 18 ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ICMP Ping Traceroute HTTP Request TWAMP ➢アクティブ監視エージェントを用いたサービス監視
➢出展者用ネットワークの正常性確認・運用への反映 ➢ユーザーエクスペリエンスを常時監視 ➢地理的に離れたホストの死活監視 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy
出展社ネットワークのアクティブ監視 モニタリング 19 PARAGON ACTIVE ASSURANCE • TWAMPによる双方向遅延測定 • L2〜L7アクティブ測定
NetPredy • TWAMPによる双方向遅延測定 • TCPパフォーマンス監視 • パケットキャプチャによるアプリケーション解析 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング FortiMonitor • ユーザ通信品質監視 • アプリケーション通信のシミュレーション
ユーザ通信品質の分析基盤 モニタリング 20 •ミラートラフィックによるユーザ通信品質可視化 ➢複数製品でShowNet網を流れるミラートラフィックを解析 ➢アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
通信品質監視・分析 モニタリング 21 ntopng • ネットワークパケット解析 • L2〜L7通信品質可視化 • ホストのジオマッピング
Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 NetScout nG1 • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
AI技術と監視システムの融合による運用効率化の実現 モニタリング 22 ➢ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 ➢プロンプトから調査してほしいポイントを自然言語で問い合わせ ➢自然言語対応により、オペレータの学習コストを低減 ➢結果からトラブルポイントの推定や対応策を提案 ➢人間が見落としやすい情報まで結果を自然言語で結果を提供 @FlowInspector 100G
PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 監視データ送信 Azureクラウド上 生成AI基盤 自然言語による 問い合わせ オペレータ 監視データを用いた出力生成 • 監視情報の分析、要約 • 要因の推測 • 解決アクションの提案 運用補助
Link Down箇所の調査の活用例 モニタリング 23 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
衛星インターネットとメディア配信技術の詳細分析 モニタリング 24 遠隔拠点にスマートSFPを設置し、TWAMPを用いた高精度測定を実施 ➢ ShowNetから衛星インターネットの折り返し接続の遅延測定 ➢ ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Reflector
TWANP Reflector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP 測定 TWANP Reflector TWANP 測定 Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP TWANP Reflector TWANP Sender
衛星インターネットとメディア配信技術の詳細分析 モニタリング 幕張〜各放送局間のTWAMP測定 圧縮・非圧縮映像トラフィック監視 通信品質が求められるMoIPトラフィックの監視 ➢ 各放送局(日本テレビ,NHK,テレビ北海道)と幕張間でTWAMPによるμsオーダーでの双方向遅延監視 ➢ 圧縮・非圧縮映像ストリーム(SMTPE-2110)をキャプチャしリアルタイム監視
おわりに モニタリング • 今年はアクティブ監視ツールを多数使用しネットワークの安定性を監視に重点 的に力をいれた構成で安定運用を実現 • AI関連の監視製品が、増えてきておりLLMで分析するというアプローチは、非 常に新鮮で使い方によって運用の最適化できる未来が見えた • ShowNetでは多くの可視化ツールを利用しています。(今年は20程度)
• 10分1ツールの監視画面を眺めるとすると 20(tools)*10(分)=200(分) 3時間20分(200分) LLMによるマルチモーダル分析で統合してくれる未来を期待 26
協力いただいたコントリビュータさま モニタリング 27 ※50音順