Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリン...
Search
ShowNet
PRO
September 30, 2024
Technology
0
940
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
SPEAKER
ShowNet NOCチームメンバー
岩本 裕真(ブロードバンドタワー)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
1.3k
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
1.1k
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
1k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
1k
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
shownet
PRO
0
960
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
960
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
1.3k
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
880
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
900
Other Decks in Technology
See All in Technology
【Forkwell】「正しく」失敗できるチームを作る──現場のリーダーのための恐怖と不安を乗り越える技術 - FL#83 / A team that can fail correctly by forkwell
i35_267
2
120
Two Blades, One Journey: Engineering While Managing
ohbarye
4
2.7k
30→150人のエンジニア組織拡大に伴うアジャイル文化を醸成する役割と取り組みの変化
nagata03
0
360
生成AI×財務経理:PoCで挑むSlack AI Bot開発と現場巻き込みのリアル
pohdccoe
1
820
プロダクト開発者目線での Entra ID 活用
sansantech
PRO
0
140
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
ディスプレイ広告(Yahoo!広告・LINE広告)におけるバックエンド開発
lycorptech_jp
PRO
0
610
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
550
Amazon Athenaから利用時のGlueのIcebergテーブルのメンテナンスについて
nayuts
0
120
目標と時間軸 〜ベイビーステップでケイパビリティを高めよう〜
kakehashi
PRO
8
1k
貧民的プログラミングのすすめ
kakehashi
PRO
1
140
"TEAM"を導入したら最高のエンジニア"Team"を実現できた / Deploying "TEAM" and Building the Best Engineering "Team"
yuj1osm
1
240
Featured
See All Featured
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
How to train your dragon (web standard)
notwaldorf
91
5.9k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
A Tale of Four Properties
chriscoyier
158
23k
Six Lessons from altMBA
skipperchong
27
3.6k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
Optimizing for Happiness
mojombo
377
70k
Faster Mobile Websites
deanohume
306
31k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
4
380
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Building Your Own Lightsaber
phodgson
104
6.2k
Transcript
AI技術とUX監視の応用でShowNetの 基盤を支える モニタリングシステム ShowNet NOC Team Member モニタリング担当 岩本裕真
ShowNetにおける監視の必要性 ➢安定したインターネットサービスの提供 ✓出展者ブース・来場者・構築メンバーへのサービスの提供 ➢構築中の予期せぬ障害の検知 ✓設定ミス・配線ミスと言った人為的なトラブル ✓配線の整理作業で意図せず作業対象外ケーブルが抜線される ✓機器のバグが起因となる障害の発見 ➢ShowNet特有の環境 ✓データセンターとは違った厳しい環境での温湿度管理(外気からの影響を強 く受ける)
モニタリング 2
モニタリング 3
4 モニタリング基盤 ・ShowNetの安定稼働のため、 トポロジに乗る全ての機器を監視 ・ShowNet網内通信の可視化・分析
モニタリング のテーマ モニタリング 5 AI技術とUX監視の応用でShowNetの基盤を支える モニタリングシステム ➢ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢AI技術と監視システムの融合による運用効率化の実現 ➢衛星インターネットとメディア配信技術の詳細分析
各テーマの取組み内容 モニタリング • ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ➢ UX品質のアクティブ監視 ➢ ミラートラフィックによるユーザ通信品質可視化 • AI技術と監視システムの融合による運用効率化の実現
➢ 生成AIと連携した監視・運用の効率化 ➢ 測定データ学習によるインシデント予測 • 衛星インターネットとメディア配信技術の詳細分析 ➢ 圧縮・非圧縮のMoIP映像トラフィックのリアルタイム監視 ➢ KAITOトラフィックの2拠点間(沖縄ー幕張)の高精度遅延計測 ➢ MoIP・衛星回線におけるTWAMPを用いたアクティブ監視
過去から継続している監視項目の一覧 ➢統合監視(SNMPを用いた全体監視) ➢ログ監視・xFlow監視 ➢syslog/xFlow/snmpトラップ転送 ➢パケット解析・可視化 ➢仮想化基盤監視 ➢各種監視サービスの連携 モニタリング 7
モニタリングラック物理接続構成 モニタリング 8 SystemAnswer G3-1,2,3,XC ZS-7700 SA Log Option SA
Stats Option Flowmon Probe Flowmon Collector Profitap (mirror Packet) @FlowInspector100G 100G-LR4 10G-LR 100G-SR4 10G-SR 40G-SR4 40G-LR4 1G-T Zabbix 7.0 Flowmon CollectorVA .svc head AX-NV(AX-Sensor) Arbor SP7500 @FlowInspector100G @Flowコントローラー Netscout ISNG AX-NetworkManager BV-ntopng Hall間ファイバ Viavi fth-5000 光ファイバ 芯線 mgmt sw Vision400 (KAIT Traffic) CUBRO EX-5-3 1,2 PTP Packet Media Profile ※EX-5:Act/Sbyで2台 ZP-3700-N/P NetPredy BOX Allegro 7410 Arbor S8000 AX-NV(AX-collector) mgmt sw NOC#N-10/11 NOC#N-5 Netscout nG1 Netscout PFS nprobe Pod6S, Pod5S, Conf (BF-101)向け ファイバ遠隔監視
構築期間中のラック周りの変化 モニタリング 9 5/31日ごろのマウント終えた直後 6/6HotStage後半 6/11ShowNet本番直前
10 Flowmon Collector @FlowInspector 100G Zabbix7.0 SNMP trap Syslog sFlow/NetFlow/IPFIX
アプリケーション間連携 ミラートラフィック Flowmon Probe Flowmon Collector-VA System Answer Logoption System Answer StatsOption SystemAnswer G3-[1-3] Splunk AX-Network- Manager 監視トラフィック転送構成 System AnswerG3 [1-3] ZP-V700 SDPFクラウド ThousandEyesAgent ZS7700 Arbor insight S8000 Cubro PacketMaster EX5-[1-2] Arbor sightline SP7500 ZP-3700-N/P ZP-1700 Allegro 7410 BV-ntopng Netscout PFS Netscout ISNG Netscout NG1 AX-NV (AX-Sensor) AX-NV (AX-Collector) nprobe @FlowInspector controller NetPredy BOX CX監視Option Manager Apstra Flow Profitap X2-2000G ShowNet 機器群 ShowNet トラフィック モニタリング
モニタリングから見るShowNet モニタリング 11 最大Syslog数/秒 • 監視ホスト数:878 •Logソース: ➢Syslog:236 ➢SNMP Trap:206
• 最大Syslog数/days: 249,205,490 HotStage〜会期期間のSyslog受信量の推移
統合監視 モニタリング 12 Zabbix • コンソールサーバとの連携 • 温湿度監視/CO2監視 • LLDPトポロジマップ
• Proxyを用いた遠隔拠点監視 ➢ 各POD ➢ MOIP遠隔放送局 ➢ クラウド基盤 • PTP環境の時刻監視 SystemAnswerG3 • 情報収集と自動分析 • ベースライン監視/予兆検知 • クラウド・オンプレの ハイブリット監視 • FlowCollectorとの一元管理 • コンソールサーバとの連携 アラート 連携・通知 チャットツールへ通知 警告灯 光・音声通知による通知 NOC/MOC/STM Room 各ラック上部
クラウド連携 モニタリング 13 Zabbix7.0 System AnswerG3 [1-3] ManagementNetwork ThousandEyes- agent
監視 死活・監視 ThousandEyes エージェント 監視 経路監視 System AnswerG3 [1-3] ➢ShowNet監視基盤とクラウド監視基盤で冗長化・連携 SDPFクラウド 経路分析 Closswork Cloud ZP-V700 CX監視Option Manager Skylight Performance Analytics Paragon Active Assurance Control Center TWAMP測定 可視化 TWAMP測定 可視化 ZS7700 FortiMonitor 通信品質 可視化
ログ監視・テレメトリ監視 モニタリング 14 Splunk • ログ全文探索・可視化 • テレメトリ連携 • 機械学習によるアノマリ検知
VMware Aria Operations for Logs • ログ全文探索・可視化 • アラート通知
ネットワークフロー監視・経路監視 モニタリング 15 FlowmonCollector • NetFlow/sFlow/IPFIX可視化 FlowmonProbe • Flowmon Probeでトラヒックから
フローデータの生成 Arbor Sightline • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃検知によるミティゲーション デバイス連携 Apstra Flow • NetFlow/sFlow/IPFIX可視化 • DDoS攻撃、脅威検出 Crosswork Cloud • BGP経路監視 • 経路ハイジャック等のイベント検知 • 経路伝搬状況の可視化
光ファイバー監視 モニタリング 16 FTH-5000 • 光ファイバー監視 • リモートOTDR測定 Hall4 他Hall
会議棟 FTH-5000 測定波長 でのHall間 光ファイバ監視 幕張メッセ
モニタリング 17
モニタリング 18 ユーザーエクスペリエンスを考慮したネットワーク分析基盤 ICMP Ping Traceroute HTTP Request TWAMP ➢アクティブ監視エージェントを用いたサービス監視
➢出展者用ネットワークの正常性確認・運用への反映 ➢ユーザーエクスペリエンスを常時監視 ➢地理的に離れたホストの死活監視 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy 全PODにエージェント を設置 ➢ UX監視エージェント ➢ TWAMPエージェント ➢ 統合監視Proxy
出展社ネットワークのアクティブ監視 モニタリング 19 PARAGON ACTIVE ASSURANCE • TWAMPによる双方向遅延測定 • L2〜L7アクティブ測定
NetPredy • TWAMPによる双方向遅延測定 • TCPパフォーマンス監視 • パケットキャプチャによるアプリケーション解析 CX監視オプション • ユーザ通信品質監視 • 通信経路可視化、遅延測定 • 無線通信状況モニタリング FortiMonitor • ユーザ通信品質監視 • アプリケーション通信のシミュレーション
ユーザ通信品質の分析基盤 モニタリング 20 •ミラートラフィックによるユーザ通信品質可視化 ➢複数製品でShowNet網を流れるミラートラフィックを解析 ➢アプリケーションレベルで通信品質の可視化・分析ができる環境を構築している 可視化 分析
通信品質監視・分析 モニタリング 21 ntopng • ネットワークパケット解析 • L2〜L7通信品質可視化 • ホストのジオマッピング
Allegro Netrowk Multimeter • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 NetScout nG1 • ネットワークパケット解析 • L2〜L7通信品質可視化 • キャプチャパケット抽出 AX-Collector • ネットワークパケット解析 • L2〜L7通信品質可視化 • フローデータ連携によるNAT可視化
AI技術と監視システムの融合による運用効率化の実現 モニタリング 22 ➢ShowNet内の機器から送信された監視データをLLM解析基盤へ送信 ➢プロンプトから調査してほしいポイントを自然言語で問い合わせ ➢自然言語対応により、オペレータの学習コストを低減 ➢結果からトラブルポイントの推定や対応策を提案 ➢人間が見落としやすい情報まで結果を自然言語で結果を提供 @FlowInspector 100G
PacketMaster EX5-[1-2] ShowNet 機器群 Syslog,SNMP Trap,xFlow 監視トラフィックの転送 AIによる分析結果の送信 プロンプト・ 監視データ送信 Azureクラウド上 生成AI基盤 自然言語による 問い合わせ オペレータ 監視データを用いた出力生成 • 監視情報の分析、要約 • 要因の推測 • 解決アクションの提案 運用補助
Link Down箇所の調査の活用例 モニタリング 23 自然言語で分析したい内容を入力 SYSLOGデータを基に回答を生成
衛星インターネットとメディア配信技術の詳細分析 モニタリング 24 遠隔拠点にスマートSFPを設置し、TWAMPを用いた高精度測定を実施 ➢ ShowNetから衛星インターネットの折り返し接続の遅延測定 ➢ ShowNetとテレビ局拠点間のメディア用インフラの遅延測定 TWANP Reflector
TWANP Reflector TWANP Sender 地上局 静止衛星 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ TWANP 測定 TWANP Reflector TWANP 測定 Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP Skylight SFP TWANP Reflector TWANP Sender
衛星インターネットとメディア配信技術の詳細分析 モニタリング 幕張〜各放送局間のTWAMP測定 圧縮・非圧縮映像トラフィック監視 通信品質が求められるMoIPトラフィックの監視 ➢ 各放送局(日本テレビ,NHK,テレビ北海道)と幕張間でTWAMPによるμsオーダーでの双方向遅延監視 ➢ 圧縮・非圧縮映像ストリーム(SMTPE-2110)をキャプチャしリアルタイム監視
おわりに モニタリング • 今年はアクティブ監視ツールを多数使用しネットワークの安定性を監視に重点 的に力をいれた構成で安定運用を実現 • AI関連の監視製品が、増えてきておりLLMで分析するというアプローチは、非 常に新鮮で使い方によって運用の最適化できる未来が見えた • ShowNetでは多くの可視化ツールを利用しています。(今年は20程度)
• 10分1ツールの監視画面を眺めるとすると 20(tools)*10(分)=200(分) 3時間20分(200分) LLMによるマルチモーダル分析で統合してくれる未来を期待 26
協力いただいたコントリビュータさま モニタリング 27 ※50音順