ShowNetの安定稼働を支えるネットワーク品質検査

ShowNet.conf_ での講演資料

Transcript

1. ShowNet の安定稼働を支える ネットワーク品質検査 ShowNet NOC Team Member テスター担当 橋本/西形
2. テスター分科会のテーマ Tester • DX時代のShowNetに戦いを挑むテスターチーム - 2022 • プロトコルエミュレーションで相互接続したバックボーンの健全性確認 • ShowNetから自動生成したトラフィックを活用したテストシナリオ • ワールドワイドの実攻撃キャンペーンを模擬したセキュリティ対策の有効性確認 • 働く場所に依存しないセキュリティサービス、SASEの有効性を検証
3. 試験内容 Tester • バックボーン試験 • ステートレストラフィックによるパフォーマンス測定 • IS-IS/SRv6によるコアルーターとの相互接続 • コネクション/スループット試験 • ステートフルトラフィックによるパフォーマンス測定 • アプリケーショントラフィックによるパフォーマンス測定 • セキュリティ試験 • マルウェア/エクスプロイトの検知 • キルチェーン/MITRE ATT&CKの識別 • （トライアル）リモートアクセスサービスとの相互接続とSASE検証 • クラウド試験 • 脆弱性アセスメント
4. コントリビューション頂いた機器 Tester コントリビューター 提供機器 プラットフォーム カテゴリ 用途 NTTアドバンステクノロジ様 ROMEmini -- L1-SW （ファシリティ） 日本ヒューレット・パッカード様 ProLiant DL385 Gen10 Plus -- Server （仮想テスター） スパイレントコミュニケーションズ様 Polatis 6000 -- L1-SW （ファシリティ） Security Labs -- Security 脆弱性アセスメント アイビーシー様 tenable.io 仮想 Security 脆弱性アセスメント 東陽テクニカ様 TestCenter 物理 L2-L3 バックボーン試験 CyberFlood CF20 物理 L4-L7 / Security セキュリティ試験 CyberFlood C200 物理 L4-L7 / Security セキュリティ試験 CyberFlood Virtual 仮想 L4-L7 / Security クラウド試験 フォーティネット様 FortiTester 3000E 物理 L4-L7 / Security セキュリティ試験 FortiTester VM 仮想 L4-L7 / Security セキュリティ試験 キーサイト・テクノロジー様 IxNetwork VE 仮想 L2-L3 バックボーン試験 IxLoad VE 仮想 L4-L7 セキュリティ試験 BreakingPoint VE 仮想 L4-L7 / Security セキュリティ試験 CyPerf 仮想 L4-L7 / Security クラウド試験 ThreatSimulator 仮想 Security セキュリティ試験 Application Server -- Server （仮想テスター）
5. テスターポートの配置 Tester 400GE 100GE 10GE L4-L7 and Security Tester L4-L7 and Security Tester Server for Virtual Tester Media Converter Layer 1 Switch Virtual Tester High-Speed Ethernet Tester
6. トポロジ図の読み方 Tester
7. .tester の特徴 Tester • L1-SWによるテスター切り替えの効率化 • 遠隔から短時間で試験パスを変更できる
8. ・Firmwareの書き換えを監視 ・仮想基盤に最適な設定をプロファイルで提供 .tester の特徴 Tester • 仮想テスターによる柔軟な試験構成 • マルチレイヤー対応テスターとして利用可能 • デプロイ可能なロケーションが試験のエンドポイントになる
9. バックボーン試験 Tester .noc 400GE 100GE 10GE
10. バックボーン試験 Tester
11. ベンチマーク - 400GE Tester • バックボーンの各区間で十分な帯域が確保できていることを確認 • 400GE区間は片方向390Gbps（双方向780Gbps） • 100GE区間は片方向90Gbps（双方向180Gbps） 補足：コントロールおよび常時トラフィックが存在するため、 400Gbpsの帯域を埋める試験はあえてやっていません。 ne8000-x4 ncs57b1 ptx10k
12. プロトコルエミュレーション - SRv6 Tester • バックボーンルーターとL3VPN over SRv6で相互接続できることを確認 テスターの学習テーブル
13. コネクション/スループット試験 Tester .svc
14. Hall4 • エッジからバックボーン区間で期待値以上のスループットが得られるか確認 • 全ホール/全ファイアウォール/全CGNを通る経路 Hall6 ベンチマーク - HTTP/HTTPS Tester Firewall A Firewall B CGN IPv4 / IPv6 Hall 4/5/6 hall version type firewall nat A IPv4 Global Firewall A Private Firewall A CGN IPv6 Global Firewall A Private Firewall A CGN Hall5 hall version type firewall nat A IPv4/IPv6 Global Firewall A Private Firewall A CGN ShowNet 2022 のテストパターン これまでのテストパターン
15. • 全ホールから安定したスループットが得られることを確認 • IPv4 : IPv6 = 5 : 5 • HTTP : HTTPS = 3 : 7 • Throughput = 2Gbps（IPv4 : IPv6 = 1Gbps : 1Gbps） ベンチマーク - HTTP/HTTPS Tester hall version type firewall nat result 4 IPv4/IPv6 Global Firewall B OK Private Firewall B CGN OK 5 IPv4/IPv6 Global Firewall A OK Private Firewall A CGN OK 6 IPv4/IPv6 Global Firewall A OK Private Firewall A CGN OK
16. ベンチマーク - アプリケーション Tester • 昨年のShowNetで取得したフロー情報から 自動生成したテストシナリオを使用しても正常性が得られるか確認
17. • アプリケーショントラフィックの活用には考慮すべき点が多数 • ファイアウォール/CGNの設定 • 使用するIPアドレスの数 • アプリケーション（フロー）あたりのデータ量 ベンチマーク - アプリケーション Tester 約40Mbpsのスループット コネクションエラーが多発 比較として他のテスターのアプリケーショントラフィック（テンプレート）で試験 （スループットは1Gbpsを達成） 試験開始時が不安定 試験開始時から安定 Firewall Y Firewall Z
18. セキュリティ試験 Tester .svc .sec
19. エクスプロイト/マルウェア検知 Tester • エクスプロイトやマルウェアが検知/遮断できるか確認 Firewall A Firewall B CGN Hall 4/5/6 version ipv4 test 1 test 2 Firewall A Global Web Server Web Application Private Web Server Web Application Firewall B Global Web Server Web Application Private Web Server Web Application セキュリティトラフィック Keysight Threat Simulator Web Server/Application Security per 1 hour version ipv4 test 1 test 2 Firewall A ipv4 (and ipv6) exploit malware Firewall B ipv4 (and ipv6) exploit malware 昨年のShowNetからからShowNet2022までに 観測されたエクスプロイト/マルウェア
20. エクスプロイト/マルウェア検知 Tester • Firewall A/B共に攻撃トラフィックが検知/遮断できることを確認 ipv4 type blocked allowed ShowNet ipv4 (and ipv6) exploit/malware 85.2% 14.8% 昨年のShowNetからからShowNet2022までに 観測されたエクスプロイト/マルウェア
21. エクスプロイト/マルウェア検知 Tester • 会期中もセキュリティ機能が継続的に動作していたことを確認 ipv4 type blocked allowed ShowNet ipv4 Web Server/Application Security 100% -> 100% 0% -> 0% Keysight Threat Simulator Web Server/Application Security per 1 hour
22. • 攻撃者の攻撃手順や手法を擬似して攻撃が検知されるか確認 攻撃キャンペーン検知 Tester 仮想出展社（あばれ） Firewall NDR Exploit Installation Command & Control .svc backbone EDR
23. • 事前構築や統合機能の活用など、時間短縮/効率アップが必要 • クライアントの環境がテストエージェントの動作に影響する • EDRがテストエージェントのプロセスを停止させる • 何が攻撃を検知してトラフィックを遮断したのか特定が難しい 攻撃キャンペーン検知 Tester プロセス起動や権限昇格など、ネットワークではなくエンドポイントで検知すべき攻撃
24. リモートアクセスサービス試験 Tester • VPN接続をエミュレーションしてShowNetとの接続性を検証 Prisma Access Smart Gateway ShowNet MGMT Global Protect ttdb SAML SAML DUO
25. クラウド試験 Tester • ShowNetとクラウド間のパフォーマンス測定 Azure-East Azure-West ShowNet .svc cisco Paloalto Fortinet cisco Paloalto Fortinet cisco Paloalto Fortinet
26. ベンチマーク - スループット/遅延 Tester • East/West共に安定したスループットを確認 • リージョンの違いがレイテンシに影響 vendor throughput latency (connection) security east A over 100Mbps 7.30 mSec -- east B over 100Mbps 6.65 mSec -- east C over 100Mbps 5.23 mSec 83.6% vendor throughput latency (connection) security west A over 100Mbps 110.0 mSec -- west B over 100Mbps 109.2 mSec -- west C over 100Mbps 108.7 mSec 83.6% セキュリティ試験 スループット試験
27. ベンチマーク - スループット/遅延 Tester • スループットの目標値を1Gbpsとして試験 vendor throughput (limit : 300Mbps) throughput (limit : 1Gbps) east A 200Mbps 200Mbps east B 600Mbps over 800Mbps east C 600Mbps over 800Mbps 600Mbps 帯域制限（片方向：300Mbps） 帯域制限（片方向：1Gbps） over 800Mbps 帯域制限（片方向：300Mbps） 帯域制限（片方向：1Gbps） 200Mbps （変化なし） 200Mbps （帯域制限まで届かず）
28. • ShowNetの管理ネットワークおよびグローバルに既知の脆弱性がないか確認 脆弱性アセスメント Tester ShowNet Management ShowNet Global
29. • 100以上のデバイスに対して診断を実行 • クリティカルな脆弱性は対応を依頼 脆弱性アセスメント Tester ttdbでコントリビューター様に対応を依頼 脆弱性を検知 対策完了を確認
30. ご協力頂きましたコントリビューター様 ありがとうございました