ShowNet 2021 みどころ解説_ShowNet2021 seminar

Transcript

1. 1 Copyright © Interop Tokyo 2021 ShowNet NOC Team Interop Tokyo ShowNet 2021 Face the Future ShowNet みどころ解説 ShowNet NOCチームメンバー 中村 遼
2. Interop Tokyo • 世界最大のネットワーク機器と技術の展示会 • 1986年米国モントレで開催されたカンファレンスイベント 「TCP/IP Vendors Workshop」が始まり • 日本では毎年6月に幕張メッセで開催 • 来場者約14万人
3. • “I know it works because I saw it at Interop” • 産業界、学術、研究機関からトップエンジニアが集まり、 Interopで構築される世界最大のデモンストレーションネットワーク • 2年後、３年後に業界に浸透する技術に先駆けて挑戦 • 様々な技術の相互接続性検証の場 • 最新技術を実装しながら安定した サービスを出展ブース・来場者に提供 • 出展社や来場者へのネットワーク提供 • “Live” Network
4. ShowNetとは？ ShowNetでの取り組み 商用化サービスの動き 1990年代 ATM メトロイーサネット ATMメガリンク 広域イーサネットサービス 2000年代 ADSL FTTH CGN(キャリアグレードNAT) SOC(Security) ADSLサービス(YBB等） 光接続サービス（USEN, B-フレッツ等） CGN(キャリアグレードNAT) セキュリティインシデントの増加 2010年代 100GbE OpenFlow SDN DCファブリック Service Chaining 100GbEサービス SDN/NFV DCネットワークファブリック ネットワークスライシング
6. ネットワークの規模 • コントリビューション機器/製品/サービス台数：約1500台 • 動員数（のべ） ：368名 • NOCチームメンバー ：30名 • STM/CTM ：33名 • コントリビュータ ：305名 • UTP総延長：約21.0km 光ファイバー総延長：約5.5km • NOCラック及びPod総電気容量 100V:約140.0kW 200V:約66.0kW • 内訳(NOC 100V:約115.0kW 200V:約62.0kW、Pod 100V:約25.0kW 200V約4.0kW) • NOCラック及びPod総コンセント数（100V,200V含む):約240個 • 内訳(NOC 約190個、Pod 約50個)
7. ShowNet 2021 今年のみどころ紹介
8. 8 Copyright © Interop Tokyo 2021 ShowNet NOC Team ShowNetバックボーン
9. の、前に… • ShowNetバックボーンの変遷 • 実は毎年、前回よりもさらに”先”を目指して設計しています • 過去を知ると、今年のチャンレンジがさらに面白く！
10. ShowNet Backboneにおける柔軟性への挑戦 • Software-Defined Networking、そしてIP経路制御 • 2016年まではSDN/NFV: OpenFlow, Virtual Appliance • 2017年、2018年はIP経路制御によるサービスチェイン
11. ShowNet 2019 • SRv6によるService Chaining • IPv6 Segment Routing • SR HeaderでSource Routingを実現 • このSRv6でユーザトラフィックを任意のネットワーク サービスへ転送するデモンストレーションを実施
12. 動きました。が… • SRv6のコントロールプレーンはまだまだだった • 当時BGPベースの提案が出はじめた段階 • 実際の機器への実装はまだだった • ShowNet 2019では手動設定で構築 • ShowNetの構築で多くの課題を確認 • IETFなど業界へフィードバック IETF 106 Singapore, spring wgにおいて ShowNetで得られたSRv6 Service Chainingに 関する課題を共有
13. ShowNet 2021: SR-based Backbone • SR-MPLSによる 柔軟なトラフィック制御 • Flex Algoによる優先制御 • Egress Peer Engineeringによる 計測実験 • 世界最先端・最大規模の SRv6相互接続性検証 • 400Gbps、Flex Ethernetによる 200Gbpsなどの広帯域リンク
14. SR-MPLSによる柔軟なトラフィック制御 • Flex-Algoによる優先制御 • 広帯域の必要なトラフィックを 選択的に400Gbps, FlexEのリンクへ • Egress Peer Engineering • SRを用いて任意のパケットを 任意のピアASへ送信 • これを用いた計測実験を実施中 ptx10001-36mr asr9902 ne8000-x4 ne8000-m14 asr9904 c8201 ncs55a1 ne8000-f1a 4K映像 トラフィック EPEによる 計測トラフィック SR-MPLSバックボーン mx204
15. IGP Flex-Algorithm: draft-ietf-lsr-flex-algo • ISIS Flexible Algorithm Definition Sub-TLVを用いて仮想的に ISISを分割、制御する方式 • Prefix SIDにAlgoをつけて広告 • 各ノードはどのAlgoに所属して いるか周りのノードに広告 デフォルト IGP面 Algo 128の IGP面
16. ShowNet 2021におけるFlexAlgoの利用 • ne8000-x4.noc, ne8000-m14.noc c8201.nocの3台がFlexalgo(128) に所属していることを広告 • 広帯域Traffic (8k非圧縮映像など) をFlexalgo(128)上に載せることで 優先制御を実施 ptx10001-36mr asr9902 ne8000-x4 ne8000-m14 asr9904 c8201 ncs55a1 ne8000-f1a 4K映像 トラフィック SR-MPLSによるバックボーン
17. SR-MPLS Egress Peer Engineering • パケットをLongest Prefix Matchによらずに狙ったピアへ • draft-ietf-spring-segment-routing-central-epe • ASBRがBGP PeerごとにSRのセグメント(ラベル)をアサイン • そのセグメント行きのパケットは、そのピアへ送信される • これを利用して送信方向のトラフィックを制御できる AS 64512 AS 64520 AS 64521 Packet 24011
18. SR-MPLS EPEを使った計測実験 • EPEで各AS経由のインターネット全体に対するRTTを計測 • ASごとにどのような違いがあるのか？ • 計測はBGP-LSを用いて自動化 • Peerが上がり、 ラベルが広告されると、 自動で計測をスタート • draft-ietf-idr-bgpls- segment-routing-epe-19 ne8000-x4 mx204 The Internet asr9902 cRPDを使ったBGP-LSによる Peering Segmentの受信 計測パケット crpd EPE計測サーバ
19. ShowNet 2021 SRv6相互接続のチャレンジ • SIDの配布や経路制御をDynamic Routing Protocolで実施 • Cisco: ASR9904, Nexus 93600cd-gx • 古河電工: FX201 • Huawei: NE8000-M14 • Juniper Networks: MX10003 • SRv6 L3VPNのアンダーレイは IPv6 Link Localアドレスのみで構成 • draft-ietf-lsr-isis-srv6-extension • SRv6 L3VPNのオーバーレイはEnd.DT4/6のFunctionで構成 • draft-dawra-bess-srv6-services ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx SRv6によるネットワーク
20. ShowNet NOCブースで、 ぜひ今実際に動いている機器をご覧ください
21. セキュリティ
22. コロナ禍によるセキュリティへの要求の変化 • Work From Home • 自宅からインターネット越しにリソースにアクセスする • 今までの、オンプレミスにおけるセキュリティとは 全く異なるアプローチが必要 • 場所にかかわらず、全てのリソースを継続的に検証する • i.e., ユーザの認証、アクセスの認可、デバイスの健全性
23. ひとつのアーキテクチャで守るのではなく、 個々のトランザクションを検証 ゼロトラストそれ自体は「戦術」であり、状況に合わせて、必要なパーツを組み合わせて実装する ゼロトラストの原則 すべてのデータソースとコンピューティングサービスをリソースとみなす ネットワークロケーションにかかわらず、すべての通信を保護する すべてのリソースの認証と承認は、アクセスが許可される前に動的・厳密に実施する リソースへのアクセスをセッション単位に許可する リソースへのアクセスを、動的ポリシーによって決定する 所有または関連するすべての資産の生合成とセキュリティ体制を監視し評価する 資産、ネットワークインフラ、通信の現在の状況を可能な限り多くの情報を収集し、セキュ リティ体制を改善する ゼロトラストをShowNetに適用
24. Zero Trust Architecture at ShowNet 2021 ワークロード エンドポイント ネットワーク ID クラウド 守るべきリソース SASE | SDP MFA | SDP EDR SD Security Cloud Security
25. 2021年ShowNet セキュリティ対策全体像 SIEM Security Applianses Darknet NAC Threat Intelligence Vuln Scanner Exhibitors NGFW / Sandbox ❌ ❌ Endpoint Security Network Forensic SDP MFA SASE Remote Operator DDoS mitigation ❌ Operator Security Operation Cycle Visitors TAP Packet Broker SAML IdP VPN
26. SDPによるリモート端末の検証とアクセス制御 • ShowNetをリモートから安全に構築・ 管理・運用するためのアクセス方法の 一つとして、AppGate SDP(Software- Defined Perimeter)を使用 • SDPでは、リモート端末が保護された リソースにアクセスする際に、コント ローラ側で定義されたポリシーによっ て動的に接続の可否を判定し、セッ ション情報を記録する • これにより、アクセスできるリソース をユーザや端末の状況から動的に制御 でき、適切なセキュリティポリシーを 継続して適用可能 The Internet SDP Controller on Microsoft Azure ②資格情報・ユーザ・環境によるポリシーの判定 ⑥継続的なポリシーの 検証と適用 SDP Gateway SDP Client
27. SASEによるセキュアアクセスの提供 • リモートからShowNetへ安全にアクセス するための方法の一つとして、Prisma AccessによるSASE(Secure Access Service Edge)を用いたリモートアクセス を提供 • リモート端末からのインターネット及び ShowNetへの通信をSASEに集約し、セ キュリティ機能を適用することにより、端 末を脅威から保護すると同時に、通信トラ フィックを継続的に監視 • セキュリティ上の問題が発生した場合、 SASE側で通信を制御することにより、リ ソースを不正なアクセスから保護すること が可能 The Internet Prisma Access SASE VPNトンネル ※ユーザの認証フローについては後述 PaloAlto Firewall
28. • オペレータ端末においてインシデントが発生した際に侵害の痕跡を 追跡するためにエンドポイント製品を導入 • EDRによるリモートライブフォレンジック • Breach and Simulation製品による 模擬攻撃の検出テストを実施 • 導入したエンドポイント製品 • Cortex XDR • FortiEDR • Xensor Agent オペレータ端末へのエンドポイントセキュリティ Operator EDR 管理コンソール ②全端末に対して スキャン指示 Agent 二次感染端末 ①二次感染マルウェア の検知アラート 正常端末 一次感染端末 Agent ③スキャン実行 ④一次感染端末を検出
29. • FortiGate4401f / FortiAI / FortiNAC • PA-5260 / IoTセキュリティサービス • DAMBALLA • Check Point Security Appliances / Check Point SandBlast • TiFRONT • Stealthwatch • Threat Wall • NSX NDR ネットワークトラフィックの解析と対応 集約 重複排除 分配 EXA48600 Vision X Flex TAP トラフィック複製 脅威検出 Synesis ネットワークフォレンジック Operator インシデント対応 相関分析 検知アラート NIRVANA改弐
30. Special Thanks
31. 31 Copyright © Interop Tokyo 2021 ShowNet NOC Team Data Center
32. ShowNet を支える ハイブリッドクラウド構成の仮想化基盤 • 2 つの仮想化基盤で サービスを展開 • 仮想マシン: 97 台 • CPU数: 376 • メモリ: 1792 GB • ストレージ: 18TB flexfabric5710 ce8850 nimble DL380 UCS C220M5 dorado ce8850 AzureStack HCI
33. ShowNet を支える ハイブリッドクラウド構成の仮想化基盤 ストレージの定期的な バックアップ ShowNet Kubernetes マルチクラスタ 仮想マシンごとに イメージをクラウドへSync
34. オンプレ/マルチクラウドにまたがった Kubernetesマルチクラスタによる柔軟なサービス管理 Kubernetes マルチクラスタ
35. Control Plane Kubernetes Storage & iSCSI / NVMe over Fabrics Container Storage Interfaceを活用した 高速コンテナストレージとの接続 Kube API Server Container PVC manifest Worker Node Worker Node CSI Node Plugin Container CSI Node Plugin Container CSI Controller Plugin Container ボリューム作成 NVMe-oF or NVMe-oTCP iSCSI NVMe-oF Initiator iSCSI Initiator nimble Kumoscale
36. NVMe over Fabrics を活用した 高速コンテナストレージの実現 • .dc/.svcで複数のコンテナストレージ • CSIによる制御 • クラウドバックアップなど Software Defined Storageによる NVMe-oF コンテナストレージ 大容量ストレージによる 仮想化、コンテナストレージ RoCE 対応 高速ストレージアプライアンス PFC、ECN によるフロー制御 PFC、ECN によるフロー制御
37. Special Thanks
38. まだまだたくさんあります！ • ファシリティ: 新たな世代のファシリティ • 可視化によるミスコンフィグの防止と電源設備の利用状況集中管理 • 作業効率を高めるニューノーマル時代のファシリティ • センサーネットワークによる稼働状況・環境の管理 • 次世代コネクタによる更なる高密度化の実現 • 伝送: 光を自在に操って作る柔軟なトポロジー • 100G→200G→400G→800Gbpsへと高速化し続ける光トランスポンダ • ディスアグリゲーションによるオープンな光伝送 • チャレンジ！全ホールのトラフィックをカバーするリング型ShowNet伝送網 • L2/L3: 高度なトラフィック制御をシンプルに実現するバックボーン • 最大リンク速度400Gbpsでつなぐ多目的SR-MPLSバックボーン • 世界最先端・最大規模のマルチベンダSRv6相互接続検証 • SR-MPLS / SRv6インターワーク技術による異種バックボーン連携 • 無線: Wi-Fiにおける生活様式の変化 • 遠隔地に分散したWi-Fiネットワークの統合運用 • テレワークで求められる広帯域設計 • 多種多様なデバイス接続への対応 • Wi-Fiネットワークとクラウドの連携による運用管理の高度化 • DC: オンプレ/クラウド連携と柔軟なストレージで実現する高信頼サービス • ShowNetを支えるハイブリッドクラウド構成の仮想化基盤 • NVMe over Fabrics を活用した高速コンテナストレージの実現 • オンプレ/マルチクラウドにまたがったKubernetesマルチクラスタによる柔軟なサービス管理 • クラウド: マルチクラウド時代の柔軟なネットワークとインフラ利用 • 様々なインターコネクトによるマルチクラウドの相互接続 • クラウドとSD-WANの特性を活かしたクイックデプロイの実現 • マルチクラウドの統合的な構築・運用・監視 • ShowNetならではのマルチクラウド利活用 • セキュリティ: ゼロトラストモデルによる次世代セキュリティアーキテクチャ • 守るべきリソース保護のための継続的な検証と評価 • リモートワークとマルチクラウド環境に一貫した動的セキュリティポリシの適用 • 一元的な認証認可によるリソースの保護 • スレットインテリジェンスを活用したプロアクティブな脅威検出 • モニタリング: 監視運用の省人化と高レジリエンスな監視システムの提供 • 実トラフィックに基づくリアルタイム通信解析 • 分散監視システムによるマルチクラウド・ハイブリッドクラウドのモニタリング • 機械学習によるアラート監視の最適化・効率化の実現 • テレメトリを用いたトラフィック分析・アノマリ検知による運用の高度化 • テスター: よりリアルなトラフィックシミュレーションを求めて • ユーザーの実トラフィックを疑似したNetSecOPEN準拠のパフォーマンス測定 • 侵害と攻撃シミュレーション（BAS）によるセキュリティの継続した有効性評価 • ShowNetの実トラフィックから自動生成されるテストシナリオとテストトラフィックの再現 • ハイブリッド環境で稼働するバーチャルテスターの一元管理と高い弾力性の実現
39. Interop Tokyo ShowNet • 未来のネットワークの1つのカタチ • 10年先のインターネットをつくる • そのモデルを示すデモと検証 • そして業界へのフィードバック • 3ホール3A01 ShowNetブースで、 実際に動いているところを ぜひご覧ください
40. 技術的にディープな話は shownet.conf_ で • 2017年から開催している、その年に構築したShowNet についてNOCチームメンバーが解説するカンファレンス • 展示会では時間が無くてなかなか紹介できない 技術的に踏み込んだ部分までお話します • 2020年は下記の日程でオンライン開催 • 4月22日 shownet.conf_mini • https://www.interop.jp/shownet/point/ • 6月23日 shownet.conf_ • https://f2ff.jp/event/int-2021-conf