show run ShowNet: バックボーンから見るShowNet 2022

クラスルームの発表資料

Transcript

1. バックボーンから見るShowNet 2022 Interop展示会場内セミナー Interop Tokyo 2022 ShowNet NOCチームメンバー 中村 遼 show run ShowNet
2. Interop Tokyo • 世界最大のネットワーク機器と技術の展示会 • 1986年米国モントレで開催されたカンファレンスイベント 「TCP/IP Vendors Workshop」が始まり • Interop Tokyoは今年で29回目の開催 • 来場者約14万人
3. • “I know it works because I saw it at Interop” • 産業界、学術、研究機関からトップエンジニアが集まり、 Interopで構築される世界最大のデモンストレーションネットワーク • 2年後、３年後に業界に浸透する技術に先駆けて挑戦 • 様々な技術の相互接続性検証の場 • 最新技術を実装しながら安定した サービスを出展ブース・来場者に提供 • 出展社や来場者へのネットワーク提供 • “Live” Network
4. ShowNetとインターネット技術の歩み 年代 ShowNetでの取り組み 商用サービスの動き 1990年代 ATM メトロイーサネット ATMメガリンク 広域イーサネットサービス 2000年代 ADSL キャリアグレードNAT (CGN) セキュリティオペレーションセンタ (SOC) DSLサービス(YBB等） 光接続サービス（USEN, B-フレッツ等） CGN(キャリアグレードNAT) セキュリティインシデントの増加 IPv6サービス 2010年代 100GbE Software Defined Networking (SDN) DCファブリック サービスチェイニング 100GbEサービス SDN/NFV DCネットワークファブリック ネットワークスライシング 2020年代 400GbE SASE ゼロトラスト Wi-Fi 6
5. ネットワークの規模 今年の見どころ紹介 • コントリビューション機器/製品/サービス台数：約1600台 • 動員数（のべ） ：533名 • NOCチームメンバー ：29名 • STM ：39名 • コントリビュータ ：465名 • UTP総延長：約15.0km 光ファイバー総延長：約4.2km • NOCラック及びPod総電気容量 約120.0kW 内訳(NOC 約110kW、Pod 約10.0kW) • NOCラック及びPod総コンセント数（100V, 200V含む）:約280個 内訳(NOC 約200個、Pod 約80個)
6. 世界初！ 今年の見どころ紹介 • NTTエレクトロニクス • MediaRouterX • ジュニパーネットワークス • MX304 • QDD-400G-ZR-M • ファーウェイ • Mini FTTOソリューション • iSitePower
7. 日本初！ 今年の見どころ紹介 • シスコシステムズ • Cisco Network Convergence System NCS-57C3-MODS-SYS • Cisco Network Convergence System NCS-57B1-6D24-SYS • Cisco Catalyst 9500X-28C8D • Cisco Private 5G • 古河電気工業 / 古河ネットワークソリューション • FX2 • ジュニパーネットワークス • ACX7100-48L • MX10003 • 華為技術日本 • OceanProtect X9000 バックアップストレージ • FTTR‐SMB
9. ShowNetバックボーン
10. Segment Routingについて • ネットワーク上の要素を”Segment”と表現 • 例: ノード、隣接関係、BGP Peer、サービス • ヘッドエンドのルータでパケットにSegmentのリストを挿入 1. パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
11. ”Segment”の2つの実現方法 • SR-MPLS • MPLSラベルをSegmentとして使う • 既存のMPLS Data Planeハードウェアをそのまま利用できる • 識別子空間は 20bit • SRv6 • IPv6アドレスをSegmentとして使う • SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 • 識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
12. Segment Routing Interop in 2018 • 相互接続性検証を実施 • SR-MPLS: OSPFv2 Basic + TI-LFA, BGP Prefix SID, TE, SRTE&PCEP • SRv6: ISIS, T.Encap, T.Insert
13. SRv6 Service Chaining in 2019 • SRv6によるService Chaining • SRv6 Service Programming • このSRv6でユーザトラフィックを任意のネットワーク サービスへ転送するデモンストレーションを実施
14. かなりの苦労を経てなんとか動きました... • 手動設定ながらなんとか冗長性を確保しつつ構築 • 当時BGPベースの提案が出はじめた段階 • 実際の機器への実装はまだだった • ShowNetの構築で多くの課題を確認 • コミュニティへのフィードバック • draft-upa-srv6-service-chaining-exp • draft-eden-srv6-tagging-proxy spring@IETF 106 Singapore ShowNetで得られたSRv6 Service Chainingに 関する課題を共有
15. SR-based Backbone in 2021 • コアをSR-MPLS、DC向けをSRv6で構築 • Flex-AlgoやEgress Peer Engineeringのデモンストレーション ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx ne8000-f1a ncs55a1 ne8000-x4 asr9902 ptx1001-mr36 SRv6網 （サービス・DC） SR-MPLS網 （バックボーン）
16. 2021年Segment Routingはここまで動いた • SR-MPLS: 相互接続環境でリッチな機能も動く • Flex AlgoやEgress Peer Engineering • L3VPNももちろん動いた with SR-MPLS/SRv6 interwork • 2021年4月で時点ではSRv6と比較するとだいぶ枯れている様子 • SRv6: Layer-3VPNは5機種で相互接続まで動いた • 2021年4月の段階でだいぶ大変ではありましたが... • これからこなれてくるはず 16
17. SRv6 Single-Stack Multi-Service Backbone in 2022 • そして2022年、ShowNetバックボーンのフルSRv6化! • BackboneはIPv6のみ • 全てのIPv4/IPv6トラフィックは SRv6 L3VPNで転送 • SRv6 Flex Algo • Micro-SID相互接続検証 • SRv6による動的な 長距離伝送路構築実験
18. SRv6 SID in ShowNet 2022 RP/0/RP1/CPU0:ncs57c3.noc#show segment-routing srv6 sid Wed Jun 15 08:39:24.999 JST *** Locator: 'shownet' *** 2001:3e8:fa00:3:1:: End (PSP/USD) 'default':1 sidmgr InUse Y 2001:3e8:fa00:3:40:: End.X (PSP/USD) [Hu0/0/0/27.6, Link-Local] isis-290 InUse Y 2001:3e8:fa00:3:41:: End.X (PSP/USD) [Hu0/0/0/26.2, Link-Local] isis-290 InUse Y 2001:3e8:fa00:3:42:: End.X (PSP/USD) [Hu0/0/0/24.1, Link-Local] isis-290 InUse Y 2001:3e8:fa00:3:43:: End.DT6 'vrf-global' bgp-290 InUse Y 2001:3e8:fa00:3:44:: End.DT4 'vrf-global' bgp-290 InUse Y 2001:3e8:fa00:3:45:: End.DX2 310:310 l2vpn_srv6 InUse Y 2001:3e8:fa00:3:46:: End.X (PSP/USD) [FH0/0/2/0.5, Link-Local] isis-290 InUse Y • SIDと紐づくFunctionによってL3VPN/L2VPNが構築される • 4ベンダー9機種によって相互接続を実施 • ルータはL3/L2VPNを構成するための自身のSIDを持つ
19. IPv6 only backbone SRv6 SID in ShowNet 2022 • SIDと紐づくFunctionによってL3VPN/L2VPNが構築される • ルータ同士がBGPでSIDを交換しSRv6オーバーレイを構築 • draft-ietf-bess-srv6-services fx2.noc#show ip route vrf vrf-global 1.0.0.0 Routing entry for 1.0.0.0/24 Known via "bgp", distance 200, metric 0, best, redistributed Encapsulation Information: Tunnel Type: SRv6 Tunnel IF: Tunnel1 (Data: 0x55555a975310) Tunnel ID: 40001 Tunnel Endpoint: 2001:3e8:fa00:3:44:: (System VRF-ID: 0) Tunnel Parameter: (SID list) 2001:3e8:fa00:3:44:: Last update 01d01h31m ago 2001:3e8:fa00:3:44::, Tunnel1 (Tunnel-ID:40001), RD 45.0.0.6:1, System VRF-ID 5, NHD LINK Tunnel1 (937), refcnt 1038326 BGPによるSIDの交換 交換したSIDを宛先とした SRv6オーバーレイを構築
20. IGP Flex-Algorithm: draft-ietf-lsr-flex-algo • ISIS Flexible Algorithm Definition Sub-TLVを用いて仮想的に ISISを分割、制御する方式 • Prefix SIDにAlgoをつけて広告 • 各ノードはどのAlgoに所属して いるか周りのノードに広告 デフォルト IGP面 Algo 128の IGP面
21. SRv6でのFlex Algoの利用 • SRv6ではAlgoごとにLocatorをIGPに広告 • 広告したAlgo(面)のSPF計算に含まれる • Flex Algoで5Gのトラフィックを 出展社トラフィックとは別のパスで転送 mx304.svc# show protocols isis source-packet-routing flex-algorithm [ 128 129 130 ]; srv6 { locator loc-mx304; locator loc-128; locator loc-129; locator loc-130; } ncs55a1 ncs57c3 ne8000-x4 ptx10k fx2 fx2 acx7100 ne8000-f1a mx304 ncs57b1 出展社 トラフィック 5Gトラフィック それぞれ別のIPv6 Prefix (Locator)
22. IPv6 Link Local Only Backbone • バックボーンのルータ間はIPv6 Link Localアドレスのみ • Link Localアドレスは自動生成される ➢ルータ間のリンクにはアドレスすら設定していない • descriptionとmtu、あとは機器によってipv6 enableやfamily isoなど • あとはIGPで交換したLoopbackのアドレスを使ってBGPを張る interface FourHundredGigE0/0/0/24.14 description fhg-0-2-0.ptx10k.noc mtu 9021 ipv6 enable
23. SRv6 uSID Interoperability Test SA:2001:3e8:fa00:1::1 DA:2001:3e8:fa00:4:1:0:0:0 NH:RH Type:4(SRH) NH:IPv4|SL:1 Segment List: [0]: 2001:3e8:fa00:5:45:0:0:0 [1]: 2001:3e8:fa00:4:1:0:0:0 [2]: 2001:3e8:fa00:3:48:0:0:0 [3]: 2001:3e8:fa00:2:1:0:0:0 [4]: 2001:3e8:fa00:1:42:0:0:0 SRv6 Encapsulation SA:45.0.1.1 DA:45.0.1.5 Port:UDP UDP Header/Data SRv6 uSID Encapsulation SA:45.0.1.1 DA:45.0.1.5 Port:UDP UDP Header/Data SA:2001::1 DA:2001:3e8:100:200:300:400:: NH:IPv4 Longest match Shift & Forward !! 2001:3e8:100: 2001:3e8:200: 2001:3e8:300: 2001:3e8:400: • SRv6 uSIDの相互接続試験実施中 • Micro segmentのSIDをISIS/BGPにて広告、 ExplicitにService programingすることでService chainingを実現 ncs57b1.svc cat9500x.usid fx2.usid noviflow wedge spirent radware VM
24. SRv6による長距離映像伝送実験 • SRv6のIPv6透過性を活かした実験 • 東京と大阪にSRv6ノードを設置 • ShowNetのSRv6ヘッドエンドルータ で挿入するSegment Listによって、 仮想的な長距離伝送路を動的に構築 • 映像伝送に影響を与える遅延や ジッタを計測中 FX201 大阪データセンター 東京データセンター NCS5501
25. 400G ZR+ Optical Transceiver • QSFP-DD/OSFPのフォームファクタに収まる400Gトランシーバ • トランシーバに変調用DSPチップを積み、高レートの通信を可能に • 伝送装置に使われる機能を小型化 • 伝送装置を介さずに回線の重畳と長距離伝送が可能※ となる • L2/L3装置が直接長距離伝送を可能とするIP over DWDM ※ 但し、トランシーバだけで長距離利用できるかというとそうではなく「 長距離伝送に耐えうる」であり、長距離には必ず伝送網の設計とAMPの導入が必要
26. 2022年、Segment Routingはここまで動いた • SRv6 L3VPNは4ベンダー9機種で相互接続しつつ動作 • 1年でだいぶ動くようになりました！ • Flex Algoをはじめとする付加的な機能も動きはじめている • 次はProgrammabilityの活用に期待 2018 小島で相互 接続検証 2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 SRv6 L3VPN Single Stack
27. データセンター・サービスサーバ
28. ShowNet のサービスを支える仮想化基盤 • 様々な仮想化基盤でサービスを展開 • VMware vSphere、AzureStack HCI、OpenStack など • DHCP、DNS などのサービス • 様々な仮想アプライアンス • セキュリティ、インフラ管理など • 様々なクラウドとの連携 • クラウドからの管理 • パブリッククラウドと連携 hx-c220c-m5sx dl380 uis-hci
29. ACI による分散ファブリック .5g hx-c220c-m5sx ebof oceanstor nsx-edge fortiwebvm AzureStack HCI DL380 UIS 3000G5 Ezmeral DL380-g10 dl385 pensando ShowNet バックボーンを超えた分散ファブリックを構成 dl360 kumoscale service network dc/storage network secure service
30. ACI による分散ファブリック ACI Fabric apic-m3 nexus-dashboard • オンプレ環境のインベントリをクラウドから管理 • サーバ、仮想マシン、Infrastructure as a Code • 場所を選ばない運用が簡単に！ • コントローラからの集中管理 • 物理配置に依存しないノード管理 • 柔軟なポリシー制御 • 遠隔地への延伸
31. 分散FW、IDS、WAF で守るセキュアなDC hx-c220c-m5sx hx-c220c-m5sx hx-c220c-m5sx nsx-edge server server server server server server fortiwebvm server server server nsx-t サービスに合わせた様々なセキュリティ ポートベースの分散 Firewall WAF による安全な Web サービス vMotion 時にポリシーも追従 DPI と連携した L4-L7 セキュリティ apic-m3 ACI の柔軟なポリシー制御
32. ローカル5G
33. ローカル5G at ShowNet 2022 PTP Nokia NTTCom+NEC NEC MS NTTCom バックボーンへ Cisco Juniper • 7つの独立したローカル 5Gシステムを構成 • 全て5Gのコアと RANを利用する Stand Alone で構成 • シールドテント内で 電波を発射 • Sub6 4600MHz – 4900MHzを利用
34. シールドテントを利用した実験環境 • シールドテント • 特殊な素材を利用した生地により、 内部の電波が外部に漏洩しないよう にするテント • 電波を外に漏らさないことで免許を 取得する前に機材の検証等が可能 • ※微弱無線局の基準を満たす必要あり • ShowNetでは2つのテントを利用 • 合計4つの基地局と端末5台を収容 基地局 端末 シールドテント 停波中 実験中
35. 操縦席 車載カメラのリアルタイム映像 車載カメラ 制御回路等は ラジコンカー内側に収納 5G端末 5G アップリンク （動画伝送） 5G ダウンリンク （ラジコン制御通信） NTTコミュニケーションズ/NEC：ローカル5Gを利用した 遠隔操作デモンストレーション テント内 デモ時間 • 6/15 • 11:00 - 12:30 - 16:30 - • 6/16 • 11:00 - 12:30 - 16:30 - • 6/17 • 11:00 - 12:30 - 15:30 -
36. NEC：準同期＋低遅延コーデックによる4K動画伝送 ローカル5G 準同期(アップリンク) シールドボックス リアルタイム映像 ローカル5G経由映像 4Kカメラ N3 N6 FG900CS NECマグナスコミュニケーションズ製 ローカル5G/キャリア5G対応 ゲートウェイ ローカル5G用UPF ユーザーデータ処理装置 UNIVERGE RV1200 ローカル5G Sub6一体型基地局 4K デコーダ 4K エンコーダ オムニアンテナ ※準同期TDDフォーマット：DDDSUUDSUU D: DL Slot, U: UL Slot, S: Special Slot 4K 4K RF ディスプレイみぎのカメラの前で動いて頂き、 ローカル5Gのリアルタイム性を 体験してみてください！ ShowNet
37. NTTコミュニケーションズ/Spirent：E2Eネット ワークスライシング • 3つのスライスを5GCおよびUPF上に構築 • N6区間からバックボーンにSRv6 Flex-Algoに乗り換え • スライス単位で経路を柔軟に制御 AMF SMF Slice #2 VLAN 2735(N3) Slice #1 Slice #2 VLAN 2733(N3) Slice #3 VLAN 2782(N3) Slice #3 Slice #1 VLAN 2737(N6) VLAN 2736(N6) VLAN 2783(N6) UE eBGP VLAN 2734 (N4) gNB Algo #1 Algo #3 Algo #2 N2 N4 vRouter N6 vRouter vUPF N3 vRouter Altran Spirent Landslide Kaloom ESXi上でAltran + Landslideを動作 ホワイトボックススイッチWedge でKaloom (UPF) を動作
38. その他にも様々なチャレンジが行われています！ • ファシリティ • ハードウェアとソフトウェアが充実してきたDCIMの活用 • 進化したケーブリングマテリアルで実現する効率的なデータセンター運用 • 伝送 • 400G-ZR/ZR+の登場によるIP over DWDMの実現 • 光伝送網設計とIPバックボーン設計の融合で実現するシンプルなファイバー 構成 • 異機種・異速度・異変調の高速伝送を組み込んだオープンな光伝送網 • データセンター • パブリッククラウドと連携したハイブリッドクラウドのBCP対策 • 複数拠点を超えたスケーラブルな分散ファブリック • ShowNetを支えるサービスを守るセキュアなデータセンター • ローカル5G • マルチベンダーでの5Gコア/RAN/端末の相互接続への挑戦 • 多様なローカル5G実現方式 • ローカル5Gを利用したデモンストレーション • メディア over IP • 超低遅延、広帯域映像伝送 • 多種多様な映像伝送システムの活用 • 映像伝送を支えるネットワークと相互接続 • クラウド • クラウド時代の新常識、あらゆる障害を想定した冗長設計 • カオスエンジニアリングを意識した障害試験と実運用 • 進化したハイブリッドクラウド統合管理 • セキュリティ • SASEによるセキュアなリモートアクセスとインターネットゲートウェイ • XDRとSIEMによる次世代SOC基盤 • ゼロトラストによる柔軟で厳格な認証・認可 • WiFi • ShowNet WirelessのWiFi6完全対応 • 変化し続ける環境でのレジリエントな品質の実現 • モニタリング • 監視データを利用した予兆検知技術の運用への応用 • ハイブリッドクラウドを活用した高可用性な監視システムの実現 • トラフィック解析技術を駆使した進化するネットワーク詳細分析技術 • テスター • SRv6エミュレーションで相互接続したバックボーンの健全性確認 • ShowNetから自動生成したトラフィックを活用したテストシナリオ • ワールドワイドの実攻撃キャンペーンを模擬したセキュリティ対策の有効性確認 • 働く場所に依存しないセキュリティサービス、SASEの有効性を検証
39. Interop Tokyo 2022 ShowNet • 未来のネットワークの1つのカタチ • 10年先のインターネットをつくる • そのモデルを示すデモと検証 • 相互接続性 • ShowNetは異種ベンダー、異種 機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 39