2021年度ShowNetの作り方・コンセプトと設計思想_ShowNet2021 seminar

Transcript

1. 1 Copyright © Interop Tokyo 2021 ShowNet NOC Team Interop Tokyo ShowNet 2021 Face the Future 2021年度ShowNetの 作り方・コンセプトと設計思想 中村 遼 （東京大学） 上野 幸杜 （NTTコミュニケーションズ） 廣瀬 真人 （NTTコミュニケーションズ） 鎌田 徹平 （シスコシステムズ） Interop Tokyo 2021 ShowNet NOCチームメンバ L2L3担当
2. Interop Tokyo • 世界最大のネットワーク機器と技術の展示会 • 1986年米国モントレで開催されたカンファレンスイベント 「TCP/IP Vendors Workshop」が始まり • 日本では毎年6月に幕張メッセで開催 • 来場者約14万人
3. • “I know it works because I saw it at Interop” • 産業界、学術、研究機関からトップエンジニアが集まり、 Interopで構築される世界最大のデモンストレーションネットワーク • 2年後、３年後に業界に浸透する技術に先駆けて挑戦 • 様々な技術の相互接続性検証の場 • 最新技術を実装しながら安定した サービスを出展ブース・来場者に提供 • 出展社や来場者へのネットワーク提供 • “Live” Network
4. ShowNetとは？ ShowNetでの取り組み 商用化サービスの動き 1990年代 ATM メトロイーサネット ATMメガリンク 広域イーサネットサービス 2000年代 ADSL FTTH CGN(キャリアグレードNAT) SOC(Security) ADSLサービス(YBB等） 光接続サービス（USEN, B-フレッツ等） CGN(キャリアグレードNAT) セキュリティインシデントの増加 2010年代 100GbE OpenFlow SDN DCファブリック Service Chaining 100GbEサービス SDN/NFV DCネットワークファブリック ネットワークスライシング
6. ネットワークの規模 • コントリビューション機器/製品/サービス台数：約1500台 • 動員数（のべ） ：368名 • NOCチームメンバー ：30名 • STM/CTM ：33名 • コントリビュータ ：305名 • UTP総延長：約21.0km 光ファイバー総延長：約5.5km • NOCラック及びPod総電気容量 100V:約140.0kW 200V:約66.0kW • 内訳(NOC 100V:約115.0kW 200V:約62.0kW、Pod 100V:約25.0kW 200V約4.0kW) • NOCラック及びPod総コンセント数（100V,200V含む):約240個 • 内訳(NOC 約190個、Pod 約50個)
7. 7 Copyright © Interop Tokyo 2021 ShowNet NOC Team ShowNet2021 バックボーン
8. の、前に… • ShowNetバックボーンの変遷 • 実は毎年、前回よりもさらに”先”を目指して設計しています • 過去を知ると、今年のチャンレンジがさらに面白く！
9. ShowNet Backboneにおける柔軟性への挑戦 • Software-Defined Networking、そしてIP経路制御 • 2016年まではSDN/NFV: OpenFlow, Virtual Appliance • 2017年、2018年はIP経路制御によるサービスチェイン
10. ShowNet 2019 • SRv6によるService Chaining • IPv6 Segment Routing • SR HeaderでSource Routingを実現 • このSRv6でユーザトラフィックを任意のネットワーク サービスへ転送するデモンストレーションを実施
11. 動きました。が… • SRv6のコントロールプレーンはまだまだだった • 当時BGPベースの提案が出はじめた段階 • 実際の機器への実装はまだだった • ShowNet 2019では手動設定で構築 • ShowNetの構築で多くの課題を確認 • IETFなど業界へフィードバック IETF 106 Singapore, spring wgにおいて ShowNetで得られたSRv6 Service Chainingに 関する課題を共有
12. ShowNet 2021: SR-based Backbone • SR-MPLSによる 柔軟なトラフィック制御 • Flex Algoによる優先制御 • Egress Peer Engineeringによる 計測実験 • 世界最先端・最大規模の SRv6相互接続性検証 • SR-MPLS網とSRv6網の相互接続 • 400Gbps、Flex Ethernetによる 200Gbpsなどの広帯域リンク
13. ShowNet 2021: SR-based Backbone • SR-MPLSによる 柔軟なトラフィック制御 • Flex Algoによる優先制御 • Egress Peer Engineeringによる 計測実験 • 世界最先端・最大規模の SRv6相互接続性検証 • SR-MPLS網とSRv6網の相互接続 • 400Gbps、Flex Ethernetによる 200Gbpsなどの広帯域リンク ShowNet 2019からの進化: コント ロールプレーンはルーティングプ ロトコルを使用した自動設定
14. 今年はShowNet全体がL3VPNに • L3VPNはSR-MPLS / SRv6に期待さ れるユースケースの一つ • 向こう5-10年のSR関連技術の普 及を見据え、ShowNetでもバッ クボーン全体をL3VPN化 • アンダーレイをIS-ISで構築し、 VPNはBGPで制御 • 来場者・出展社のトラフィック は全てこのL3VPNを通る ptx10001-36mr ne8000-m14 asr9904 c8201 ncs55a1 ne8000-f1a mx204 Provider Edge Provider Edge asr9902 ne8000-x4
15. SR-MPLSによる柔軟なトラフィック制御 • Flex-Algoによる優先制御 • 広帯域の必要なトラフィックを 選択的に400Gbps, FlexEのリンクへ • Egress Peer Engineering • SRを用いて任意のパケットを 任意のピアASへ送信 • これを用いた計測実験を実施中 ptx10001-36mr asr9902 ne8000-x4 ne8000-m14 asr9904 c8201 ncs55a1 ne8000-f1a 4K映像 トラフィック EPEによる 計測トラフィック SR-MPLSバックボーン mx204
16. IGP Flex-Algorithm: draft-ietf-lsr-flex-algo • ISIS Flexible Algorithm Definition Sub-TLVを用いて仮想的に ISISを分割、制御する方式 • Prefix SIDにAlgoをつけて広告 • 各ノードはどのAlgoに所属して いるか周りのノードに広告 デフォルト IGP面 Algo 128の IGP面
17. ShowNet 2021におけるFlexAlgoの利用 • ne8000-x4.noc, ne8000-m14.noc c8201.nocの3台がFlexalgo(128) に所属していることを広告 • 広帯域Traffic (8k非圧縮映像など) をFlexalgo(128)上に載せることで 優先制御を実施 ptx10001-36mr asr9902 ne8000-x4 ne8000-m14 asr9904 c8201 ncs55a1 ne8000-f1a 4K映像 トラフィック SR-MPLSによるバックボーン
18. SR-MPLS Egress Peer Engineering • パケットをLongest Prefix Matchによらずに狙ったピアへ • draft-ietf-spring-segment-routing-central-epe • ASBRがBGP PeerごとにSRのセグメント(ラベル)をアサイン • そのセグメント行きのパケットは、そのピアへ送信される • これを利用して送信方向のトラフィックを制御できる AS 64512 AS 64520 AS 64521 Packet 24011
19. SR-MPLS EPEを使った計測実験 • EPEで各AS経由のインターネット全体に対するRTTを計測 • ASごとにどのような違いがあるのか？ • 計測はBGP-LSを用いて自動化 • Peerが上がり、 ラベルが広告されると、 自動で計測をスタート • draft-ietf-idr-bgpls- segment-routing-epe-19 ne8000-x4 mx204 The Internet asr9902 cRPDを使ったBGP-LSによる Peering Segmentの受信 計測パケット crpd EPE計測サーバ
20. SR-MPLS網とSRv6網の相互接続 • インターワークゲートウェイにて、 SR-MPLSのラベルとSRv6のSIDを相互変換 ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx SRv6網 （サービス・DC） SR-MPLS / SRv6 相互変換を行う インターワークゲートウェイ SR-MPLS網 （バックボーン） ne8000-f1a ncs55a1 ne8000-x4 asr9902 ptx1001-mr36
21. コントロールプレーンのシングルスタック化 • 構築・運用負荷軽減のため、コントロールプレーンで 使用するL3プロトコルをシングルスタック化 ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx ne8000-f1a ncs55a1 ne8000-x4 asr9902 ptx1001-mr36 SRv6網のコントロールプ レーンは IPv6 link-local only SR-MPLS網のコントロールプ レーンはIPv4 only
22. SRv6相互接続検証 • SIDの配布や経路制御をIS-IS/BGPで実施 • Cisco: ASR9904, Nexus 93600cd-gx • 古河電工: FX201 • Huawei: NE8000-M14 • Juniper Networks: MX10003 • SRv6 L3VPNのオーバーレイは End.DT4/6のFunctionで構成 • 今回の4社5機種構成でSRv6による L3VPNを実運用したのはおそらく世界初 • I-Dの解釈違いなどの解消のため、 コントリビュータ各社が実装をアップデートした結果、 相互接続が実現 ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx SRv6によるネットワーク
23. IS-IS Extension for SRv6: draft-ietf-lsr-isis-srv6-extensions • ISISでSRv6のLocator情報などを広告するのに使用 • 主に以下のTLVを拡張 • IS-IS Router CAPABILITY TLV (242) : 自身の Capability を広告 • IPv6 TE Router ID Sub-TLV (12) : IPv6 TE Router ID (16 octets) • SRv6 Capabilities Sub-TLV (25) : SRv6 Capabilityの有無 • Node MSD Sub-TLV (23) : Maximum SID Depth (MSD) • SRv6 Locator TLV (27) : Locator と Endpoint Function の SIDを広告 • SRv6 End SID Sub-TLV (5): Endpoint Function とそれに紐付く SIDを広告 • 上記がすべてのTLVではないですが、ShowNetで今回利用し たTLVに関しては問題なく接続できました
24. 課題が多かったのはBGP… draft-ietf-bess-srv6-services • BGP Prefix-SID TLVにてSIDの広告を行うが、Draft上変更 が非常に多い • もともと使っていたType-4 TLVはすでにdeprecated • ReferenceのRFCが5549から8950に変更 • SRv6 SID Structure Sub-Sub-TLV という新しいTLVが登場、これ 以前とのインオペが取れず • Structure Sub-Sub-TLVに対応していても解釈の違い • 結果として、全ベンダがHotstage中にVersion up • 無事にサービスの疎通を確認
25. SRv6 SID in ShowNet2021 • SRv6 SID Design: 2001:3e8:6:deviceID:function::/64 RP/0/RSP0/CPU0:asr9904.noc#show segment-routing srv6 sid Tue Apr 13 14:24:57.475 JST *** Locator: 'shownet' *** SID Behavior Context Owner State RW -------------------------- ---------------- ------------------------------ ------------------ ----- -- 2001:3e8:6:5:1:: End (PSP) 'default':1 sidmgr InUse Y 2001:3e8:6:5:11:: End.OP 'default' sidmgr InUse Y 2001:3e8:6:5:40:: End.DT4 'vrf-global' bgp-290 InUse Y 2001:3e8:6:5:41:: End.X (PSP) [Te0/1/0/0.212, Link-Local] isis-291 InUse Y 2001:3e8:6:5:42:: End.X (PSP) [Te0/1/0/1.218, Link-Local] isis-291 InUse Y 2001:3e8:6:5:43:: End.DT6 'vrf-global' bgp-290 InUse Y 2001:3e8:6:5:44:: End.X (PSP) [Hu0/0/0/3.208, Link-Local] isis-291 InUse Y 2001:3e8:6:5:45:: End.X (PSP) [Hu0/0/0/5.214, Link-Local] isis-291 InUse Y 2001:3e8:6:5:46:: End.DT6 'vrf-global-srv6' bgp-290 InUse Y 2001:3e8:6:5:47:: End.DT4 'vrf-private' bgp-290 InUse Y 2001:3e8:6:5:48:: End.DT4 'vrf-super-ocn' bgp-290 InUse Y 2001:3e8:6:5:49:: End.DT4 'vrf-cloud' bgp-290 InUse Y 2001:3e8:6:5:4a:: End.DT6 'vrf-private' bgp-290 InUse Y 2001:3e8:6:5:4b:: End.DT6 'vrf-super-ocn' bgp-290 InUse Y 2001:3e8:6:5:4c:: End.DT6 'vrf-private-srv6' bgp-290 InUse Y 2001:3e8:6:5:4d:: End.DT6 'vrf-super-ocn-srv6' bgp-290 InUse Y
26. まとめ • SR-MPLSはコントロールプレーンを含め、マルチベンダで相互 接続性を確保しながらデプロイ可能な段階に到達、FlexAlgoや EPEなどAdvanced featureの実装が進む • SRv6も多様な機器に実装されつつあるが、SR-MPLSに比べると コントロールプレーンは発展途上 • ShowNetでは、時代を先取りし、SR-MPLS / SRv6の両方で コントロールプレーンを含めたL3VPNをマルチベンダで実現 • 各種検証・実験のベースとして使用 • 会場ネットワークとして提供
27. ShowNet NOCブースで、 ぜひ今実際に動いている機器をご覧ください
28. Interop Tokyo ShowNet • 未来のネットワークの1つのカタチ • 10年先のインターネットをつくる • そのモデルを示すデモと検証 • そして業界へのフィードバック • 3ホール3A01 ShowNetブースで、 実際に動いているところを ぜひご覧ください
29. shownet.conf_開催決定 • shownet.conf_とは • 2017年から開催している、その年に構築したShowNetについ てNOCチームメンバーが解説するカンファレンス • 2021年は下記の日程でオンライン開催 • 4月22日 shownet.conf_mini • https://www.interop.jp/shownet/point/ • 6月23日 shownet.conf_ • https://f2ff.jp/event/int-2021-conf