【swonet.conf_ 2025】高機能かつシンプルなマルチテナントバックボーンへの挑戦

今年のShowNetのネットワークは高機能なバックボーンネットワークをシンプルに作ることを目指して構築しています。本セッションでは、SRv6やEVPN VXLANを用いたバックボーンとネットワークファンクションのシームレスな統合やネットワークスライスを活用した高度なトラフィック制御などを実現している今年のShowNetのネットワーク技術に関するみどころを解説致します。

SPEAKER
L2 / L3
ShowNet NOCチームメンバー
鎌田 徹平（シスコシステムズ）

Transcript

1. 高機能かつシンプルな マルチテナントバックボーンへの挑戦 ShowNet NOCチームメンバー L2L3担当 鎌田徹平
2. L2L3 2025 テーマ 2 高機能かつシンプルな マルチテナントバックボーンへの挑戦 SRv6・EVPN VXLANを用いたバックボーンと ネットワークファンクションのシームレスな統合 ネットワークスライスを活用した高度なトラフィック制御 多様なアプリケーションを支える バックボーンサービスの提供
4. 4 多様なアプリケーションを支える バックボーンサービスの提供 =SRv6 L2VPN/L3VPN SRv6・EVPN VXLANを 用いたバックボーンと ネットワークファンクションの シームレスな統合 =container SRv6/VXLAN inspection ネットワークスライスを活用した 高度なトラフィック制御 =SRv6 uSID FlexAlgo
5. ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1. パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
6. ”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う ✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
7. ShowNetとSegment Routingの変遷 ➢ShowNetではSegment Routing黎明期から様々な取り組みを 行ってきました ➢Dataplaneを手作りしていた時代からはじめ、去年までの営 みでかなり成熟したことを確認 2018 小島で相互 接続検証 2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack 2024 SRv6 over NTN
8. Segment Routing Interop in 2018 ➢相互接続性検証を実施 ✓SR-MPLS: OSPFv2 Basic + TI-LFA, BGP Prefix SID, TE, SRTE&PCEP ✓SRv6: ISIS, T.Encap, T.Insert
9. SRv6 Service Chaining in 2019 ➢SRv6によるService Chaining ✓SRv6 Service Programming ✓SRv6でユーザトラフィックを任意のネットワークサービスへ 転送するデモンストレーションを実施 NF NF NF NF NF
10. 2019 SRv6 Service chaining Overview 1. H.Encaps for IPv4 H.Insert for IPv6 3. End.DT4/ End.DT6 3. End 2. End.AT for IPv4 End.AM for IPv6 3. End.DT4/ End.DT6 External Users Topology diagram of ShowNet 2019 10
11. SRv6黎明期ならではの苦労も ➢手動設定ながらなんとか冗長性を確保 ✓当時BGPベースの提案が出はじめた段階 • 実際の機器への実装はまだだった ✓ShowNetの構築で多くの課題を確認 • コミュニティへのフィードバック • draft-upa-srv6-service-chaining-exp • draft-eden-srv6-tagging-proxy spring@IETF 106 Singapore ShowNetで得られたSRv6 Service Chainingに 関する課題を共有
12. SR-based Backbone in 2021 ➢コアをSR-MPLS、DC向けをSRv6で構築 ➢Flex-AlgoやEgress Peer Engineeringのデモンストレーション ne8000-m14 asr9904 fx201 fx201 mx10003 n936000cd-gx ne8000-f1a ncs55a1 ne8000-x4 asr9902 ptx1001-mr36 SRv6網 （サービス・DC） SR-MPLS網 （バックボーン）
13. EPEを使った計測実験 ➢EPEで各AS経由のインターネット全体に対するRTTを計測 ✓経由するASでどのような違いが生まれるのか？ ✓計測はBGP-LSを用いて自動化 • draft-ietf-idr-bgpls- segment-routing-epe-19 ✓Interop期間中、約263万個の IPv4アドレスに対して、 Egress ASを変えつつpingと tracerouteを行い続けました ne8000-x4 mx204 The Internet asr9902 cRPDを使ったBGP-LSによる Peering Segmentの受信 計測パケット crpd EPE計測サーバ
14. SRv6 Single-Stack Multi-Service Backbone in 2022 ➢ShowNetバックボーンがフルSRv6化 ✓BackboneはIPv6のみ ✓全てのIPv4/IPv6トラフィックは SRv6 L3VPNで転送 ✓SRv6 Flex Algo ✓uSID相互接続検証 ✓SRv6による動的な 長距離伝送路構築実験
15. SRv6による長距離映像伝送実験 ➢SRv6のIPv6透過性を活かした実験を実施 ✓大手町と堂島にSRv6ノードを設置 ✓幕張メッセのFX201で挿入するSegment Listに よって、仮想的な長距離伝送路を動的に構築 ✓映像伝送に影響を与える遅延やジッタを計測 堂島 大手町 NCS5501 FX201
16. SRv6 Single-Stack Multi-Service Backbone in 2023 ➢3回目の挑戦 ✓Cisco, Furukawa, Huawei, Juniper, and NTTcomからの11機種のRouterでInterop ➢L3VPNではないSRv6でのトラフィック転送: BGP AFI 1, SAFI 1,2 ✓Egress PEではIPv4/IPv6 NLRIをSRv6 Service SIDをNext-hopとして広告 ✓Ingress PEはIPv4/IPv6の宛先を SIDをNext-hopとして default routing tableにInstall ✓IP−VPNなしでもSRv6 Transportを利用可能に 16 IPv6 underlay IPv4 Packet SID A IPv4 Packet IPv4 Packet SID X IPv4 Packet NLRI AFI 1, SAFI 128 (VPNv4) IPv6 underlay IPv4 Packet IPv4 Packet VRF A:10.1.0.0/24 VRF A:10.1.1.0/24 VRF B: 10.2.0.0/24 SID A SID A SID B Destinations NH VRF A and VRF B exist NLRI AFI 1, SAFI 1 No VRF configured 10.0.0.0/24 10.0.1.0/24 10.0.2.0/24 Destinations SID X SID X SID X NH
17. 2024年のShowNet Backbone 17 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2 ➢2024年のBackboneは SRv6 uSIDを用いて構築 ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網
18. 2 4 6 8 10 jitter (millisecond) 0 25 50 75 # of probes average jitter max jitter • SRv6 SIDの使い分けにより 経由する回線を制御 • Cisco Accedian Skylight 「SFP型ハードウェアセンサー モジュール」をバックボーン ルータに導入し遅延を計測 SRv6 over 衛星回線実験 地上局 Internet x Space Summit FX2 地上経由 衛星経由 SID A uSID 車載アンテナ 静止衛星 18 衛星経由でも1分間のジッタの平均は 3ms以下、最大でもほぼ10ms以下
19. ShowNet2025 Backbone
20. 2025年のShowNet Backbone 20 EVPN/VXLAN網 ce5732 catalyst9300 nexus93108tc ex4400 fx2 ➢Backboneは SRv6 uSIDのみを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN ➢Inline FWでVXLAN Inspectionを実施 ne8000-f2c uSID:6007 mx204 uSID:6001 ncs57c3 uSID:6002 cisco8712 uSID:6003 cisco8011 uSID:6011 fx2 uSID:6010 ptx10002 uSID:6005 SRv6 uSID網 cisco8201-32fh uSID:6004 mx304 uSID:6006 acx7100 uSID:6012 acx7024x uSID:6014 ne8000-f1a uSID:6015 fx2 uSID:6013 pa7500 srx4700
21. SRv6 uSIDを用いたサービス fx2 ➢SRv6 uSIDによるL2VPNを Backboneで提供 ✓Media over IP用 SRv6 EVPN VPLS (ShowNetでは初めて!) ✓Externalからの映像伝送用 SRv6 EVPN VPWS ➢同時にFlexAlgoによる スライシングでの 経路制御も実施 ne8000-f2c uSID:6007 mx204 uSID:6001 ncs57c3 uSID:6002 cisco8712 uSID:6003 cisco8011 uSID:6011 fx2 uSID:6010 ptx10002 uSID:6005 SRv6 uSID網 cisco8201-32fh uSID:6004 mx304 uSID:6006 acx7100 uSID:6012 acx7024x uSID:6014 ne8000-f1a uSID:6015 fx2 uSID:6013 moip Multicast 映像伝送VLAN1 moip Multicast 映像伝送VLAN2 8k非圧縮映像伝送 with FlexAlgo
22. コンテナ基盤へのSRv6 fx2 ➢ShowNet2025のSRv6は コンテナ基盤まで延伸 ✓DHCPやDNSのパケットを vrf-global/vrf-privateともに SRv6 VPNでコンテナに直接 転送 ➢今回は広告されたSIDを用 いて各PODへLBしながら 柔軟にサービス提供 ✓障害時にはDynamic Routing Protocolによる動的な迂回 ne8000-f2c uSID:6007 mx204 uSID:6001 ncs57c3 uSID:6002 cisco8712 uSID:6003 cisco8011 uSID:6011 fx2 uSID:6010 ptx10002 uSID:6005 SRv6 uSID網 cisco8201-32fh uSID:6004 mx304 uSID:6006 acx7100 uSID:6012 acx7024x uSID:6014 ne8000-f1a uSID:6015 fx2 uSID:6013 eBGP ISIS 出展社 DHCP vrf-global DHCP vrf-private
23. コンテナ基盤へのSRv6 fx2 ➢ShowNet2025のSRv6は コンテナ基盤まで延伸 ✓DHCPやDNSのパケットを vrf-global/vrf-privateともに SRv6 VPNでコンテナに直接 転送 ➢今回は広告されたSIDを用 いて各PODへLBしながら 柔軟にサービス提供 ✓障害時にはDynamic Routing Protocolによる動的な迂回 ne8000-f2c uSID:6007 mx204 uSID:6001 ncs57c3 uSID:6002 cisco8712 uSID:6003 cisco8011 uSID:6011 fx2 uSID:6010 ptx10002 uSID:6005 SRv6 uSID網 cisco8201-32fh uSID:6004 mx304 uSID:6006 acx7100 uSID:6012 acx7024x uSID:6014 ne8000-f1a uSID:6015 fx2 uSID:6013 eBGP ISIS 出展社 DHCP vrf-global DHCP vrf-private
24. ShowNet2025 SRv6活用のまとめ ➢SRv6 uSID onlyバックボーンはShowNetでは初めて ✓5ベンダ、13機種がuSIDでパケットを転送 (Cilium含む) ✓アンダーレイは引き続きIPv6 Link Local Only ✓L2VPNもEVPN VPLS/VPWS共に問題なく動作 ✓FlexAlgoによるSlicingも有効に動作 ➢Container基盤でもSRv6を有効に活用できた ✓Dynamic Routing protocolによる障害時の自動迂回 ✓Anycast SIDを使ったLoad balanceへの適用の可能性など 24 2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack 2024 SRv6 over NTN 2025 SRv6 for Container
25. アクセスネットワークのL3VPN化 ➢エンタープライズ、キャンパスネットワークではまだまだ VLANが用いられている ✓運用コスト、スケーラビリティが課題 ➢今年のShowNetではEVPN VXLANを用いてフルL3VPN化 すべてL3化することでDynamic Routing Protocolによる経路制御 運用コストやスケーラビリティの課題を解決 L2延伸が必要な際にはEVPN VXLAN Type2にて延伸することも可能
26. EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告 26 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる
27. ShowNet2025のアクセス網構成 ➢EVPN Type5によるEVPN/VXLAN網 ➢アンダーレイはOSPFで冗長化 ➢エンタープライズ向けスイッチを含む3社6機種で相互接続 ➢FWはVXLAN Inspection機能によりEVPN/VXLAN網にOSPFで インライン接続 27 EVPN/VXLAN網 ce5732 catalyst9300 nexus93108tc ex4400 ne8000-f2c mx304 pa7500 srx4700
28. ShowNet2025のアクセス網構成の良かった点 ➢ShowNetでは例年、ホール毎に異なるFWに振り分ける ➢これまではこの振り分けをService chainingで行ったり、 VRFを分けてRoute leakによるRoutingなどで解決してきた 結果、複雑になりがちだった。 2019年:SRv6 Service Chaining 各ホールごとにつけるSIDを変えて制御 2024年:VRF Route Leaking 同じRouterが3回も出てくる構成に 例) Hall6の場合
29. ShowNet2025のアクセス網構成の良かった点 ➢ShowNetでは例年、ホール毎に異なるFWに振り分ける ➢今年はOSPFコストのみで制御することができて 非常にシンプルな構成を構築! 29 EVPN/VXLAN網 ce5732 catalyst9300 nexus93108tc ex4400 ne8000-f2c mx304 pa7500 srx4700 cost 10 cost 10 cost 1000 cost 1000 cost 10
30. 相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマりどころも多い ✓SRv6 EVPN のBGP Updateにはまだ解釈違いが ✓SRv6 EVPNとVXLAN EVPNのUpdateが混ざると… ✓他にも今年もあれこれ色々ありました ➢かなりの苦労を経て今年も動きました ✓SRv6 uSIDバックボーン、EVPN/VXLAN アクセスネットワーク の構成でサービス提供できました
31. Special Thanks 31
32. Interop Tokyo 2025 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種 機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 32