【swonet.conf_ 2026】SC1-07_ShowNetバックボーンを支えるテクノロジー

今年のShowNetのバックボーンネットワークは、ShowNet史上で初めて、IPv6のみをアンダーレイとして使用するネットワークとなりました。本セッションでは、IPv6 only underlay上で高機能なバックボーンネットワークを構成する、SRv6 uSIDやEVPN-VXLAN over IPv6といった要素技術と、ShowNetでの活用方法についてご紹介いたします。

SPEAKER
ShowNet NOCチームメンバー
清水 一貴（日本ヒューレット・パッカード）

Transcript

1. ShowNetバックボーンを支える テクノロジー ShowNet NOC Team Member L2/L3担当 清水
2. L2/L3 今年のテーマ AI/ML時代を牽引する超広帯域・ロスレス 次世代マルチテナントバックボーン ShowNet初！ End-to-End IPv4レスアンダーレイへの挑戦 AIワークロードと高品質映像伝送を支える 800Gバックボーン 100GEとIPv6アンダーレイで実現する EVPN-VXLANアクセスネットワーク
3. L2/L3 L2/L3分科会の担当範囲 = ShowNet バックボーン
4. L2/L3 AIワークロードと 高品質映像伝送を支える 800Gバックボーン ShowNet初！ End-to-End IPv4レスアンダーレイへの挑戦 100GEとIPv6アンダーレイ で実現する EVPN-VXLAN アクセスネットワーク
5. L2/L3 2026年のShowNet Backbone mx301 uSID:6001 Backbone SRv6 uSIDのみを用いた Layer-3 VPN 今年は5ベンダ 17機種 ptx10002-60mr uSID:6002 cisco8712 uSID:6003 s9610-36d uSID:6021 fx2 uSID:6020 cisco8711-48x uSID:6018 cisco8711-32fh uSID:6004 ptx10002-36qdd uSID:6005 acx7100 uSID:6019 ユーザアクセスネットワーク IPv6 EVPN-VXLAN Type-5 によるLayer-3 VPN 今年は3ベンダ 7機種 ne8000-f2c uSID:6007 cisco8011 uSID:6017 s9610-36d fsax9004g ce6885 cx8100 nexus93108tc *2pod EVPN-VXLAN網 ne8000-f1a uSID:6015 c8201-32fh uSID:6014 mx304 uSID:6006 acx7024 uSID:6016 SRv6 uSID網 c9300x-48tx fx2 fh10 uSID:6013 s9600-72xc uSID:6012 ex4400 *2pod
6. L2/L3 2026年のShowNet Backbone mx301 uSID:6001 Backbone SRv6 uSIDのみを用いた Layer-3 VPN 今年は5ベンダ 17機種 ptx10002-60mr uSID:6002 cisco8712 uSID:6003 s9610-36d uSID:6021 fx2 uSID:6020 cisco8711-48x uSID:6018 cisco8711-32fh uSID:6004 ptx10002-36qdd uSID:6005 acx7100 uSID:6019 ユーザアクセスネットワーク IPv6 EVPN-VXLAN Type-5 によるLayer-3 VPN 今年は3ベンダ 7機種 ne8000-f2c uSID:6007 cisco8011 uSID:6017 s9610-36d fsax9004g ce6885 cx8100 nexus93108tc *2pod EVPN-VXLAN網 ne8000-f1a uSID:6015 c8201-32fh uSID:6014 mx304 uSID:6006 acx7024 uSID:6016 SRv6 uSID網 c9300x-48tx fx2 fh10 uSID:6013 s9600-72xc uSID:6012 ex4400 *2pod
7. L2/L3 Segment Routing ネットワーク上の要素を”Segment”と表現 例: ノード、隣接関係、BGP Peer、サービス ヘッドエンドのルータでパケットにSegmentのリストを挿入 1. パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) List: C,B,D Packet Packet A B D C E Packet
8. L2/L3 ”Segment”の2つの実現方法 SR-MPLS MPLSラベルをSegmentとして使う 既存のMPLS Data Planeハードウェアをそのまま利用できる 識別子空間は 20bit SRv6 Eth MPLS IP Payload IPv6アドレスをSegmentとして使う SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 • uSIDでは、128bitの中に複数のSIDを格納し、オーバーヘッドを削減 Eth IPv6 SRv6 IP Payload
9. L2/L3 SRv6 uSIDを用いたサービス① Multicast over SRv6 EVPN Multicastの映像トラフィックの SRv6 EVPN VPWSによる転送 EVPN VPWSは今年で二年目 安定した動作を確認 mx301 uSID:6001 ptx10002-60mr uSID:6002 cisco8712 uSID:6003 s9610-36d uSID:6021 fx2 uSID:6020 cisco8711-48x uSID:6018 cisco8711-32fh uSID:6004 ptx10002-36qdd uSID:6005 acx7100 uSID:6019 acx7024 uSID:6016 cisco8011 uSID:6017 ne8000-f1a uSID:6015 c8201-32fh uSID:6014 mx304 uSID:6006 ne8000-f2c uSID:6007 fh10 uSID:6013 s9600-72xc uSID:6012
10. L2/L3 SRv6 uSIDを用いたサービス② SRv6 Kubernetes Network Service  SRv6 uSIDバックボーンとコンテナ基盤が直接接 続  マルチテナントサービス cisco8711-32fh  Isovalent Networking for Kubernetes (Cilium) / Juniper Cloud-Native Router (JCNR)による xrd マルチベンダー構成 BGPでVPN経路  様々な技術で相互接続 を広告  ISIS: FRRouting/JCNR(crpd)  BGP: Cilium/JCNR(crpd)  データプレーン: Cilium/JCNR(vRouter)  コンテナ基盤: OpenShift  DHCP/DNS/Speedtestサービスを展開  VRF ごとにサービスを提供  JCNR: DHCP, DNS Authority  Cilium: DNS cache, Speedtest ptx10002-36qdd ISISでSIDを広告 cilium crpd BGPでVPN経路 を広告 jcnr ucs-c240-m5-1..3
11. L2/L3 SRv6 uSIDを用いたサービス② SRv6 Kubernetes Network Service SRv6 uSIDによるL3VPN構成 コンテナ内までVRFによるマルチテナントサービスを提供 2種類のCNIプラグインによるサービス提供 Juniper Cloud Native Router (JCNR)
12. L2/L3 SRv6 uSIDを用いたサービス③ RoCEv2 over SRv6 GPUサーバ向けRoCEv2トラフィックを SRv6 Backbone上で収容 AI/HPCワークロードを想定し、 SRv6 Backbone上でRDMA通信の 実証実験 今年のShowNetでは首都圏の他拠点と RoCEv2トラフィックを実際に流す 実験を実施 mx301 uSID:6001 ptx10002-60mr uSID:6002 cisco8711-32fh uSID:6004 cisco8712 uSID:6003 ptx10002-36qdd uSID:6005 ne8000-f1a uSID:6015 mx304 uSID:6006 ne8000-f2c uSID:6007 c8201-32fh uSID:6014 GPU Server
13. L2/L3 SRv6 uSIDを用いたサービス③ RoCEv2 over SRv6 他拠点間とのRoCEv2トラフィックの疎通を確認 首都圏、拠点間伝送でも500usec強の遅延 特にチューニングなしで疎通 100GbEで56Gbps程度 首都圏での拠点間伝送 これくらいの遅延だったら大丈夫？
14. L2/L3 SRv6 uSIDを用いたサービス③ RoCEv2 over SRv6 CNPが出ており、今回の環境では輻輳があったことがわかる 通すことはできるが最適設計には様々なチューニングが必要  500usecの遅延をカバーしつつ、BusBWを最大化するための最適なBuffer量は？ CNP キャプチャ SRv6 uSID ECN RoCEv2 over SRv6 キャプチャ (Congestion Experienced) SRv6 uSID RoCEv2 CNP RoCEv2
15. L2/L3 2026年のShowNet Backbone mx301 uSID:6001 Backbone SRv6 uSIDのみを用いた Layer-3 VPN 今年は5ベンダ 17機種 ptx10002-60mr uSID:6002 cisco8712 uSID:6003 s9610-36d uSID:6021 fx2 uSID:6020 cisco8711-48x uSID:6018 cisco8711-32fh uSID:6004 ptx10002-36qdd uSID:6005 acx7100 uSID:6019 ユーザアクセスネットワーク IPv6 EVPN-VXLAN Type-5 によるLayer-3 VPN 今年は3ベンダ 7機種 ne8000-f2c uSID:6007 cisco8011 uSID:6017 s9610-36d fsax9004g ce6885 cx8100 nexus93108tc *2pod EVPN-VXLAN網 ne8000-f1a uSID:6015 c8201-32fh uSID:6014 mx304 uSID:6006 acx7024 uSID:6016 SRv6 uSID網 c9300x-48tx fx2 fh10 uSID:6013 s9600-72xc uSID:6012 ex4400 *2pod
16. L2/L3 ユーザアクセスネットワーク Interop Tokyo出展社向けに有線アクセスを提供するネットワーク 各ホールのPODに設置したスイッチから出展社ブースへ配線 エンタープライズ、キャンパスネットワークを模擬
17. L2/L3 アクセスネットワークのVPN化 エンタープライズ、キャンパスネットワークの主流はいまだVLAN ShowNetにおいても、2022年頃までは基本的にVLANで構成 運用コスト、耐障害性、スケーラビリティが課題 EVPNによるネットワークのVPN化が、エンタープライズでも検討 され始めている 安定性やスケール、拡張機能(e.g. マイクロセグメンテーション) 間の区間をL3にすることで運用性・規模性を確保
18. L2/L3 EVPN Ethernet VPN: L2/L3の到達性情報をBGPで運ぶ仕組み ホストのMACアドレス、MACアドレスに紐付くIPアドレス、そ のホストへの到達に必要な情報(Tunnel Endpoint/VNI/Label/SID) などをBGPで学習するためのコントロールプレーン 一般的にMPLS, VXLAN, SRなどがデータプレーンとして使われる Ethernetの基本であったFlood & LearnによるMAC学習の代わり に、スイッチ同士が経路情報としてMAC情報を広告しあう Ethernet Flood & Learn Host EVPN BGPでMACテーブル情報を交換 Ethernet Flood & Learn Host
19. L2/L3 EVPN導入のモチベーション  オペレーションコスト  アンダーレイの構成がシンプルに ユーザ • トランジット機器はIPルーティングのみ • ネットワーク追加時、ホップバイホップに設定を投入 する必要がない ループ検知、MACアドレ ステーブル、BUM、STP、 etc… ユーザ  耐障害性  L2に起因する障害は波及範囲が広く、様々なテク ニックを駆使して押さえ込む必要がある ホップバイホップに設定 が必要 • L3プロトコルによる予測可能なコンバージェンス  ノードを跨いだLink Aggregationの標準化された実 装 (EVPN Multihoming) VPNの端点のみ設定  スケーラビリティ  広大かつ多ユーザなL2網をVLANのみで拡張してい くのは難しい ユーザ  セキュリティ  L3 VRF(EVPN Type-5 Route)との統合によるL3レベ ルのセグメンテーション  VXLANヘッダーの空き領域を使用したマイクロセ グメンテーション手法(GBPなど) ユーザ 間のリンクはIP onlyかつ シングルスタック
20. L2/L3 ShowNetとEVPN ShowNetでは、EVPNの標準化タイミングのころから継続的に検証、 導入を行ってきた 2014(DC): Multicast VXLANの相互接続検証 2015(DC): EVPN-VXLANの相互接続検証 2016(L2/L3/DC): EVPN-MPLSとEVPN-VXLANのstitching 2017(L2/L3): 出展社収容の一部に初導入(Service function chainingへのトンネル として) 2018(L2/L3): Service function pool間のオーバーレイ接続に使用 2019(DC): EVPN Type-5相互接続検証 2023～: 出展社収容アクセスネットワークでの本格的な利用へ
21. L2/L3 ShowNet 2022のアクセス網構成 VLANによって各出展者のネットワークを構成 ホール毎に2台のスイッチでスタック等を構成 VLAN内のL3ゲートウェイはVRRPで冗長化 VLAN 機器固有の論理合体の機 能が必要 ホール間でVLANを延伸す るのが難しい
22. L2/L3 ShowNet 2023のアクセス網構成 アクセスネットワークの全面的なEVPN化に挑戦 VLAN-Based方式によるEVPN-VXLAN網 ゲートウェイは同じIPアドレスを持ち、VRRPに頼らず冗長化 • EVPN Anycast Gateway アンダーレイはOSPFで冗長化 エンタープライズ向けスイッチを含む3社6機種で相互接続 mx10004 ne8000m4 IPv4 OSPF EVPN-VXLAN Distribution ex4100 s5732h nexus93108tc catalyst9300
23. L2/L3 EVPN-VXLANの何が良かったか アンダーレイの構成がシンプルなL3になった 冗長を取るのが楽 • 必要に応じてホール間のVLANをループフリーで冗長性を持って延伸可能 MC-LAGや筐体を論理的に統合する機能が不要 仮に全体の規模が大きくなっても設定が必要なのはVTEPとBGPのみ 1台ずつ独立構成 L3アンダーレイなのでVLANを どのVTEPにもループフリーで 延伸可能
24. L2/L3 ShowNet 2024のアクセス網構成 アクセスネットワークをL3VPN化 EVPN-VXLAN Type-5によるL3VPN網 各収容スイッチがゲートウェイとしてアドレスを持つ アンダーレイはOSPFで冗長化 エンタープライズ向けスイッチを含む3社6機種で相互接続 mx304 ce5732 catalyst9300 ne8000m4-2 nexus93108tc ex4400 EVPN-VXLAN Type-5によるL3VPN
25. L2/L3 Route Type 名称 EVPN経路タイプ 主に広告するもの 1 Ethernet Auto-Discovery (A-D) Ethernet Segment / EVIへの到達性 マルチホーミング用 2 MAC/IP Advertisement MACアドレス、IPアドレス どのVTEPにどのMAC/IPアドレス (=ホスト)があるか 3 Inclusive Multicast Ethernet Tag (IMET) VTEP/PEのBUM受信参加情報 どのVTEPにどのVLANがあるか 4 Ethernet Segment Ethernet Segment Identifier (ESI) マルチホーミング用 5 IP Prefix IPプレフィックス（経路） どのVTEPにどのIP経路があるか 6 Selective Multicast Ethernet Tag (SMET) Multicast Group / Source情報 7 Multicast Membership Report Synch IGMP/MLD Join情報 8 Multicast Leave Synch IGMP/MLD Leave情報 マルチキャスト用
26. L2/L3 EVPN Type-5: IP Prefix Route EVPNの経路としてIP Prefixを広告する仕組み IP PrefixはRoute Distinguisher(RD)で一意に識別され、Route Target(RT) によっ てVRFにインポートされる (L3VPNと同様) EVPN-VXLANではVRFごとにL3 VNIを割り当て、転送トラフィックを識別 L3のみで使うことも、L2 Overlayと組み合わせて使うこともできる (Interface-less Pure Type-5 / Symmetric IRB with MAC-VRF) Route NH 10.0.1.0/24 IF X Route NH 10.0.1.0/24 IF Y VRF route table VRF A VNI 5000 VRF B VNI 6000 EVPN table Route VNI RT 5:RD-A:10.0.1.0/24 5:RD-B:10.0.1.0/24 5000 6000 a b EVPN BGP route EVPN table VRF A VNI 5000 VRF B VNI 6000 Route VTEP VNI 10.0.1.0/24 ① 5000 Route VTEP VNI 10.0.1.0/24 ① 6000 VRF route table
27. L2/L3 EVPN-VXLAN Type-5の何が良かったか L2オーバレイ構成でよかった点はそのまま継続 出展社ごとの設定は収容スイッチで完結 出展社間でL2接続が必要な際はEVPN-VXLAN Type-2にて延伸 上位ルータにはVRFのみ設定 出展社毎の設定は不要 必要に応じて EVPN-VXLAN Type-2でL2延伸 どのRouterを優先するか Routing Protocolで制御可能 L3終端しているのでLoopフリー
28. L2/L3 ShowNet 2025のアクセス網構成 Firewall装置のVXLAN Inspection対応  引き続きEVPN Type-5によるEVPN-VXLAN網  アンダーレイはOSPFで冗長化  エンタープライズ向けスイッチを含む3社6機種で相互接続  VXLAN Inspection機能により、Firewallをアンダーレイにインライン接続 mx304 ne8000-f2c pa7500 ce5732 srx4700 catalyst9300 nexus93108tc EVPN-VXLAN網 ex4400
29. L2/L3 ShowNet 2026のアクセス網構成 End-to-End IPv4レスアンダーレイ への挑戦  引き続きEVPN-VXLAN Type-5によるLayer-3 VPN  今年はShowNet初のEVPN over IPv6にチャレンジ！  エンタープライズスイッチを含む3社7機種で相互接続  出展社収容SWは100GbE、CGNは400GbEで構築 ne8000-f2c mx304 thunder8665s s9610-36d ce6885 EVPN-VXLAN網 cx8100 fsax9004g nexus93108tc *2pod c9300x-48tx ex4400 *2pod
30. L2/L3 ShowNet2026のアクセス網の良かった点 設定がとてもシンプルに！  UnderlayはOSPFv3によるLink local only構成 IFを繋げば上がるPlug & Play (間違ったIFを繋いでも上がってしまいますが……) ne8000-f2c mx304 thunder8665s S9610-36d ce6885 EVPN-VXLAN網 cx8100 fsax9004g nexus93108tc *2pod c9300x-48tx ex4400 *2pod
31. L2/L3 相互接続性のあれこれ マルチベンダでの相互接続にはハマりどころも多々 VLANの扱い(VLAN-Based / VLAN-Aware Bundle) (2023) 設計思想の違いに起因する経路広告の内容と期待動作 (特にType-2経路にIPアドレスを含めるか) (2023) VXLAN Anycast Gatewayのマルチベンダ動作 (2023) EVPN Type-5経路のBGPアトリビュートのRIB上での取り扱いの違い(2024) SRv6 EVPNとEVPN-VXLANのUpdateが混ざる(2025) Asymmetric VNIの機種毎の対応可否(2026) SRv6 EVPNのBGP経路属性解釈の不一致(2026) etc… かなりの苦労を経て、今年も無事にShowNet backboneが完成しま した。
32. L2/L3 End-to-End IPv4レス アンダーレイ mx301 uSID:6001 BackboneはSRv6 L3VPN ユーザアクセス網は IPv6 EVPN-VXLAN Type-5 L3VPN 合計24機種がIPv6 link local addressのみでIGPを張り、 BGPによるOverlay Network を構築 ptx10002-60mr uSID:6002 cisco8712 uSID:6003 S9610-36d uSID:6021 fx2 uSID:6020 cisco8711-48x uSID:6018 acx7100 uSID:6019 acx7024 uSID:6016 cisco8011 uSID:6017 ce6885 EVPN-VXLAN網 cisco8711-32fh uSID:6004 ptx10002-36qdd uSID:6005 ISIS mx304 uSID:6006 ne8000-f2c uSID:6007 s9610-36d fsax9004g OSPFv3 cx8100 nexus93108tc*2pod c9300x-48tx SRv6 uSID網 ne8000-f1a uSID:6015 c8201-32fh uSID:6014 fx2 fh10 uSID:6013 s9600-72xc uSID:6012 ex4400*2pod
33. L2/L3 Special Thanks