多様化するネットワーク環境を柔軟に 統合するルーティングテクノロジー shownet.conf_ 2024 Interop Tokyo 2024 ShowNet NOCチームメンバー 鎌田 徹平

No content

エクスターナル図 3

4

External 5 対外接続（external）

多様なデモンストレーションを支える！進化したExternal ・複数のトランジット/IXによる 堅牢な対外接続 ・総帯域: 2.0 Tbps ・6波(1.8Tbps)の波長提供 ・Software Definedな対外接続 ✓Peering Portal + NSOでBGP Peer設定 を自動化 ・テレビ放送局との映像伝送連携 6 External

対外接続回線の提供 External 7 合計: 2.0 Tbps 会社・組織名 サービス名 帯域 NTTコミュニケーションズ IOWN Open APN 6波 1.80T KDDI KDDIイーサネット専用サービス 100G 100G ソフトバンク 広帯域専用線サービス 100G 100G ※開通順

トランジットの提供 External 8 会社・組織名 サービス名 AS番号 NTTコミュニケーションズ Super OCN Flexible Connect AS4713 KDDI KDDIインターネットゲートウェイ AS2516 ソフトバンク SmartInternet AS17676 ※開通順

IXポートの提供 External 9 会社・組織名 IX名 JPIX JPIX BBIX BBIX Tokyo BBIX BBIX Singapore BBIX BBIX Hong Kong インターネットマルチフィード JPNAP WIDE Project DIX-IE ※順不同

クラウドインターコネクトの提供 External 10 会社・組織名 サービス名 NTTコミュニケーションズ Flexible InterConnect

Peering with ShowNet 2024 External 11 • 各接続IXでのピアの申請を専用ポータルサイトで受付 • NSOによりShowNetルータへのBGPピアの設定を自動化 REST API Peering Portal ne8000m4-1.noc cisco8608.noc mx204.noc 期間中に58のAS, 132のPeerよりご接続をいただきました ご協力ありがとうございました nso

DDoS攻撃対策 12 • DDoS攻撃はShowNetでも観測され、対策が必須 • ShowNetでは3台の対外接続ルータ全てで攻撃を検知・遮断す る装置を導入

RPKIによるOrigin Validation 13 RIR (APNIC) NIR (JPNIC) アドレス 保有者 署名 署名 ROA 署名 Trust Anchor • IPアドレス資源 (Resource) の正当な保有者を公開鍵基盤 (PKI) で 証明する仕組み • IPアドレスの保有者がアドレスを広告するOrigin ASを指定できる • Route Origin Authorization(ROA) • 受信したBGP経路がROAに適合するかを検証

14 51.7% 48.2% 0.1% IPv4 valid unknown invalid 62.0% 37.7% 0.3% IPv6 valid unknown invalid • 各トランジットから受けた経路に対しValidationを実施 • 今年はIPv4/IPv6共にValidな経路が50%を上回る結果に ShowNetのRPKIセッションとValidation結果

ShowNet2024 L2/L3解説

L2L3 2024 テーマ 16 多様化するネットワーク環境を柔軟に統合する ルーティングテクノロジー Compressed SIDを用いたSRv6のさらなる活用 SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み キャンパス・アクセスネットワークにおける Ethernet VPNの活用

17 Compressed SIDを用いた SRv6のさらなる活用 = SRv6 uSID バックボーン キャンパス・ アクセスネットワークにおける Ethernet VPNの活用 = EVPN Type 5 による L3VPN SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み = 地上・衛星 2系統での SRv6-VPN

ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1. パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet

”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う ✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6

ShowNetとSegment Routingの変遷 ➢ShowNetではSegment Routing黎明期から様々な取り組みを 行ってきました ➢Dataplaneを手作りしていた時代からはじめ、去年までの営 みでかなり成熟したことを確認 2018 小島で相互 接続検証 2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack

2024年のShowNet Backbone 21 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2 ➢今年のBackboneは SRv6 uSIDを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網

SRv6 Micro SIDの活用 22 MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 Packet Fcbb:bb00:6001:6005: 6010:e001:: Packet Fcbb:bb00:6005:6010: e001:: Packet Fcbb:bb00:6010:e001:: Packet ➢SRv6 uSIDによるバックボーン ➢uSID block: fcbb:bb00/32 ➢Device Locator: 60XX ➢ 例えばDAが fcbb:bb00:6001:6005:6010:: の場合 ➢ MX204 → PTX10002 → FX2の順に進む ➢ End.udt4/udt6 のSIDでEnd端末でVPNを終端する ➢Full Length SIDも併用 ➢SRv6 over Satellite 実験 ➢EVPN-VPWS等

• Stateful PCE と PCC による SRv6-TE (uSID) の管理・可視化 • PCEP (Path Computation Element communication Protocol) による SRv6 Policy の発行・管理 • SRv6 Policy を用いた Traffic Engineering (TE) • 2種のPCE、5種のPCC を用いた相互接続検証を実施 PCEP Interop 23 mx304 ne8000m4-2 acx7348 mx204 cisco8608 crosswork-network -controller pola-pce ne8000m4-1 PCEP SRv6 uSID domain Stateful PCE: SRv6 Policy の発行・管理 PCC: SRv6 Policy による Traffic Engineering

PCE (Crosswork Network Controller) 24 SR Policy をリストとして一元管理 SRv6 domain 全体を可視化 ＆ 複数の SRv6 Policy を同時に表示可能 PCE の実体は XRd (ShowNet では RRを兼任) （CLI からも情報取得可能）

PCE（Pola PCE） 25 25 PCE 発の SR Policy を 3 ベンダに展開 PCEP の Interop に成功 PCC に手動設定された SR Policy（衛星経由）も Stateful PCE として一元管理

PCC 26 Cisco IOS-XR: Cisco 8608 Juniper Junos: MX204, MX304, ACX7348 Huawei VRP: NetEngine 8000 M4

SRv6 (uSID)を使ってよかったこと ➢SRv6にしてよかったことはそのまま継続 ✓アンダーレイが単純化 （IPv6 Link Local Only） ✓BGPによる成熟したソリューション ✓128BitのIPv6アドレスなのでInternet越しの通信も実現可能 ➢uSIDを使うことでHW flendlyにTraffic Engineeringを実現 ✓一つのSID (IPv6 Address)で6つのSegmentを表現可能 ➢今後なんとかしたいこと ✓Network Programmabilityの活用 30 interface FourHundredGigE0/0/0/0 description fhg-0-0-0-0.cisco8711.noc mtu 9017 ipv6 enable

アクセスネットワークのL3VPN化 ➢エンタープライズ、キャンパスネットワークではまだまだ VLANが用いられている ✓運用コスト、スケーラビリティが課題 ➢今年のShowNetではEVPN VXLANを用いてフルL3VPN化 すべてL3化することでDynamic Routing Protocolによる経路制御 運用コストやスケーラビリティの課題を解決 L2延伸が必要な際にはEVPN VXLAN Type2にて延伸することも可能

EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告 32 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる

ShowNetのアクセス網構成 ➢EVPN Type5によるEVPN/VXLAN網 ➢ゲートウェイは別々のIP addressを持ちRouting protocolによ る冗長構成 ➢アンダーレイはOSPFで冗長化 ➢エンタープライズ向けスイッチを含む3社6機種で相互接続 33 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 MX304 NE8000m4-2

EVPN/VXLAN Type5の何が良かったか ➢アンダーレイの構成は引き続きL3 ✓MC-LAGや筐体を論理的に統合する機能が不要で冗長を取るのが楽 ✓全体の規模が大きくなっても設定が必要なのはVTEPとBGPのみ ✓Routingで経路制御可能 L3終端しているのでLoopフリー 1台ずつ独立構成 どのRouterを優先するか Routing Protocolで制御可能

ShowNetならではの接続構成

ShowNetならではの インラインファイアウォール構成 36 Palo Alto Networks PA-5445 Fortinet FortiGate 3201F Cisco Systems Secure Firewall 4245 Juniper Networks SRX2300 SRv6 Backbone 出展社 ホール2・4 出展社 ホール3 出展社 ホール5 出展社 ホール6

各ホール毎に異なるFWへTrafficを振り分ける ➢今年のShowNetでは4ベンダのインラインFWをコントリビ ューションしていただいており、それぞれのFWにActiveな Trafficを振り分けたい ➢送信元と宛先についてオリジナルのIP addressを判別できる 状態で送って上げる必要がある(つまりSRv6のヘッダなどを つけたくない) 37

今年のInline FW収容構成 ➢出展社収容ルータのMX304とNE8000M4でそれぞれのFWと Local ASを使ってeBGPで接続し、Routingによる制御で振り分 け先のFWを選択できるように 例) Hall6の場合 38 ce5732 AS65200 mx304 AS65200 ne8000 AS65200 vrf-exhib-private-srx vrf-private fg3201f AS65115 srx2300 AS65117 mx304 AS65101 ne8000 AS65101 thunder7440-1 AS65130 mx304 AS290 ne8000 AS290 vrf-global SRv6 thunder7440-2 AS65130

相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマり どころも多い ✓Local AS機能を使ったときのAS pathの取り扱い ✓MEDなどのAttributeの取り扱いにも細かい差分 ✓VXLAN EVPN Type5! ➢かなりの苦労を経て今年も動きました ✓#N-7,8及び各ホールにてEVPN/VXLANで動作中の L3スイッチと出展社収容ルータ、各FWは無事に 稼働中です！

ご協力いただきましたコントリビューター様 40 ありがとうございました インターネットマルチフィード、ソニーネットワークコミュニケーションズ、北海道総合通信網（HOTnet）、WIDEプロジェクト

Interop Tokyo 2024 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種 機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 41

42