Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
Search
ShowNet
PRO
September 30, 2024
Technology
0
280
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
ShowNet NOCチームメンバー
鎌田 徹平(シスコシステムズ)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
380
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
320
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
300
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
300
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
280
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
360
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
270
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
250
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
260
Other Decks in Technology
See All in Technology
Report of JAWS PANKRATION 2024, a global online event using Amazon IVS
yoshimi0227
1
130
スモールスタート、不都合な真実 〜 耳当たりの良い言葉に現場が振り回されないために/20240930-ssmjp-small-start
opelab
12
1.7k
CVE alive
ennael
PRO
0
360
映像・音声伝送システム
jtes
0
200
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
2
810
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
11
2.9k
普通の Web エンジニアのための様相論理入門 #yapcjapan / YAPC Hakodate 2024
ytaka23
2
390
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
5
890
MLOpsの「あるある」課題の解決と、そのためのライブラリgokart
mski_iksm
1
150
kube-vipとkube-proxy置き換えCiliumを積んだ究極のK3sクラスタを建てる
logica0419
4
190
AI時代のアジャイル開発(XP祭り2024版) / Agile Development in the AI Era in XPJUG
takaking22
13
3.4k
GitHub Actions/Docker/Terraform/Renovate で最小限の Monorepo CD パイプラインを作る / Minimalistic Monorepo CD Pipeline with GitHub Actions, Docker, Terraform and Renovate
yuyatakeyama
4
340
Featured
See All Featured
Faster Mobile Websites
deanohume
304
30k
Adopting Sorbet at Scale
ufuk
73
8.9k
How To Stay Up To Date on Web Technology
chriscoyier
786
250k
The Mythical Team-Month
searls
218
43k
The Straight Up "How To Draw Better" Workshop
denniskardys
231
130k
GitHub's CSS Performance
jonrohan
1030
450k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
6
220
What's in a price? How to price your products and services
michaelherold
243
11k
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
Learning to Love Humans: Emotional Interface Design
aarron
271
40k
Become a Pro
speakerdeck
PRO
24
4.9k
Transcript
多様化するネットワーク環境を柔軟に 統合するルーティングテクノロジー shownet.conf_ 2024 Interop Tokyo 2024 ShowNet NOCチームメンバー 鎌田
徹平
None
エクスターナル図 3
4
External 5 対外接続(external)
多様なデモンストレーションを支える!進化したExternal ・複数のトランジット/IXによる 堅牢な対外接続 ・総帯域: 2.0 Tbps ・6波(1.8Tbps)の波長提供 ・Software Definedな対外接続 ✓Peering
Portal + NSOでBGP Peer設定 を自動化 ・テレビ放送局との映像伝送連携 6 External
対外接続回線の提供 External 7 合計: 2.0 Tbps 会社・組織名 サービス名 帯域 NTTコミュニケーションズ
IOWN Open APN 6波 1.80T KDDI KDDIイーサネット専用サービス 100G 100G ソフトバンク 広帯域専用線サービス 100G 100G ※開通順
トランジットの提供 External 8 会社・組織名 サービス名 AS番号 NTTコミュニケーションズ Super OCN Flexible
Connect AS4713 KDDI KDDIインターネットゲートウェイ AS2516 ソフトバンク SmartInternet AS17676 ※開通順
IXポートの提供 External 9 会社・組織名 IX名 JPIX JPIX BBIX BBIX Tokyo
BBIX BBIX Singapore BBIX BBIX Hong Kong インターネットマルチフィード JPNAP WIDE Project DIX-IE ※順不同
クラウドインターコネクトの提供 External 10 会社・組織名 サービス名 NTTコミュニケーションズ Flexible InterConnect
Peering with ShowNet 2024 External 11 • 各接続IXでのピアの申請を専用ポータルサイトで受付 • NSOによりShowNetルータへのBGPピアの設定を自動化
REST API Peering Portal ne8000m4-1.noc cisco8608.noc mx204.noc 期間中に58のAS, 132のPeerよりご接続をいただきました ご協力ありがとうございました nso
DDoS攻撃対策 12 • DDoS攻撃はShowNetでも観測され、対策が必須 • ShowNetでは3台の対外接続ルータ全てで攻撃を検知・遮断す る装置を導入
RPKIによるOrigin Validation 13 RIR (APNIC) NIR (JPNIC) アドレス 保有者 署名
署名 ROA 署名 Trust Anchor • IPアドレス資源 (Resource) の正当な保有者を公開鍵基盤 (PKI) で 証明する仕組み • IPアドレスの保有者がアドレスを広告するOrigin ASを指定できる • Route Origin Authorization(ROA) • 受信したBGP経路がROAに適合するかを検証
14 51.7% 48.2% 0.1% IPv4 valid unknown invalid 62.0% 37.7%
0.3% IPv6 valid unknown invalid • 各トランジットから受けた経路に対しValidationを実施 • 今年はIPv4/IPv6共にValidな経路が50%を上回る結果に ShowNetのRPKIセッションとValidation結果
ShowNet2024 L2/L3解説
L2L3 2024 テーマ 16 多様化するネットワーク環境を柔軟に統合する ルーティングテクノロジー Compressed SIDを用いたSRv6のさらなる活用 SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み
キャンパス・アクセスネットワークにおける Ethernet VPNの活用
17 Compressed SIDを用いた SRv6のさらなる活用 = SRv6 uSID バックボーン キャンパス・ アクセスネットワークにおける
Ethernet VPNの活用 = EVPN Type 5 による L3VPN SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み = 地上・衛星 2系統での SRv6-VPN
ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1.
パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う
✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
ShowNetとSegment Routingの変遷 ➢ShowNetではSegment Routing黎明期から様々な取り組みを 行ってきました ➢Dataplaneを手作りしていた時代からはじめ、去年までの営 みでかなり成熟したことを確認 2018 小島で相互 接続検証
2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack
2024年のShowNet Backbone 21 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2
➢今年のBackboneは SRv6 uSIDを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網
SRv6 Micro SIDの活用 22 MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001
Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 Packet Fcbb:bb00:6001:6005: 6010:e001:: Packet Fcbb:bb00:6005:6010: e001:: Packet Fcbb:bb00:6010:e001:: Packet ➢SRv6 uSIDによるバックボーン ➢uSID block: fcbb:bb00/32 ➢Device Locator: 60XX ➢ 例えばDAが fcbb:bb00:6001:6005:6010:: の場合 ➢ MX204 → PTX10002 → FX2の順に進む ➢ End.udt4/udt6 のSIDでEnd端末でVPNを終端する ➢Full Length SIDも併用 ➢SRv6 over Satellite 実験 ➢EVPN-VPWS等
• Stateful PCE と PCC による SRv6-TE (uSID) の管理・可視化 •
PCEP (Path Computation Element communication Protocol) による SRv6 Policy の発行・管理 • SRv6 Policy を用いた Traffic Engineering (TE) • 2種のPCE、5種のPCC を用いた相互接続検証を実施 PCEP Interop 23 mx304 ne8000m4-2 acx7348 mx204 cisco8608 crosswork-network -controller pola-pce ne8000m4-1 PCEP SRv6 uSID domain Stateful PCE: SRv6 Policy の発行・管理 PCC: SRv6 Policy による Traffic Engineering
PCE (Crosswork Network Controller) 24 SR Policy をリストとして一元管理 SRv6 domain
全体を可視化 & 複数の SRv6 Policy を同時に表示可能 PCE の実体は XRd (ShowNet では RRを兼任) (CLI からも情報取得可能)
PCE(Pola PCE) 25 25 PCE 発の SR Policy を 3
ベンダに展開 PCEP の Interop に成功 PCC に手動設定された SR Policy(衛星経由)も Stateful PCE として一元管理
PCC 26 Cisco IOS-XR: Cisco 8608 Juniper Junos: MX204, MX304,
ACX7348 Huawei VRP: NetEngine 8000 M4
SRv6 (uSID)を使ってよかったこと ➢SRv6にしてよかったことはそのまま継続 ✓アンダーレイが単純化 (IPv6 Link Local Only) ✓BGPによる成熟したソリューション ✓128BitのIPv6アドレスなのでInternet越しの通信も実現可能
➢uSIDを使うことでHW flendlyにTraffic Engineeringを実現 ✓一つのSID (IPv6 Address)で6つのSegmentを表現可能 ➢今後なんとかしたいこと ✓Network Programmabilityの活用 30 interface FourHundredGigE0/0/0/0 description fhg-0-0-0-0.cisco8711.noc mtu 9017 ipv6 enable
アクセスネットワークのL3VPN化 ➢エンタープライズ、キャンパスネットワークではまだまだ VLANが用いられている ✓運用コスト、スケーラビリティが課題 ➢今年のShowNetではEVPN VXLANを用いてフルL3VPN化 すべてL3化することでDynamic Routing Protocolによる経路制御 運用コストやスケーラビリティの課題を解決
L2延伸が必要な際にはEVPN VXLAN Type2にて延伸することも可能
EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告
32 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる
ShowNetのアクセス網構成 ➢EVPN Type5によるEVPN/VXLAN網 ➢ゲートウェイは別々のIP addressを持ちRouting protocolによ る冗長構成 ➢アンダーレイはOSPFで冗長化 ➢エンタープライズ向けスイッチを含む3社6機種で相互接続 33
EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 MX304 NE8000m4-2
EVPN/VXLAN Type5の何が良かったか ➢アンダーレイの構成は引き続きL3 ✓MC-LAGや筐体を論理的に統合する機能が不要で冗長を取るのが楽 ✓全体の規模が大きくなっても設定が必要なのはVTEPとBGPのみ ✓Routingで経路制御可能 L3終端しているのでLoopフリー 1台ずつ独立構成 どのRouterを優先するか Routing
Protocolで制御可能
ShowNetならではの接続構成
ShowNetならではの インラインファイアウォール構成 36 Palo Alto Networks PA-5445 Fortinet FortiGate 3201F
Cisco Systems Secure Firewall 4245 Juniper Networks SRX2300 SRv6 Backbone 出展社 ホール2・4 出展社 ホール3 出展社 ホール5 出展社 ホール6
各ホール毎に異なるFWへTrafficを振り分ける ➢今年のShowNetでは4ベンダのインラインFWをコントリビ ューションしていただいており、それぞれのFWにActiveな Trafficを振り分けたい ➢送信元と宛先についてオリジナルのIP addressを判別できる 状態で送って上げる必要がある(つまりSRv6のヘッダなどを つけたくない) 37
今年のInline FW収容構成 ➢出展社収容ルータのMX304とNE8000M4でそれぞれのFWと Local ASを使ってeBGPで接続し、Routingによる制御で振り分 け先のFWを選択できるように 例) Hall6の場合 38 ce5732
AS65200 mx304 AS65200 ne8000 AS65200 vrf-exhib-private-srx vrf-private fg3201f AS65115 srx2300 AS65117 mx304 AS65101 ne8000 AS65101 thunder7440-1 AS65130 mx304 AS290 ne8000 AS290 vrf-global SRv6 thunder7440-2 AS65130
相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマり どころも多い ✓Local AS機能を使ったときのAS pathの取り扱い ✓MEDなどのAttributeの取り扱いにも細かい差分 ✓VXLAN EVPN Type5!
➢かなりの苦労を経て今年も動きました ✓#N-7,8及び各ホールにてEVPN/VXLANで動作中の L3スイッチと出展社収容ルータ、各FWは無事に 稼働中です!
ご協力いただきましたコントリビューター様 40 ありがとうございました インターネットマルチフィード、ソニーネットワークコミュニケーションズ、北海道総合通信網(HOTnet)、WIDEプロジェクト
Interop Tokyo 2024 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種
機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 41
42