Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
Search
ShowNet
PRO
September 30, 2024
Technology
0
940
【shownet.conf_】多様化するネットワーク環境を柔軟に統合するルーティングテクノロジー
ShowNet NOCチームメンバー
鎌田 徹平(シスコシステムズ)
ShowNet
PRO
September 30, 2024
Tweet
Share
More Decks by ShowNet
See All by ShowNet
【shownet.conf_】ShowNet 2024 ~ Inter * Network ~
shownet
PRO
0
1.3k
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
1.1k
【shownet.conf_】コンピューティング資源を統合した分散コンテナ基盤の進化
shownet
PRO
0
1k
【shownet.conf_】ShowNet x 宇宙ネットワーク
shownet
PRO
0
970
【shownet.conf_】3Dアプローチで守るセキュリティ
shownet
PRO
0
930
【shownet.conf_】トポロジ図の歩き方
shownet
PRO
0
1.3k
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
920
【shownet.conf_】ローカル5Gを活用したウォーキングツアーの体感向上
shownet
PRO
0
860
【shownet.conf_】持続可能な次世代Wi-Fi運用に向けて
shownet
PRO
0
880
Other Decks in Technology
See All in Technology
EDRの検知の仕組みと検知回避について
chayakonanaika
12
5.2k
2025/3/1 公共交通オープンデータデイ2025
morohoshi
0
100
わたしがEMとして入社した「最初の100日」の過ごし方 / EMConfJp2025
daiksy
14
5.3k
開発組織を進化させる!AWSで実践するチームトポロジー
iwamot
2
490
E2Eテスト自動化入門
devops_vtj
1
100
MIMEと文字コードの闇
hirachan
2
1.4k
DeepSeekとは?何がいいの? - Databricksと学ぶDeepSeek! 〜これからのLLMに備えよ!〜
taka_aki
1
160
Exadata Database Service on Cloud@Customer セキュリティ、ネットワーク、および管理について
oracle4engineer
PRO
2
1.5k
エンジニア主導の企画立案を可能にする組織とは?
recruitengineers
PRO
1
280
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
3
540
What's new in Go 1.24?
ciarana
1
110
2/18 Making Security Scale: メルカリが考えるセキュリティ戦略 - Coincheck x LayerX x Mercari
jsonf
0
240
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
KATA
mclloyd
29
14k
Navigating Team Friction
lara
183
15k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
29
1k
Site-Speed That Sticks
csswizardry
4
410
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.3k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
4 Signs Your Business is Dying
shpigford
183
22k
Transcript
多様化するネットワーク環境を柔軟に 統合するルーティングテクノロジー shownet.conf_ 2024 Interop Tokyo 2024 ShowNet NOCチームメンバー 鎌田
徹平
None
エクスターナル図 3
4
External 5 対外接続(external)
多様なデモンストレーションを支える!進化したExternal ・複数のトランジット/IXによる 堅牢な対外接続 ・総帯域: 2.0 Tbps ・6波(1.8Tbps)の波長提供 ・Software Definedな対外接続 ✓Peering
Portal + NSOでBGP Peer設定 を自動化 ・テレビ放送局との映像伝送連携 6 External
対外接続回線の提供 External 7 合計: 2.0 Tbps 会社・組織名 サービス名 帯域 NTTコミュニケーションズ
IOWN Open APN 6波 1.80T KDDI KDDIイーサネット専用サービス 100G 100G ソフトバンク 広帯域専用線サービス 100G 100G ※開通順
トランジットの提供 External 8 会社・組織名 サービス名 AS番号 NTTコミュニケーションズ Super OCN Flexible
Connect AS4713 KDDI KDDIインターネットゲートウェイ AS2516 ソフトバンク SmartInternet AS17676 ※開通順
IXポートの提供 External 9 会社・組織名 IX名 JPIX JPIX BBIX BBIX Tokyo
BBIX BBIX Singapore BBIX BBIX Hong Kong インターネットマルチフィード JPNAP WIDE Project DIX-IE ※順不同
クラウドインターコネクトの提供 External 10 会社・組織名 サービス名 NTTコミュニケーションズ Flexible InterConnect
Peering with ShowNet 2024 External 11 • 各接続IXでのピアの申請を専用ポータルサイトで受付 • NSOによりShowNetルータへのBGPピアの設定を自動化
REST API Peering Portal ne8000m4-1.noc cisco8608.noc mx204.noc 期間中に58のAS, 132のPeerよりご接続をいただきました ご協力ありがとうございました nso
DDoS攻撃対策 12 • DDoS攻撃はShowNetでも観測され、対策が必須 • ShowNetでは3台の対外接続ルータ全てで攻撃を検知・遮断す る装置を導入
RPKIによるOrigin Validation 13 RIR (APNIC) NIR (JPNIC) アドレス 保有者 署名
署名 ROA 署名 Trust Anchor • IPアドレス資源 (Resource) の正当な保有者を公開鍵基盤 (PKI) で 証明する仕組み • IPアドレスの保有者がアドレスを広告するOrigin ASを指定できる • Route Origin Authorization(ROA) • 受信したBGP経路がROAに適合するかを検証
14 51.7% 48.2% 0.1% IPv4 valid unknown invalid 62.0% 37.7%
0.3% IPv6 valid unknown invalid • 各トランジットから受けた経路に対しValidationを実施 • 今年はIPv4/IPv6共にValidな経路が50%を上回る結果に ShowNetのRPKIセッションとValidation結果
ShowNet2024 L2/L3解説
L2L3 2024 テーマ 16 多様化するネットワーク環境を柔軟に統合する ルーティングテクノロジー Compressed SIDを用いたSRv6のさらなる活用 SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み
キャンパス・アクセスネットワークにおける Ethernet VPNの活用
17 Compressed SIDを用いた SRv6のさらなる活用 = SRv6 uSID バックボーン キャンパス・ アクセスネットワークにおける
Ethernet VPNの活用 = EVPN Type 5 による L3VPN SRv6による地上ネットワークと衛星回線の シームレスな統合に向けた取り組み = 地上・衛星 2系統での SRv6-VPN
ShowNet Backboneのキーテクノロジー Segment Routing ➢ネットワーク上の要素を”Segment”と表現 ✓例: ノード、隣接関係、BGP Peer、サービス ➢ヘッドエンドのルータでパケットにSegmentのリストを挿入 1.
パケットはリストの最初のSegmentを持つノードへ届く 2. ノードはパケットの宛先をリストの次のSegmentに書き換えて送信 ✓パケットは送信元が指定した箇所を経由しながら転送される(Source Routing) A B C D E Packet List: C,B,D Packet Packet
”Segment”の2つの実現方法 ➢SR-MPLS ✓MPLSラベルをSegmentとして使う ✓既存のMPLS Data Planeハードウェアをそのまま利用できる ✓識別子空間は 20bit ➢SRv6 ✓IPv6アドレスをSegmentとして使う
✓SRv6ノードは新しいIPv6拡張ヘッダ(SRv6ヘッダ)に要対応 ✓識別子空間は 128bit • 128 bitをLocator, Function, Argumentとして利用 Eth MPLS IP Payload Eth SRv6 IP Payload IPv6
ShowNetとSegment Routingの変遷 ➢ShowNetではSegment Routing黎明期から様々な取り組みを 行ってきました ➢Dataplaneを手作りしていた時代からはじめ、去年までの営 みでかなり成熟したことを確認 2018 小島で相互 接続検証
2019 Data Planeで Service Chaining 2020 コロナ禍で 開催中止 2021 SR-MPLSメイン+ SRv6 L3VPN相接 2022 /2023 SRv6 L3VPN Single Stack
2024年のShowNet Backbone 21 EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 fx2
➢今年のBackboneは SRv6 uSIDを用いた Layer-3 VPN ➢ユーザアクセス網は EVPN-VXLAN Type-5 によるLayer-3 VPN MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001 Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 SRv6 uSID L3VPN網
SRv6 Micro SIDの活用 22 MX304 uSID:6007 NE8000m4-2 uSID:6008 MX204 uSID:6001
Cisco8608 uSID:6002 NE8000m4-1 uSID:6003 ACX7348 uSID:6009 FX2 uSID:6010 Cisco8201 uSID:6004 PTX10002 uSID:6005 NCS57b1 uSID:6006 Packet Fcbb:bb00:6001:6005: 6010:e001:: Packet Fcbb:bb00:6005:6010: e001:: Packet Fcbb:bb00:6010:e001:: Packet ➢SRv6 uSIDによるバックボーン ➢uSID block: fcbb:bb00/32 ➢Device Locator: 60XX ➢ 例えばDAが fcbb:bb00:6001:6005:6010:: の場合 ➢ MX204 → PTX10002 → FX2の順に進む ➢ End.udt4/udt6 のSIDでEnd端末でVPNを終端する ➢Full Length SIDも併用 ➢SRv6 over Satellite 実験 ➢EVPN-VPWS等
• Stateful PCE と PCC による SRv6-TE (uSID) の管理・可視化 •
PCEP (Path Computation Element communication Protocol) による SRv6 Policy の発行・管理 • SRv6 Policy を用いた Traffic Engineering (TE) • 2種のPCE、5種のPCC を用いた相互接続検証を実施 PCEP Interop 23 mx304 ne8000m4-2 acx7348 mx204 cisco8608 crosswork-network -controller pola-pce ne8000m4-1 PCEP SRv6 uSID domain Stateful PCE: SRv6 Policy の発行・管理 PCC: SRv6 Policy による Traffic Engineering
PCE (Crosswork Network Controller) 24 SR Policy をリストとして一元管理 SRv6 domain
全体を可視化 & 複数の SRv6 Policy を同時に表示可能 PCE の実体は XRd (ShowNet では RRを兼任) (CLI からも情報取得可能)
PCE(Pola PCE) 25 25 PCE 発の SR Policy を 3
ベンダに展開 PCEP の Interop に成功 PCC に手動設定された SR Policy(衛星経由)も Stateful PCE として一元管理
PCC 26 Cisco IOS-XR: Cisco 8608 Juniper Junos: MX204, MX304,
ACX7348 Huawei VRP: NetEngine 8000 M4
SRv6 (uSID)を使ってよかったこと ➢SRv6にしてよかったことはそのまま継続 ✓アンダーレイが単純化 (IPv6 Link Local Only) ✓BGPによる成熟したソリューション ✓128BitのIPv6アドレスなのでInternet越しの通信も実現可能
➢uSIDを使うことでHW flendlyにTraffic Engineeringを実現 ✓一つのSID (IPv6 Address)で6つのSegmentを表現可能 ➢今後なんとかしたいこと ✓Network Programmabilityの活用 30 interface FourHundredGigE0/0/0/0 description fhg-0-0-0-0.cisco8711.noc mtu 9017 ipv6 enable
アクセスネットワークのL3VPN化 ➢エンタープライズ、キャンパスネットワークではまだまだ VLANが用いられている ✓運用コスト、スケーラビリティが課題 ➢今年のShowNetではEVPN VXLANを用いてフルL3VPN化 すべてL3化することでDynamic Routing Protocolによる経路制御 運用コストやスケーラビリティの課題を解決
L2延伸が必要な際にはEVPN VXLAN Type2にて延伸することも可能
EVPN-VXLANによるLayer-3 VPN ➢VXLAN: EthernetフレームをIP越しに転送するオーバーレイ ➢EVPN: VXLANの転送先を解決するためのBGPの拡張 ✓BGPのL2VPN EVPN SAFIでIP Prefixを広告
32 Layer-3 Network MAC A IP: Y Payload BGPルートリフレクタ MAC A Payload MAC A Payload Host: MAC A データセンターやキャリアでの利用を想定し標準化、実装が進んだ技術 最近はキャンパススイッチでも実装が進んでいる
ShowNetのアクセス網構成 ➢EVPN Type5によるEVPN/VXLAN網 ➢ゲートウェイは別々のIP addressを持ちRouting protocolによ る冗長構成 ➢アンダーレイはOSPFで冗長化 ➢エンタープライズ向けスイッチを含む3社6機種で相互接続 33
EVPN/VXLAN網 Type5によるL3VPN ce5732 catalyst9300 nexus93108tc ex4400 MX304 NE8000m4-2
EVPN/VXLAN Type5の何が良かったか ➢アンダーレイの構成は引き続きL3 ✓MC-LAGや筐体を論理的に統合する機能が不要で冗長を取るのが楽 ✓全体の規模が大きくなっても設定が必要なのはVTEPとBGPのみ ✓Routingで経路制御可能 L3終端しているのでLoopフリー 1台ずつ独立構成 どのRouterを優先するか Routing
Protocolで制御可能
ShowNetならではの接続構成
ShowNetならではの インラインファイアウォール構成 36 Palo Alto Networks PA-5445 Fortinet FortiGate 3201F
Cisco Systems Secure Firewall 4245 Juniper Networks SRX2300 SRv6 Backbone 出展社 ホール2・4 出展社 ホール3 出展社 ホール5 出展社 ホール6
各ホール毎に異なるFWへTrafficを振り分ける ➢今年のShowNetでは4ベンダのインラインFWをコントリビ ューションしていただいており、それぞれのFWにActiveな Trafficを振り分けたい ➢送信元と宛先についてオリジナルのIP addressを判別できる 状態で送って上げる必要がある(つまりSRv6のヘッダなどを つけたくない) 37
今年のInline FW収容構成 ➢出展社収容ルータのMX304とNE8000M4でそれぞれのFWと Local ASを使ってeBGPで接続し、Routingによる制御で振り分 け先のFWを選択できるように 例) Hall6の場合 38 ce5732
AS65200 mx304 AS65200 ne8000 AS65200 vrf-exhib-private-srx vrf-private fg3201f AS65115 srx2300 AS65117 mx304 AS65101 ne8000 AS65101 thunder7440-1 AS65130 mx304 AS290 ne8000 AS290 vrf-global SRv6 thunder7440-2 AS65130
相互接続性のあれこれ ➢マルチベンダでの相互接続にはハマり どころも多い ✓Local AS機能を使ったときのAS pathの取り扱い ✓MEDなどのAttributeの取り扱いにも細かい差分 ✓VXLAN EVPN Type5!
➢かなりの苦労を経て今年も動きました ✓#N-7,8及び各ホールにてEVPN/VXLANで動作中の L3スイッチと出展社収容ルータ、各FWは無事に 稼働中です!
ご協力いただきましたコントリビューター様 40 ありがとうございました インターネットマルチフィード、ソニーネットワークコミュニケーションズ、北海道総合通信網(HOTnet)、WIDEプロジェクト
Interop Tokyo 2024 ShowNet ➢未来のネットワークの1つのカタチ ✓10年先のインターネットをつくる ✓そのモデルを示すデモと検証 ✓相互接続性 • ShowNetは異種ベンダー、異種
機器間の相互接続で成り立つ • オープンな技術の上に成り立つ 組み合わせの自由度 • そしてコミュニティへの還元 41
42