インターネットの最新技術をモバイル網に持ち込んで最強のエッジコンピューティング基盤を作ってみた

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

5G SAサービスが開始されてモバイル端末にも高速低遅延な環境を提供することが可能になりました。その能力をさらに活用するためにエッジコンピューティングが期待されています。AR/VRアプリケーションや通信ゲームなど様々なアプリケーションがモバイル無線ネットワークを通じてどこからでも高速低遅延なサービスを提供可能になります。しかし従来のモバイルのネットワークのアーキテクチャには課題があります。その課題をインターネットの最新技術であるSRv6を活用して解決してみようと思います。

■関連リンク
・5Gの商用ネットワークでSRv6 MUPのフィールドトライアルを開始
https://www.softbank.jp/corp/news/press/sbkk/2023/20230224_01/

・5Gの実力を引き出すカギ。Beyond 5Gを見据えた新技術 「SRv6 MUP」
https://www.softbank.jp/sbnews/entry/20220519_02

■作成者
川上 雄也（かわかみ ゆうや）
ソフトバンク株式会社
テクノロジーユニット コアネットワーク本部
シニアネットワークアーキテクト

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. Copyright © 2023 SoftBank Corp. all rights reserved. インターネットの最新技術を モバイル網に持ち込んで 最強のエッジコンピューティング基盤を 作ってみた 川上 雄也 (@yuyarin) ソフトバンク株式会社　コアネットワーク本部 シニアネットワークアーキテクト 2023/03/16 SoftBank Tech Night Fes 2023
2. Copyright © 2023 SoftBank Corp. all rights reserved. Core/DC Edge Edge エッジコンピューティング クライアントの近くにコンピューティングリソースを配置してデータを処理する 2
3. Copyright © 2023 SoftBank Corp. all rights reserved. エッジコンピューティングの提供場所 プライベート空間 （オンプレミス） パブリック空間 コンピューティング リソースの配置 ユーザ敷地内 ネットワークプロバイダ内 アクセスネットワーク Wi-Fi、ローカル5G パブリック5G テナンシー シングルテナンシー マルチテナンシー 顧客 法人 法人 アプリケーションユーザ 法人 コンシュマー/法人 3
4. Copyright © 2023 SoftBank Corp. all rights reserved. パブリック空間でのユースケース グループコミュニケーション AR/MR/VR クラウドゲーミング コンテンツ配信高速化 4
5. Copyright © 2023 SoftBank Corp. all rights reserved. エッジコンピューティングは本当に必要なの？ イノベーションを起こすアプリケーションの出現 潤沢なコンピューティングリソースの提供 5
6. Copyright © 2023 SoftBank Corp. all rights reserved. めざす世界 5000万 台のクライアントに 500 箇所のエッジサイトから 50 個のエッジアプリケーションを 5 Gネットワークで ※川上個人の野望です 6
7. Copyright © 2023 SoftBank Corp. all rights reserved. 5Gモバイル網の構成 モバイルバックホール アクセス ネットワーク バックボーン アクセス ネットワーク アクセス ネットワーク アクセス ネットワーク インターネット モバイルコア 5G基地局 5G基地局 5G基地局 5G基地局 7
8. Copyright © 2023 SoftBank Corp. all rights reserved. インターネット モバイルバックホール モバイルコア 5Gモバイル網でのエッジコンピューティング トラフィックは中央のモバイルコアを経由するため、インターネット上で コンピューティングリソースを地方に展開しても、遅延は余計に増えるだけになる 8
9. Copyright © 2023 SoftBank Corp. all rights reserved. インターネット モバイルバックホール モバイルコア 5Gモバイル網でのエッジコンピューティング インターネットではなくモバイルネットワークの内部に コンピューティングリソースを配置しなければならない 9
10. Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (PSA) 5Gモバイル網でのエッジコンピューティング モバイルコアの交換機(UPF)に仮想的な通信回線(PDU Session)を確立するため そのままではエッジサーバにはアクセスできない PDU Session UPF (User Plane Function) PDU (Protocol Data Unit) PSA (PDU Session Anchor) 10
11. Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (C-PSA) 5Gモバイル網でのエッジコンピューティング 交換機(UPF)をばらまいて仮想的な通信回線(PDU Session)を分岐させればOK UPF (L-PSA) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (L-PSA) UPF (L-PSA) UPF (L-PSA) ※Session Breakout方式 C-PSA (Central PSA) L-PSA (Local PSA) ULCL (Uplink Classifier) 11
12. Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 本当に？？？ 12
13. Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (C-PSA) 5Gモバイル網でのエッジコンピューティング 本当にやろうとすると結構たくさん課題がある UPF (L-PSA) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (L-PSA) UPF (L-PSA) UPF (L-PSA) 何で分岐させるの？ どうやって選ぶの？ どうやって選ぶの？ サイトが落ちたら どうなるの？ アプリがデプロイ されていなかったら どうなるの？ 誰が制御するの？ 13
14. Copyright © 2023 SoftBank Corp. all rights reserved. 既存のモバイルネットワークにおける制約 アプリケーションのレイヤでのエッジサーバの選択 ネットワークレイヤのレイヤでのエッジサーバへの通信路の構築 端末 アプリ 14 端末とエッジアプリケーションの組み合わせごとに対して 常に「完全に一致」の状態を保たなければならない
15. Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. アプリケーションの IPアドレスに対して 到達性を動的に生成する世界 15
16. Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 負荷は大丈夫？？？ スケールするの？？？ 16
17. Copyright © 2023 SoftBank Corp. all rights reserved. パラダイムシフト これまでの モバイルネットワーク エッジコンピューティングの モバイルネットワーク Topology Point-to-Point (P2P) MultiPoint-to-Point (MP2P) Architecture 回線交換 パケット交換 System 集中管理 自律分散 Method セッション管理 IP経路制御 Beyond 5Gを見据えたエッジコンピューティングの時代には モバイルネットワークのパラダイムシフトが必要 17
18. Copyright © 2023 SoftBank Corp. all rights reserved. どうやって実現する？ 18 モバイルバックホール モバイルコア インターネット MultiPoint-to-Pointのパケット交換で自律分散なIP経路制御な 仮想ネットワークを作ることができる環境がすでに存在している…？
19. Copyright © 2023 SoftBank Corp. all rights reserved. Segment Routing 19 • 送信元がルーティングを制御できる最新のルーティング技術 • 途中のルータで実行して欲しい動作(Segment)をパケットヘッダにつける • データプレーンにはMPLS(SR-MPLS)とIPv6(SRv6)がある Segment Routing Network A B D E G X Y Payload Src=X, Dst=Y Payload SRH(A,B,F,G) Src=X, Dst=Y F C Payload Src=X, Dst=Y
20. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 (Segment Routing over IPv6 dataplane) 20 A B C D E X F 2001:DB8::A 2001:DB8::B 2001:DB8::E 2001:DB8::C 2001:DB8::D Payload SRH(A,B,E,F) Src=X, Dst=F Next Header Hdr Ext Length Routing Type Segment Left = 3 Last Entry Flags Tags Segment List[0] 2001:DB8::F Segment List[1] 2001:DB8::E Segment List[2] 2001:DB8::B Segment List[3] 2001:DB8::A • Segment RoutingのデータプレーンにIPv6を使う • IPv6拡張ヘッダ(Routing Header)を拡張したSRH(Segment Routing Header) でSegmentを表現する
21. Copyright © 2023 SoftBank Corp. all rights reserved. CONFIDENTIAL SRv6 Network Programming • Segmentが提供する機能(Function)を定義する • 実行する機能をIPv6 Addressの中にエンコーディングする 21 A B C D E X F 2001:DB8::A 2001:DB8::B 2001:DB8::E 2001:DB8::C 2001:DB8::D Payload SRH(A,B,E,F) Src=X, Dst=F Next Header Hdr Ext Length Routing Type Segment Left = 3 Last Entry Flags Tags Segment List[0] 2001:DB8::F Segment List[1] 2001:DB8::E Segment List[2] 2001:DB8:0:B:1:1::1 Segment List[3] 2001:DB8::A 2001:DB8:0:B:(Locator) 1:1: →func1 1:2: →func2 Locator Function Argument 128bit IPv6 Address
22. Copyright © 2023 SoftBank Corp. all rights reserved. CONFIDENTIAL Network Programming Function • Segmentとして途中のルータが実行する機能 • 新たに提案・標準化すれば、どんどん機能が増えていく 22 JANOG40 セグメントルーティングチュートリアル資料より
23. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 Mobile User Plane SRv6のネットワークプログラマビリティを活用して モバイルの仮想回線(GTP-U)とバックボーンの仮想NW(SRv6)を相互変換する DN SRv6 VPN MUP GW MUP PE MUP Controller 5GC Direction Action Description Uplink End.M.GTP4.D GTP-UをDecapしてSRv6でEncapする Downlink End.M.GTP4.E SRv6からGTP-Uパケットを再構成する Direction Action Description Uplink End.DT4 SRv6をDecapしてDNに転送する Downlink H.Encaps GTP-Uの情報をSIDに埋め込んでSRv6にEncapする Session情報 BGP BGP GTP-U eth IPv4 UDP GTP-U user’s packet eth IPv6 SRH SID user’s packet user’s packet user’s packet 23
24. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6を活用したモバイル網 モバイルバックホール SRv6 インターネット SRv6MUPを使えばパケット交換のアーキテクチャで モバイルバックホール内を「ルーティング」できる MUP-GW MUP-GW MUP-GW MUP-GW MUP-PE MUP-PE MUP-PE MUP-PE モバイルコア MUP-PE UPF (C-PSA) GTP-UとSRv6の 相互変換 (End.M.GTP4.{E,D}) 端末のモビリティ (BGP UPDATE) 通常のIPルーティングで パケットを転送 SMF 24
25. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPの何がうれしい？ エッジコンピューティングがモバイルコアから完全に切り離される 従来どおりのクラウドネイティブな手法で アプリケーションを開発・デプロイできる モバイルコアに負荷を与えずに エッジサイトのデプロイと運用ができる イノベーションの加速に貢献できる！ アプリケーション コンピューティング 25
26. Copyright © 2023 SoftBank Corp. all rights reserved. 仮想環境に作ってみた 26 端末1 端末2 基地局2 基地局1 クラウド エッジコンピューティング基盤(MEC) モバイルコア SRv6モバイルバックボーン ※2022/07/14 JANOG50 「あつまれSRv6の森」でライブデモを行いました
27. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPがないとき 27 MECはモバイル網内にあるので コアのUPFからは到達できない 端末1 エッジ サーバ
28. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPがあるとき 28 SRv6-VPN 端末1 基地局収容ルータで SRv6に変換して ルーティングを開始する エッジ サーバ エッジサーバ自身がSRv6を 喋るので特別な機器は不要
29. Copyright © 2023 SoftBank Corp. all rights reserved. ソフトバンクのネットワーク CORE Backbone NW Area NW 3G 4G MPLS-VPN ATM SR SRv6-VPN 2018年2月 SR運用開始 2019年4月 SRv6運用開始 2022年2月 SRv6MUP開発成功 2022年4月 SRv6の全国展開完了 Flex-Algo導入開始 5G SA 5G SRv6ネットワークを全国のエリアバックボーンに展開済み 29
30. Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 MUPの商用環境への展開を開始しました 30
31. Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 最新技術を駆使して 産業の発展や課題解決に貢献できるような デジタルプラットフォームの開発に これからも邁進していきます 31
32. Copyright © 2023 SoftBank Corp. all rights reserved. Credit 32 • DeepTech 2022 「著者が語る世界一分かりやすいSRv6 Mobile User-Plane」 ◦ 堀場 勝広さん • JANOG49「SRv6 Mobile User Plane (SRv6 MUP)の検証状況について」 ◦ 妹尾 龍馬さん・渡邊 孝也さん