Slide 1

Slide 1 text

Copyright © 2023 SoftBank Corp. all rights reserved. インターネットの最新技術を モバイル網に持ち込んで 最強のエッジコンピューティング基盤を 作ってみた 川上 雄也 (@yuyarin) ソフトバンク株式会社 コアネットワーク本部 シニアネットワークアーキテクト 2023/03/16 SoftBank Tech Night Fes 2023

Slide 2

Slide 2 text

Copyright © 2023 SoftBank Corp. all rights reserved. Core/DC Edge Edge エッジコンピューティング クライアントの近くにコンピューティングリソースを配置してデータを処理する 2

Slide 3

Slide 3 text

Copyright © 2023 SoftBank Corp. all rights reserved. エッジコンピューティングの提供場所 プライベート空間 (オンプレミス) パブリック空間 コンピューティング リソースの配置 ユーザ敷地内 ネットワークプロバイダ内 アクセスネットワーク Wi-Fi、ローカル5G パブリック5G テナンシー シングルテナンシー マルチテナンシー 顧客 法人 法人 アプリケーションユーザ 法人 コンシュマー/法人 3

Slide 4

Slide 4 text

Copyright © 2023 SoftBank Corp. all rights reserved. パブリック空間でのユースケース グループコミュニケーション AR/MR/VR クラウドゲーミング コンテンツ配信高速化 4

Slide 5

Slide 5 text

Copyright © 2023 SoftBank Corp. all rights reserved. エッジコンピューティングは本当に必要なの? イノベーションを起こすアプリケーションの出現 潤沢なコンピューティングリソースの提供 5

Slide 6

Slide 6 text

Copyright © 2023 SoftBank Corp. all rights reserved. めざす世界 5000万 台のクライアントに 500 箇所のエッジサイトから 50 個のエッジアプリケーションを 5 Gネットワークで ※川上個人の野望です 6

Slide 7

Slide 7 text

Copyright © 2023 SoftBank Corp. all rights reserved. 5Gモバイル網の構成 モバイルバックホール アクセス ネットワーク バックボーン アクセス ネットワーク アクセス ネットワーク アクセス ネットワーク インターネット モバイルコア 5G基地局 5G基地局 5G基地局 5G基地局 7

Slide 8

Slide 8 text

Copyright © 2023 SoftBank Corp. all rights reserved. インターネット モバイルバックホール モバイルコア 5Gモバイル網でのエッジコンピューティング トラフィックは中央のモバイルコアを経由するため、インターネット上で コンピューティングリソースを地方に展開しても、遅延は余計に増えるだけになる 8

Slide 9

Slide 9 text

Copyright © 2023 SoftBank Corp. all rights reserved. インターネット モバイルバックホール モバイルコア 5Gモバイル網でのエッジコンピューティング インターネットではなくモバイルネットワークの内部に コンピューティングリソースを配置しなければならない 9

Slide 10

Slide 10 text

Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (PSA) 5Gモバイル網でのエッジコンピューティング モバイルコアの交換機(UPF)に仮想的な通信回線(PDU Session)を確立するため そのままではエッジサーバにはアクセスできない PDU Session UPF (User Plane Function) PDU (Protocol Data Unit) PSA (PDU Session Anchor) 10

Slide 11

Slide 11 text

Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (C-PSA) 5Gモバイル網でのエッジコンピューティング 交換機(UPF)をばらまいて仮想的な通信回線(PDU Session)を分岐させればOK UPF (L-PSA) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (L-PSA) UPF (L-PSA) UPF (L-PSA) ※Session Breakout方式 C-PSA (Central PSA) L-PSA (Local PSA) ULCL (Uplink Classifier) 11

Slide 12

Slide 12 text

Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 本当に??? 12

Slide 13

Slide 13 text

Copyright © 2023 SoftBank Corp. all rights reserved. モバイルバックホール モバイルコア インターネット UPF (C-PSA) 5Gモバイル網でのエッジコンピューティング 本当にやろうとすると結構たくさん課題がある UPF (L-PSA) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (ULCL) UPF (L-PSA) UPF (L-PSA) UPF (L-PSA) 何で分岐させるの? どうやって選ぶの? どうやって選ぶの? サイトが落ちたら どうなるの? アプリがデプロイ されていなかったら どうなるの? 誰が制御するの? 13

Slide 14

Slide 14 text

Copyright © 2023 SoftBank Corp. all rights reserved. 既存のモバイルネットワークにおける制約 アプリケーションのレイヤでのエッジサーバの選択 ネットワークレイヤのレイヤでのエッジサーバへの通信路の構築 端末 アプリ 14 端末とエッジアプリケーションの組み合わせごとに対して 常に「完全に一致」の状態を保たなければならない

Slide 15

Slide 15 text

Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. アプリケーションの IPアドレスに対して 到達性を動的に生成する世界 15

Slide 16

Slide 16 text

Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 負荷は大丈夫??? スケールするの??? 16

Slide 17

Slide 17 text

Copyright © 2023 SoftBank Corp. all rights reserved. パラダイムシフト これまでの モバイルネットワーク エッジコンピューティングの モバイルネットワーク Topology Point-to-Point (P2P) MultiPoint-to-Point (MP2P) Architecture 回線交換 パケット交換 System 集中管理 自律分散 Method セッション管理 IP経路制御 Beyond 5Gを見据えたエッジコンピューティングの時代には モバイルネットワークのパラダイムシフトが必要 17

Slide 18

Slide 18 text

Copyright © 2023 SoftBank Corp. all rights reserved. どうやって実現する? 18 モバイルバックホール モバイルコア インターネット MultiPoint-to-Pointのパケット交換で自律分散なIP経路制御な 仮想ネットワークを作ることができる環境がすでに存在している…?

Slide 19

Slide 19 text

Copyright © 2023 SoftBank Corp. all rights reserved. Segment Routing 19 ● 送信元がルーティングを制御できる最新のルーティング技術 ● 途中のルータで実行して欲しい動作(Segment)をパケットヘッダにつける ● データプレーンにはMPLS(SR-MPLS)とIPv6(SRv6)がある Segment Routing Network A B D E G X Y Payload Src=X, Dst=Y Payload SRH(A,B,F,G) Src=X, Dst=Y F C Payload Src=X, Dst=Y

Slide 20

Slide 20 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 (Segment Routing over IPv6 dataplane) 20 A B C D E X F 2001:DB8::A 2001:DB8::B 2001:DB8::E 2001:DB8::C 2001:DB8::D Payload SRH(A,B,E,F) Src=X, Dst=F Next Header Hdr Ext Length Routing Type Segment Left = 3 Last Entry Flags Tags Segment List[0] 2001:DB8::F Segment List[1] 2001:DB8::E Segment List[2] 2001:DB8::B Segment List[3] 2001:DB8::A ● Segment RoutingのデータプレーンにIPv6を使う ● IPv6拡張ヘッダ(Routing Header)を拡張したSRH(Segment Routing Header) でSegmentを表現する

Slide 21

Slide 21 text

Copyright © 2023 SoftBank Corp. all rights reserved. CONFIDENTIAL SRv6 Network Programming ● Segmentが提供する機能(Function)を定義する ● 実行する機能をIPv6 Addressの中にエンコーディングする 21 A B C D E X F 2001:DB8::A 2001:DB8::B 2001:DB8::E 2001:DB8::C 2001:DB8::D Payload SRH(A,B,E,F) Src=X, Dst=F Next Header Hdr Ext Length Routing Type Segment Left = 3 Last Entry Flags Tags Segment List[0] 2001:DB8::F Segment List[1] 2001:DB8::E Segment List[2] 2001:DB8:0:B:1:1::1 Segment List[3] 2001:DB8::A 2001:DB8:0:B:(Locator) 1:1: →func1 1:2: →func2 Locator Function Argument 128bit IPv6 Address

Slide 22

Slide 22 text

Copyright © 2023 SoftBank Corp. all rights reserved. CONFIDENTIAL Network Programming Function ● Segmentとして途中のルータが実行する機能 ● 新たに提案・標準化すれば、どんどん機能が増えていく 22 JANOG40 セグメントルーティングチュートリアル資料より

Slide 23

Slide 23 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 Mobile User Plane SRv6のネットワークプログラマビリティを活用して モバイルの仮想回線(GTP-U)とバックボーンの仮想NW(SRv6)を相互変換する DN SRv6 VPN MUP GW MUP PE MUP Controller 5GC Direction Action Description Uplink End.M.GTP4.D GTP-UをDecapしてSRv6でEncapする Downlink End.M.GTP4.E SRv6からGTP-Uパケットを再構成する Direction Action Description Uplink End.DT4 SRv6をDecapしてDNに転送する Downlink H.Encaps GTP-Uの情報をSIDに埋め込んでSRv6にEncapする Session情報 BGP BGP GTP-U eth IPv4 UDP GTP-U user’s packet eth IPv6 SRH SID user’s packet user’s packet user’s packet 23

Slide 24

Slide 24 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6を活用したモバイル網 モバイルバックホール SRv6 インターネット SRv6MUPを使えばパケット交換のアーキテクチャで モバイルバックホール内を「ルーティング」できる MUP-GW MUP-GW MUP-GW MUP-GW MUP-PE MUP-PE MUP-PE MUP-PE モバイルコア MUP-PE UPF (C-PSA) GTP-UとSRv6の 相互変換 (End.M.GTP4.{E,D}) 端末のモビリティ (BGP UPDATE) 通常のIPルーティングで パケットを転送 SMF 24

Slide 25

Slide 25 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPの何がうれしい? エッジコンピューティングがモバイルコアから完全に切り離される 従来どおりのクラウドネイティブな手法で アプリケーションを開発・デプロイできる モバイルコアに負荷を与えずに エッジサイトのデプロイと運用ができる イノベーションの加速に貢献できる! アプリケーション コンピューティング 25

Slide 26

Slide 26 text

Copyright © 2023 SoftBank Corp. all rights reserved. 仮想環境に作ってみた 26 端末1 端末2 基地局2 基地局1 クラウド エッジコンピューティング基盤(MEC) モバイルコア SRv6モバイルバックボーン ※2022/07/14 JANOG50 「あつまれSRv6の森」でライブデモを行いました

Slide 27

Slide 27 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPがないとき 27 MECはモバイル網内にあるので コアのUPFからは到達できない 端末1 エッジ サーバ

Slide 28

Slide 28 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6MUPがあるとき 28 SRv6-VPN 端末1 基地局収容ルータで SRv6に変換して ルーティングを開始する エッジ サーバ エッジサーバ自身がSRv6を 喋るので特別な機器は不要

Slide 29

Slide 29 text

Copyright © 2023 SoftBank Corp. all rights reserved. ソフトバンクのネットワーク CORE Backbone NW Area NW 3G 4G MPLS-VPN ATM SR SRv6-VPN 2018年2月 SR運用開始 2019年4月 SRv6運用開始 2022年2月 SRv6MUP開発成功 2022年4月 SRv6の全国展開完了 Flex-Algo導入開始 5G SA 5G SRv6ネットワークを全国のエリアバックボーンに展開済み 29

Slide 30

Slide 30 text

Copyright © 2023 SoftBank Corp. all rights reserved. SRv6 MUPの商用環境への展開を開始しました 30

Slide 31

Slide 31 text

Copyright © 2023 SoftBank Corp. all rights reserved. Copyright © 2022 SoftBank Corp. all rights reserved. 最新技術を駆使して 産業の発展や課題解決に貢献できるような デジタルプラットフォームの開発に これからも邁進していきます 31

Slide 32

Slide 32 text

Copyright © 2023 SoftBank Corp. all rights reserved. Credit 32 ● DeepTech 2022 「著者が語る世界一分かりやすいSRv6 Mobile User-Plane」 ○ 堀場 勝広さん ● JANOG49「SRv6 Mobile User Plane (SRv6 MUP)の検証状況について」 ○ 妹尾 龍馬さん・渡邊 孝也さん