Webとクラウド技術に全振りした最強のモバイルコア作ってみた

2023年3月16日に開催された「SoftBank Tech Night Fes 2023」の講演資料です。

クラウドコンピューティングの普及に伴い、ECサイトなどのWebシステムは非常に大規模な決済処理が安定して提供可能になりました。一方で、モバイルネットワークでもクラウドネイティブ化が進んでいるものの、ここ数年を振り返るとモバイルコアの輻輳に起因する障害は逆に増加しています。このような障害増加の原因を掘り下げていくと、Webシステムが利用しているクラウド技術と、モバイルコアのクラウドネイティブ化は別の技術だと言うことに気付かされます。本セッションでは、堅牢で規模性に富んだモバイルコアの実現に向けて、モバイルコアをWebシステムが利用するクラウド技術に適合させる取り組みについて紹介します。

■関連リンク
・ロバストでスケーラブルなモバイルネットワークの実現に向けて（ソフトバンク先端技術研究所）
https://www.softbank.jp/corp/technology/research/story-event/003/

・なぜ、半導体メーカーとソフトバンクが組んだのか。AI × 5Gで進化したミライを魅せる研究施設「AI-on-5G Lab.」
https://www.softbank.jp/sbnews/entry/20220207_01

■作成者
堀場 勝広（ほりば かつひろ）
ソフトバンク株式会社
先端技術研究所 先端NW研究室
室長代行 / テクニカルマイスター

■SoftBank Tech Nightについて
ソフトバンク株式会社のエンジニア有志が開催するテックイベントです。
各分野のエキスパートが、日頃培った技術や事例、知見について発信しています。
イベントは開催スケジュールはconnpassをご確認ください。
https://sbtechnight.connpass.com/

SoftBank Tech Night Fes 2023公式サイト
https://www.softbank.jp/biz/events/tech-night-fes-2023/

Transcript

1. ソフトバンク株式会社 先端技術研究所 Webとクラウド技術に全振りした 最強のモバイルコア作ってみた 先端NW研究室 堀場 勝広
2. © 2023 SoftBank Corp. 自己紹介 2 堀場 勝広 / Katsuhiro Horiba (Ph.D) ソフトバンク株式会社 先端技術開発本部 ネットワーク研究室 室長代行 テクニカルマイスター(ネットワークの仮想化・ソフトウェア化技術） 2000-2005 2005-2010 2010-2015 2015-2022 • 大学でインターネット 技術の研究室に所属 • 高品質映像のIP伝送 • IPマルチキャスト放送 • 大学のITシステム運用 • 大学院に進学 • 学術ネットワーク運用 • ネットワーク仮想化 • 学術向けプライベート クラウド開発・運用 • プロジェクト特任助教 • NICTと共同研究 学術ネットワークSDN • SDN/NFVに関する 産学コンソーシアム • ソフトバンク入社 • 商用ネットワークの 設計・開発、SDN化 • 事業開発向けR&D クラウドゲーミング vRAN、SRv6、5GC
3. © 2023 SoftBank Corp. 本日のアジェンダ 3 モバイルネットワークの大規模障害とその原因 モバイルコアのサーバレス化に向けた取り組み
4. © 2023 SoftBank Corp. モバイルネットワークの立ち位置 4 • 社会基盤として欠かすことのできないサービス • 緊急電話、電子決済、公共手続き、etc… • 事故が起こると人の生死に関わる • 大量のユーザを常時接続するシステム • 1000万オーダーの端末を収容する巨大なサブスクサービス • 平常時にも大量の制御信号が発生する高負荷なシステム • 障害の影響が大きい • しばしば発生する大規模障害（信号増による輻輳、システムダウン） なぜ障害の影響範囲が大きくなるのかの解明 ならびに スケーラブルでロバストなモバイルシステムが求められる
5. © 2023 SoftBank Corp. 増加するネットワーク障害 5 年間の障害件数は増加傾向 主な原因はネットワークの故障や輻輳 出典: Mobile Network Failures – Some Causes to Think About https://www.asentria.com/blog/mobile-network-failures-causes/
6. © 2023 SoftBank Corp. さらに増加するモバイル端末 6 スマホ(Non-IoT)は頭打ち(2019年に100億台程度) 今後の需要は産業(IoT)が牽引(2025年に400億越え)
7. © 2023 SoftBank Corp. 3GPP 5GS Ref. Architecture[1] 7 • UE(端末)/RAN(基地局)/CN(コアネットワーク) から構成 • CN は NF(Network Function) をマイクロサービスとした分散システム • 5GS の機能を NF に分解し、HTTP で API を公開 • Service Based Architecture(SBA) • UE は必ず1つの AMF 配下 • 基地局-AMF 間(N1/N2)は 常に SCTP 接続を維持 • SMF-UPF 間(N4)は 常に PFCP 接続を維持 [1]. 3GPP, System architecture for the 5G System (5GS). Technical Specification (TS) 23.501 UE: User Equipment RAN: Radio Access Network NF: Network Function CN: Core Network SMF: Session Management Function UPF: User Plane Function SCTP: Stream Control Transmission Protocol PFCP: Packet Forwarding Control Protocol [1]. Fig. 4.2.3-1 より引用・登壇者による加筆
8. © 2023 SoftBank Corp. NF による CN 機能の分割 8 • プロシージャに対して NF が機能を提供する • 多くのプロシージャは複数の NF で実現される
9. © 2023 SoftBank Corp. 3GPP CN の Registration プロシージャ 9 UE：CN と 3 往復のメッセージパッシング 各往復がトランザクションと見なせる （失敗したら関連NFもすべてロールバック） 往復(1) 登録要求~認証チャレンジ 往復(2) 認証チャレンジ応答~保護指示 往復(3) 登録要求~登録完了
10. © 2023 SoftBank Corp. Ref. arch. に基づくプロシージャの実現 10 • 各 NF が1つの UE のコンテキスト（中間データ）を分散保持 • 1つの NF が多数の UE を収容するモデル NF: Network Function UE: User Equipment RAN: Radio Access Network
11. © 2023 SoftBank Corp. NF の実体（実装） 11 • すでに NF は箱という形をしていないにも関わらず • 一つの NF 巨大な Web サーバのような一枚岩のようなシステム
12. © 2023 SoftBank Corp. NF 中心アーキテクチャにおける課題 12 • 1つの NF の責任範囲が広い ∘ ある AMF インスタンスで処理がひっ迫すると配下の全 UE に影響が及ぶ ∘ NF の更新等で大量のコンテキストのマイグレーションなどが発生する • 各 NF インスタンス上のコンテキストの整合性保持 ∘ 1プロシージャは複数 NF にまたがるトランザクションとみなせる • NF上のコンテキストに複数のプロシージャからアクセスがある • （各 NF 上で排他制御が必要） NF は多数 UE を収容して高負荷 ＆ 複数 NF 間の整合性の維持が必要 機能更新やメンテナンスをしたいが オペレーションしづらいジレンマ
13. © 2023 SoftBank Corp. 先行研究：Magma[2] 13 • 過疎地に低コストに接続性を提供する CN ∘ Access Gateway による SCTP 終端・後段は gRPC 接続 • 基地局ごとに設置 UE：CN と 3 往復の メッセージパッシング
14. © 2023 SoftBank Corp. 先行研究：Magma[2] 14 • 過疎地に低コストに接続性を提供する CN ∘ Access Gateway による SCTP 終端・後段は gRPC 接続 • 基地局ごとに設置 3GPP N1・N2 I/F AMF/SMF 相当 N1・N2 のみ 3GPP 標準 I/F 準拠 その他は独自 I/F (gRPC) を採用 基地局ごとに AMF/SMF/UPF “相当” がある分散 CN な設計思想 UPF 相当 [2]. Shaddi Hasan and et al. Building flexible, low-cost wireless access networks with magma, 2022. (to appear in USENIX NSDI’23) [2]. Fig.4 より引用 UE：CN と 3 往復の メッセージパッシング
15. © 2023 SoftBank Corp. Mobile Core Network の位置づけ・整理 15 • UE・RAN に N1・N2 I/F を公開する制御システム ∘ NF は CN 機能提供に必須ではない（Magma） • Magma AGW: RAN と後段処理を分離 • 同時にマルチベンダ構成の利点も破棄 • AGW が多数 UE を収容する：影響範囲が広い • 提案: UE ごとに機能提供する CN ∘ 各 CN 機能は UE の状態を保持しない • 状態は外出しする DB に集約
16. © 2023 SoftBank Corp. NF による CN 機能の分割（従来手法） 16 • 必要なモジュールは NF ソフトウェア
17. © 2023 SoftBank Corp. プロシージャによる CN 機能分割の提案 17 • 必要なモジュールは各プロシージャを実現するソフトウェア 多数の UE を収容するソ フトウェアが不要 複数NFをまたぐ トランザクションを除去
18. © 2023 SoftBank Corp. Procedure 型 5GC（Proc5GC[3]） 18 • 5G のプロシージャごとにソフトウェアを実装・提供 • UE のリクエストごとに、ステートレスに、リアクティブにプロセスを起 動・実行・終了 • UE のコンテキストやステートはすべて外部ストレージ（DB; Database) に保存 • UE/RAN 視点：各巨大な NF が1つずつ（仮想的に）存在すると “みなせる” [3]. 渡邊大記 他. “プロシージャ 型処理を用いたステートレスな 5Gコアネットワークの実現”, IEICE NS, 12月, 2022
19. © 2023 SoftBank Corp. RAN-CN 間の SCTP/N2 終端点の分離 19 • AMF に代わり gNB と SCTP 接続する N1N2 GW を導入 • gNB は SCTP 接続（ステートフル）の維持が必要 • SCTP と N2 の終端点を分離：CN 機能が N1/N2 をステートレス化可能 従来手法：3GPP Ref. Architecture （AMF が SCTP 終端） 提案手法：Proc5GC Architecture （N1N2 GW が SCTP 終端）
20. © 2023 SoftBank Corp. Proc5GC での Registration Procedure 20 • 完全サーバレスで Lambda のようなものでも CN を作る
21. © 2023 SoftBank Corp. Proc5GC の特徴・まとめ 21 • 実装粒度をマルチベンダでそろえることが極めて困難 • 1ソフトウェア1メッセージ処理を担う（既存実装に手を加えず新機能実装可） • トランザクション処理にかかわるCN機能プロセスが1つ（オーバーヘッド小） • CN機能：端末 が1：1 の関係（問題発生時の影響範囲小） • DBにステート・コンテキストを追い出してCN機能はステートレス化（疎結合） • AMF が1つと見なせる（AMF切替時の信号のピークが存在しない）
22. © 2023 SoftBank Corp. Proc5GC の実装 22 • 以下の3ステップにより NF 型 5GC ソフトウェア[4]を改造 • 1: 全 NF 機能をシングルプロセス上で提供する • 2: REST API コールをローカル関数コールに置き換える • 3: 起動時・終了時にコンテキストの復元・退避の処理を実装する [4]. free5GC 3.2.1
23. © 2023 SoftBank Corp. 基本性能評価 23 • 複数 UE から同時に Registration 発行 • Registration 完了までにかかる総時間・UEあたりの平均時間を計測 UE/RAN には UERANSIM 3.1.0 を使用
24. © 2023 SoftBank Corp. 評価結果 全 Registration 完了までの総時間 Registration 完了までの UE ごとの平均時間 参考: 15秒以内に Registration 完了できない UE は本来は再送する GW/CN VM 増やしても改善しない → MQ がボトルネック（DB余裕あり） GW/CN VM 増やしても改善率低い → DB にボトルネック CN 機能のインスタンス化のオーバーヘッドは未考慮
25. © 2023 SoftBank Corp. まとめ 25 • NF 型 5GC には仕様・実装上の課題がある • NF のサービスモデル、NF と UE の 1:N な関係、一部のステートフルな接続 複数の NF からなるトランザクション処理、など • マルチベンダ性に優れる（オペレータにとっての大きな利点） • Proc5GC: ステートレスでメッセージ単位のモノリシックな処理 • 上記課題の解決・緩和（ただしマルチベンダ性や既存運用体系を犠牲にする） • free5GC を改造した PoC による Registration 処理の実装と評価 • 計算資源を増やして並列数を上げれば DB の性能限界までは信号のピークに耐えうる • 今後：Session Management および運用改善効果検証
26. 26 詳細はイベントHP まで https://u.softbank.jp/ats2023 企業/研究者/著名人など 総勢20名強のゲストもご登壇 トークセッション@竹芝＆ Zoom 展示、体験コンテンツ@竹芝 先端技術研究所が取組む 技術エリアのブース展示、体験デモ