ソフトバンク株式会社 先端技術研究所 Webとクラウド技術に全振りした 最強のモバイルコア作ってみた 先端NW研究室 堀場 勝広

© 2023 SoftBank Corp. 自己紹介 2 堀場 勝広 / Katsuhiro Horiba (Ph.D) ソフトバンク株式会社 先端技術開発本部 ネットワーク研究室 室長代行 テクニカルマイスター(ネットワークの仮想化・ソフトウェア化技術） 2000-2005 2005-2010 2010-2015 2015-2022 • 大学でインターネット 技術の研究室に所属 • 高品質映像のIP伝送 • IPマルチキャスト放送 • 大学のITシステム運用 • 大学院に進学 • 学術ネットワーク運用 • ネットワーク仮想化 • 学術向けプライベート クラウド開発・運用 • プロジェクト特任助教 • NICTと共同研究 学術ネットワークSDN • SDN/NFVに関する 産学コンソーシアム • ソフトバンク入社 • 商用ネットワークの 設計・開発、SDN化 • 事業開発向けR&D クラウドゲーミング vRAN、SRv6、5GC

© 2023 SoftBank Corp. 本日のアジェンダ 3 モバイルネットワークの大規模障害とその原因 モバイルコアのサーバレス化に向けた取り組み

© 2023 SoftBank Corp. モバイルネットワークの立ち位置 4 • 社会基盤として欠かすことのできないサービス • 緊急電話、電子決済、公共手続き、etc… • 事故が起こると人の生死に関わる • 大量のユーザを常時接続するシステム • 1000万オーダーの端末を収容する巨大なサブスクサービス • 平常時にも大量の制御信号が発生する高負荷なシステム • 障害の影響が大きい • しばしば発生する大規模障害（信号増による輻輳、システムダウン） なぜ障害の影響範囲が大きくなるのかの解明 ならびに スケーラブルでロバストなモバイルシステムが求められる

© 2023 SoftBank Corp. 増加するネットワーク障害 5 年間の障害件数は増加傾向 主な原因はネットワークの故障や輻輳 出典: Mobile Network Failures – Some Causes to Think About https://www.asentria.com/blog/mobile-network-failures-causes/

© 2023 SoftBank Corp. さらに増加するモバイル端末 6 スマホ(Non-IoT)は頭打ち(2019年に100億台程度) 今後の需要は産業(IoT)が牽引(2025年に400億越え)

© 2023 SoftBank Corp. 3GPP 5GS Ref. Architecture[1] 7 • UE(端末)/RAN(基地局)/CN(コアネットワーク) から構成 • CN は NF(Network Function) をマイクロサービスとした分散システム • 5GS の機能を NF に分解し、HTTP で API を公開 • Service Based Architecture(SBA) • UE は必ず1つの AMF 配下 • 基地局-AMF 間(N1/N2)は 常に SCTP 接続を維持 • SMF-UPF 間(N4)は 常に PFCP 接続を維持 [1]. 3GPP, System architecture for the 5G System (5GS). Technical Specification (TS) 23.501 UE: User Equipment RAN: Radio Access Network NF: Network Function CN: Core Network SMF: Session Management Function UPF: User Plane Function SCTP: Stream Control Transmission Protocol PFCP: Packet Forwarding Control Protocol [1]. Fig. 4.2.3-1 より引用・登壇者による加筆

© 2023 SoftBank Corp. NF による CN 機能の分割 8 • プロシージャに対して NF が機能を提供する • 多くのプロシージャは複数の NF で実現される

© 2023 SoftBank Corp. 3GPP CN の Registration プロシージャ 9 UE：CN と 3 往復のメッセージパッシング 各往復がトランザクションと見なせる （失敗したら関連NFもすべてロールバック） 往復(1) 登録要求~認証チャレンジ 往復(2) 認証チャレンジ応答~保護指示 往復(3) 登録要求~登録完了

© 2023 SoftBank Corp. Ref. arch. に基づくプロシージャの実現 10 • 各 NF が1つの UE のコンテキスト（中間データ）を分散保持 • 1つの NF が多数の UE を収容するモデル NF: Network Function UE: User Equipment RAN: Radio Access Network

© 2023 SoftBank Corp. NF の実体（実装） 11 • すでに NF は箱という形をしていないにも関わらず • 一つの NF 巨大な Web サーバのような一枚岩のようなシステム

© 2023 SoftBank Corp. NF 中心アーキテクチャにおける課題 12 ● 1つの NF の責任範囲が広い ∘ ある AMF インスタンスで処理がひっ迫すると配下の全 UE に影響が及ぶ ∘ NF の更新等で大量のコンテキストのマイグレーションなどが発生する ● 各 NF インスタンス上のコンテキストの整合性保持 ∘ 1プロシージャは複数 NF にまたがるトランザクションとみなせる • NF上のコンテキストに複数のプロシージャからアクセスがある • （各 NF 上で排他制御が必要） NF は多数 UE を収容して高負荷 ＆ 複数 NF 間の整合性の維持が必要 機能更新やメンテナンスをしたいが オペレーションしづらいジレンマ

© 2023 SoftBank Corp. 先行研究：Magma[2] 13 ● 過疎地に低コストに接続性を提供する CN ∘ Access Gateway による SCTP 終端・後段は gRPC 接続 • 基地局ごとに設置 UE：CN と 3 往復の メッセージパッシング

© 2023 SoftBank Corp. 先行研究：Magma[2] 14 ● 過疎地に低コストに接続性を提供する CN ∘ Access Gateway による SCTP 終端・後段は gRPC 接続 • 基地局ごとに設置 3GPP N1・N2 I/F AMF/SMF 相当 N1・N2 のみ 3GPP 標準 I/F 準拠 その他は独自 I/F (gRPC) を採用 基地局ごとに AMF/SMF/UPF “相当” がある分散 CN な設計思想 UPF 相当 [2]. Shaddi Hasan and et al. Building flexible, low-cost wireless access networks with magma, 2022. (to appear in USENIX NSDI’23) [2]. Fig.4 より引用 UE：CN と 3 往復の メッセージパッシング

© 2023 SoftBank Corp. Mobile Core Network の位置づけ・整理 15 ● UE・RAN に N1・N2 I/F を公開する制御システム ∘ NF は CN 機能提供に必須ではない（Magma） • Magma AGW: RAN と後段処理を分離 • 同時にマルチベンダ構成の利点も破棄 • AGW が多数 UE を収容する：影響範囲が広い ● 提案: UE ごとに機能提供する CN ∘ 各 CN 機能は UE の状態を保持しない • 状態は外出しする DB に集約

© 2023 SoftBank Corp. NF による CN 機能の分割（従来手法） 16 • 必要なモジュールは NF ソフトウェア

© 2023 SoftBank Corp. プロシージャによる CN 機能分割の提案 17 • 必要なモジュールは各プロシージャを実現するソフトウェア 多数の UE を収容するソ フトウェアが不要 複数NFをまたぐ トランザクションを除去

© 2023 SoftBank Corp. Procedure 型 5GC（Proc5GC[3]） 18 • 5G のプロシージャごとにソフトウェアを実装・提供 • UE のリクエストごとに、ステートレスに、リアクティブにプロセスを起 動・実行・終了 • UE のコンテキストやステートはすべて外部ストレージ（DB; Database) に保存 • UE/RAN 視点：各巨大な NF が1つずつ（仮想的に）存在すると “みなせる” [3]. 渡邊大記 他. “プロシージャ 型処理を用いたステートレスな 5Gコアネットワークの実現”, IEICE NS, 12月, 2022

© 2023 SoftBank Corp. RAN-CN 間の SCTP/N2 終端点の分離 19 • AMF に代わり gNB と SCTP 接続する N1N2 GW を導入 • gNB は SCTP 接続（ステートフル）の維持が必要 • SCTP と N2 の終端点を分離：CN 機能が N1/N2 をステートレス化可能 従来手法：3GPP Ref. Architecture （AMF が SCTP 終端） 提案手法：Proc5GC Architecture （N1N2 GW が SCTP 終端）

© 2023 SoftBank Corp. Proc5GC での Registration Procedure 20 • 完全サーバレスで Lambda のようなものでも CN を作る

© 2023 SoftBank Corp. Proc5GC の特徴・まとめ 21 • 実装粒度をマルチベンダでそろえることが極めて困難 • 1ソフトウェア1メッセージ処理を担う（既存実装に手を加えず新機能実装可） • トランザクション処理にかかわるCN機能プロセスが1つ（オーバーヘッド小） • CN機能：端末 が1：1 の関係（問題発生時の影響範囲小） • DBにステート・コンテキストを追い出してCN機能はステートレス化（疎結合） • AMF が1つと見なせる（AMF切替時の信号のピークが存在しない）

© 2023 SoftBank Corp. Proc5GC の実装 22 • 以下の3ステップにより NF 型 5GC ソフトウェア[4]を改造 • 1: 全 NF 機能をシングルプロセス上で提供する • 2: REST API コールをローカル関数コールに置き換える • 3: 起動時・終了時にコンテキストの復元・退避の処理を実装する [4]. free5GC 3.2.1

© 2023 SoftBank Corp. 基本性能評価 23 • 複数 UE から同時に Registration 発行 • Registration 完了までにかかる総時間・UEあたりの平均時間を計測 UE/RAN には UERANSIM 3.1.0 を使用

© 2023 SoftBank Corp. 評価結果 全 Registration 完了までの総時間 Registration 完了までの UE ごとの平均時間 参考: 15秒以内に Registration 完了できない UE は本来は再送する GW/CN VM 増やしても改善しない → MQ がボトルネック（DB余裕あり） GW/CN VM 増やしても改善率低い → DB にボトルネック CN 機能のインスタンス化のオーバーヘッドは未考慮

© 2023 SoftBank Corp. まとめ 25 • NF 型 5GC には仕様・実装上の課題がある • NF のサービスモデル、NF と UE の 1:N な関係、一部のステートフルな接続 複数の NF からなるトランザクション処理、など • マルチベンダ性に優れる（オペレータにとっての大きな利点） • Proc5GC: ステートレスでメッセージ単位のモノリシックな処理 • 上記課題の解決・緩和（ただしマルチベンダ性や既存運用体系を犠牲にする） • free5GC を改造した PoC による Registration 処理の実装と評価 • 計算資源を増やして並列数を上げれば DB の性能限界までは信号のピークに耐えうる • 今後：Session Management および運用改善効果検証

26 詳細はイベントHP まで https://u.softbank.jp/ats2023 企業/研究者/著名人など 総勢20名強のゲストもご登壇 トークセッション@竹芝＆ Zoom 展示、体験コンテンツ@竹芝 先端技術研究所が取組む 技術エリアのブース展示、体験デモ

No content