BBSakura Networksでの SRv6 Mobile User Plane(MUP) 関連の取り組みまとめ / Development status of SRv6 MUP at BBSakura Networks

2023/02/16に開催された、BBSakura公開社内勉強会 Vol. 1の発表資料です。

https://bbsakura.connpass.com/event/274051/

Transcript

1. BBSakura Networksでの
   SRv6 Mobile User Plane(MUP)
   関連の取り組みまとめ
   2023/02/16 公開社内勉強会
   @higebu @takemioIO
   

   View Slide

2. 発表者自己紹介
   ● Kusakabe Yuya(@higebu)
   ● 小樽市在住（移住7年目）
   ● 社会人14年目。。。（36歳）
   ● 7, 4, 1歳児の父
   ● 2017年からモバイルコア開発
   ● SRv6 MUPでは主にC-planeを担当
   ● 普段はテックリード兼モバイルコア開
   発運用チームのリーダー
   ● 本日は自宅から発表
   ● Hayasaka Takeru(@takemioIO)
   ● 仙台市出身, 京都市在住
   ● 社会人2年目（24歳）
   ● 前職はゲーム会社、日下部に誘われて
   仕事の中身がSwitchからSwitchにSwitch
   することになりネットワークに関する開発へ
   ● SRv6 MUPでは主にD-planeとAgentを担当
   ● 普段はモバイルコアの実装&設計を担当
   ○ @higebu の手下をやっている
   ● 今日は西新宿のオフィスから発表
   

   View Slide

3. アジェンダ
   ● SRv6 Mobile User Plane(MUP)概要
   ● MUP-GW/PE実装について
   ● 今後の予定
   

   View Slide

4. なぜ SRv6 MUP をやってるのか
   ● 自社開発のモバイルコアを使ったサービスを運用した経験から SRv6 MUP と
   いう技術に対して将来性を感じているから
   ● 親の親会社であるソフトバンク株式会社のプレスリリースにもコメント
   させていただいています
   ○ MECやネットワークスライシングを低コストかつ容易に実現する「SRv6 MUP」の開発に成
   功 | 企業・IR | ソフトバンク
   

   View Slide

5. SRv6 Mobile User Plane(MUP)概要
   

   View Slide

6. SRv6 Mobile User Plane(MUP)概要
   ● モバイルネットワークのUser PlaneをSRv6で置き換える技術
   ● IETFで標準化中
   ○ draft-mhkk-dmm-srv6mup-architecture-04
   ■ 全体的なアーキテクチャについて
   ○ draft-ietf-dmm-srv6-mobile-uplane-24
   ■ パケットフロー、SRv6 Behaviorについて
   ○ draft-mpmz-bess-mup-safi-01
   ■ BGP-MUP SAFIについて
   ○ draft-murakami-dmm-user-plane-message-encoding-05
   ■ U-planeでのGTP-U Message-SRv6変換について
   

   View Slide

7. 3GPP 5G Architecture
   UE gNB
   SMF
   AMF
   UPF DN
   UPF
   N3
   N9 N6
   N4
   N11
   N1
   N2
   ● SMF がセッション毎の GTPv1-U トンネルの管理を N4 で行う
   ● N3、N9 のところにセッション毎の GTPv1-U トンネルが生成される
   ● 実際の環境では全ての Function が複数ある
   ● MEC のような用途では DN も複数あり、標準仕様では UPF でバケツリレー。。。
   UE: User Equipment
   gNB: gNodeB, next generation Node B
   AMF: Access and Mobility Management Function
   SMF: Session Management Function
   UPF: User Plane Function
   DN: Data Network
   

   View Slide

8. SRv6 MUP Architecture
   UE gNB
   SMF
   AMF
   MUP-PE DN
   MUP-GW
   N3
   N6
   N11
   N1
   N2
   ● 5.3. Enhanced mode with unchanged gNB GTP-U behavior のときの構成
   ● N3 は GTPv1-U のまま、N9 が SRv6 になる
   ● 4種類の経路情報を使う（ISD, DSD, ST1, ST2）
   MUP-C: MUP Controller
   MUP-GW: MUP Gateway
   MUP-PE: MUP Provider Edge
   MUP-C
   BGP
   Type 1 ST Route
   Type 2 ST Route
   Interwork Segment Discovery Route
   Direct Segment Discovery Route
   N9
   未定義の
   Northbound API
   

   View Slide

9. Uplink Packet Flow
   MUP-GWの挙動
   ● DSD（Prefix-SID）と ST2（TEID） を元に TEID 毎の SID を生成しておく
   ○ ※DSD と ST2 に含まれる Direct Segment ID で紐付けができる
   ○ UPF アドレスの Prefix と TEID を SR Policy と紐付けておく
   ● gNB から UPF アドレス宛ての GTPv1-U のパケットが来たら H.M.GTP4.D or End.M.GTP6.D (N3 のアドレスによる) を行う
   ○ TEID をキーに SID を参照（SID Bとする）
   ○ IPv4 or IPv6, UDP, GTPv1-U ヘッダの decap
   ○ GTPv1-U ヘッダに含まれる TEID、QFI を SID B にコピー（Args.Mob.Session）
   ○ IPv6 DA、SRH を作り、パケットを転送（IPv6 DA または SID[0] が SID B になる）
   MUP-PEの挙動（End.DT4/6）
   ● IPv6 ヘッダを decap して転送
   H.M.GTP4.D
   End.M.GTP6.D
   End.DT4/6
   DN
   MUP-PE
   MUP-GW
   gNB N3 N6
   

   View Slide

10. Downlink Packet Flow
    DN
    MUP-PE
    MUP-GW
    gNB N3 N6
    End.M.GTP4/6.E H.Encaps
    MUP-PE の挙動
    ● ISD（Prefix-SID）と ST1（TEID/QFI/gNB Address）を元に UE アドレス毎の SID を生成しておく
    ○ ※ISD の Prefix に ST1 の gNB Address が含まれるかどうかで紐付けができる
    ● DN から UE アドレス宛のパケットが来たら、UE アドレスをキーに SR Policy を参照し、 SRv6 で Encap
    MUP-GW の挙動
    ● SID で指定されている End.M.GTP4.E or End.M.GTP6.E を実行
    ● End.M.GTP4.E: IPv6 ヘッダを decap、 IPv6 DA に含まれる IPv4 SA、DA と TEID を元に生成した IP、UDP、
    GTPv1-U ヘッダで encap して転送
    ● End.M.GTP6.E: IPv6 DA に含まれる TEID を元に生成した GTPv1-U ヘッダで encap、 SID[0]（ gNB アドレス）を宛
    先アドレスにして転送
    

    View Slide

11. SRv6 MUPの既存実装
    ● 製品
    ○ Arrcus Networks: Arrcus enables SoftBank Corp. to demonstrate automated 5G
    Network Slicing by Using SRv6 MUP with SRv6 Flex-Algo
    ○ 古河ネットワークソリューション: SRv6 MUP を作った話（公開版）
    ● OSS
    ○ VPP SRv6 Mobile Plugin: VPP(DPDK)によるU-plane実装（ドラフトの著者が開発）
    ○ ebiken/p4srv6: P4によるU-plane実装
    ○ takehaya/Vinbero: XDPによるU-plane実装（発表者の早坂が学生時代に開発）
    

    View Slide

12. ここまでのまとめ
    ● MUP-GW/PEを作るにはC-planeとU-planeを組み合わせる必要がある
    ● しかし、OSSにはU-planeしかなかった
    ● C-planeもMUP-GW/PEも作ればいいじゃない
    野良OSS活動のすすめ by Yoshiyuki Kurauchi | Open Mobile Network Infra Meetup #3
    

    View Slide

13. MUP-GW/PE実装の取り組み
    

    View Slide

14. MUP-GW/PEを作るには？
    ● C/Dのインテグレートをどんな技術でどうやって作るかを考える
    ● OSSのDplaneではVPPを採用
    ○ VPPは機能が豊富で（論文上では）性能が良さそうなのが嬉しい(cf. XDP元論文
    ○ Draftの提案者が自ら書いてて神なのでそれを良くしたい
    ● OSSのCplaneはGoBGPを採用
    ○ 普段の開発でGoは大変慣れ親しんでいるので開発してもメンテしても
    我々のスキルセットとして面倒が見れそう
    ○ GoBGPのメンテナンスが大変しっかりしてて、コードベースが綺麗である点に好感がある
    ● VPPにはGoVPPというAPIを自動生成する機能があり、それを経由すれば
    Goを利用した開発が綺麗にできる。GoBGPで経路を入れれば...
    ● しかしGW/PEの動作を実現するためには後述する取り組みが必要でした...
    

    View Slide

15. VPPで取り組んでいる機能
    ● そもそもSRv6 MUP Uplane Pluginに対してのAPIの口がなかった
    ○ 37628: srv6-mobile: Implement SRv6 mobile API funcs （レビュー中）
    ○ 詳細: VPPにSRv6 MUP Plugin APIを追加している話
    ● PEのDLの際に複数のSrcアドレスを適用したい
    ○ つまりN3の口になってるGWが複数ある場合を想定しており、これによりDLが実装可能に。
    ○ 37863: sr: support define src ipv6 per encap policy （マージ済み）
    ● GWのULでLookupの際にTEIDを見る機能がない
    ○ 現在鋭意実装中。。。（この発表までにパッチにしたかった😇）
    ○ これによりULが実装可能になる
    ● 主に発表者の@takemioIOが実装しています
    

    View Slide

16. GoBGPで取り組んでる機能
    ● 実装済みの機能
    ○ Initial support for BGP-MUP SAFI and Extended Community #2567
    ○ Fixes for BGP-MUP SAFI and support Prefix SID attribute in Interwork/Direct Segment
    Discovery route #2583
    ○ その他 nitsなfixや改善...etc(合計 11個のPRが取り込まれている）
    ● 今後追加したい機能
    ○ VRFにSegment情報を設定したら広報できる機能
    ● 詳細: GoBGPにBGP Extensions for the Mobile User Plane (MUP) SAFIを
    実装した話 | BBSakura Networks Blog
    ● 主に発表者の@higebuが実装しています
    

    View Slide

17. MUP-VPP-Agent
    ● GoBGPとVPPを繋ぐAgentの実装（🚧作業中🚧）
    ● 4つの経路を受け取り、指定された設定に合わせて経路の組み合わせから、
    VPPに対して経路を注入や更新削除などが可能な実装を目指します
    ● 特定の経路の組みとあらかじめ指定したActionを元に動作
    ○ 指定したAction(e.g. H.Encap)の紐付けはどのRT（VRF）に保存されてるかで決定する
    ● ULではST1&DSD Routeの組み
    ○ Direct Segment IDをキーに組みを作る
    ● DLではST2&ISD Routeの組み
    ○ gNB Addressをキーに組みを作る
    

    View Slide

18. その他の取り組み
    ● 複数の実装を通じてSRv6MUPを広めたり利活用を進めたい
    ● FRRouting
    ○ https://github.com/higebu/frr/tree/bgp-mup
    ○ 発表者の日下部が主に取り組んでいる（挫折しそう😇）
    ● ExaBGP
    ○ https://github.com/takehaya/exabgp/tree/feature/support_srv6_mup
    ○ 発表者の早坂が主に取り組んでいる
    

    View Slide

19. 今後の予定
    

    View Slide

20. IETF116 Hackathon
    ● https://wiki.ietf.org/en/meeting/116/hackathon
    ● BGP-MUP SAFI Implementation and Interop
    ● 行くしかない！
    

    View Slide

21. IETF116 Hackathon
    ● “The BGP software would run as a MUP-Controller and/or a
    MUP-PE.”
    ● MUP-CとMUP-PEを作って持って行きたい！
    

    View Slide

22. まとめ
    ● SRv6 MUPを動かすためにOSSに対してコントリビュートしてる
    ● Dplane/Cplaneを合わせてMUP-GW/PEにするAgentを実装している
    ● MUP-CとMUP-PEをIETF116で動作検証したい！そして自慢したい！
    ● We are hiring中です！（最後の発表なので宣伝）
    ○ この発表にワクワクできて、ドラフトやRFC,3GPP等を読み解くのが好きで、Go,C,Python
    などを流暢に読み書きできて、LinuxやSRv6,BGPに詳しく、高速パケット処理系
    や可用性の高いネットワークとコントローラーの実装ができるよ！って方をお待ちしてます！
    ● IETF 116でお会いしましょう！:)
    ○ ちなみに初日(3/25)は@higebuが誕生日
    らしいので会ったら祝ってあげてください👏
    

    View Slide

23. Enabling a Connected
    Future.
    

    View Slide

24. おまけ
    BGP-MUP SAFI
    

    View Slide

25. BGP-MUP SAFI
    ● I-D.draft-mpmz-bess-mup-safi
    ● セッション情報をBGPの経路として配る仕組み
    ● BGP-MUP NLRI
    ○ Architecture Type
    ■ 1: 3gpp-5g
    ○ Route Type
    ■ 1: Interwork Segment Discovery route
    ■ 2: Direct Segment Discovery route
    ■ 3: Type 1 Stream Transformed (ST) route
    ■ 4: Type 2 Stream Transformed (ST) route
    ● BGP MUP Extended Community
    +-----------------------------------+
    | Architecture Type (1 octet) |
    +-----------------------------------+
    | Route Type (2 octets) |
    +-----------------------------------+
    | Length (1 octet) |
    +-----------------------------------+
    | Route Type specific (variable) |
    +-----------------------------------+
    

    View Slide

26. BGP MUP Extended Community
    ● IANA: BGP Transitive Extended Community
    Types
    ○ 0x0c SRv6 MUP Extended Community
    ● Sub-Type
    ○ 0x00 Direct-Type Segment Identifier type
    ● Value
    ○ 6 bytes Direct Segment Identifier
    ● Direct Segment Discovery routeとType 2 ST
    routeで使う
    0 1 2 3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    | 0x0c | 0x00 | Direct Segment Identifier |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    | Direct Segment Identifier (cont.) |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    

    View Slide

27. BGP-MUP SAFI Route Types
    1. Interwork Segment Discovery route (ISD)
    ○ Interwork Segmentを収容するPE(VRF)で生成される
    ○ 3GPP 5GではN3 RANインターフェース
    2. Direct Segment Discovery route (DSD)
    ○ Direct Segmentを収容するPE(VRF)で生成される
    ○ 3GPP 5GではN6 DNインターフェース
    3. Type 1 Session Transformed route (ST1)
    ○ MUP-Cが生成する
    ○ 3GPP 5GではUEアドレス、TEID、QFIなどUplink方向のSIDを生成するための情報を含む
    4. Type 2 Session Transformed route (ST2)
    ○ MUP-Cが生成する
    ○ 3GPP 5GではgNBのN3アドレス、TEIDなどDownlink方向のSIDを生成するための情報を含む
    

    View Slide

28. 1. Interwork Segment Discovery route
    ● RD
    ● Prefix Length
    ○ AFI_IP: 最大32
    ○ AFI_IP6: 最大128
    ● Prefix
    ○ gNodeBのN3アドレス(IPv4 or IPv6)
    ● Route Target Extended Community(MUST)
    ● Next hop(MUST)
    ○ PEのIPv6アドレス
    ● Prefix-SID Attribute(MUST)
    ○ Locator
    ■ PE
    ○ Function
    ■ AFI_IP: End.M.GTP4.E
    ■ AFI_IP6: End.M.GTP6.E
    +-----------------------------------+
    | RD (8 octets) |
    +-----------------------------------+
    | Prefix Length (1 octet) |
    +-----------------------------------+
    | Prefix (variable) |
    +-----------------------------------+
    

    View Slide

29. 2. Direct Segment Discovery route
    ● RD
    ● Address
    ○ Unique PE identifier
    ● Route Target Extended Community(MUST)
    ● MUP Extended community(MUST)
    ○ Direct Segment Identifier
    ● Next hop(MUST)
    ○ PEのIPv6アドレス
    ● Prefix-SID Attribute(MUST)
    ○ Locator
    ■ PE
    ○ Function
    ■ End.DT4/6, End.DX4/6 or End.M.GTP4/6.E
    +-----------------------------------+
    | RD (8 octets) |
    +-----------------------------------+
    | Address (4 or 16 octets) |
    +-----------------------------------+
    

    View Slide

30. 3. Type 1 Session Transformed (ST) route
    ● RD
    ● Prefix Length
    ○ AFI_IP: 最大32
    ○ AFI_IP6: 最大128
    ● Prefix
    ○ UEアドレス
    ● TEID
    ○ gNodeB側のTEID
    ● QFI
    ● Endpoint Address Length
    ○ IPv4: 32
    ○ IPv6: 128
    ● Endpoint Address
    ○ gNodeBのN3アドレス
    ● Route Target Extended Community(SHOULD)
    ● Next hop(MUST)
    ○ MUP-Cのアドレス
    +-----------------------------------+
    | RD (8 octets) |
    +-----------------------------------+
    | Prefix Length (1 octet) |
    +-----------------------------------+
    | Prefix (variable) |
    +-----------------------------------+
    | Architecture specific (variable) |
    +-----------------------------------+
    3gpp-5g Specific BGP Type 1 ST Route
    +-----------------------------------+
    | TEID (4 octets) |
    +-----------------------------------+
    | QFI (1 octet) |
    +-----------------------------------+
    | Endpoint Address Length (1 octet) |
    +-----------------------------------+
    | Endpoint Address (variable) |
    +-----------------------------------+
    

    View Slide

31. 4. Type 2 Session Transformed (ST) route
    ● RD
    ● Endpoint Length
    ● Endpoint Address
    ○ UPFのN3アドレス
    ● TEID
    ○ コア側のTEID
    ● Route Target Extended Community(MUST)
    ● MUP Extended community(MUST)
    ○ Direct Segment Identifier
    ● Next hop(MUST)
    ○ MUP-Cのアドレス
    +-----------------------------------+
    | RD (8 octets) |
    +-----------------------------------+
    | Endpoint Length (1 octet) |
    +-----------------------------------+
    | Endpoint Address (variable) |
    +-----------------------------------+
    | Architecture specific Endpoint |
    | Identifier (variable) |
    +-----------------------------------+
    3gpp-5g Specific BGP Type 2 ST Route
    +-----------------------------------+
    | TEID (0-4 octets) |
    +-----------------------------------+
    

    View Slide