TDD同期におけるpcapを利用したローカル5G分析【MIXI TECH CONFERENCE 2023】

MIXI TECH CONFERENCE 2023
にてお話した市野の資料です。

動画：https://youtu.be/rbkUWFY6wAg
セッション詳細：https://techcon.mixi.co.jp/2023/d2-4

Transcript

1. TDD同期における pcapを利⽤したローカル5G分析 開発本部CTO室 インフラグループ 市野 真⼀ DAY2 14:45 - 15:10【D2-4】
2. 自己紹介 株式会社MIXI 開発本部CTO室インフラグループ 市野 真⼀ / Shinichi Ichino 仕事内容 : 配信・伝送・電波 と ペーパーワーク ⇨ 位置情報・電⼦回路（ハンダ ⇨ 映像伝送・動画配信 ⇨ 電波・無線通信 ※ローカル5G と ⾃社開発カメラ で 無線映像伝送 ← きょうのおはなし 2 ©MIXI
3. ローカル5Gおさらい ~ 無線通信の通信⽅式。TDDとFDD・同期と準同期 ~ 移動局（UE）数でのパケット差分 ~ 1UE と 2UE の到達パケット⽐較 ~ 基地局（RU）の単体・複数での差分 ~ ローカル5Gカメラと⾃転⾞搭載撮影映像 ~ まとめ・これからのMIXIローカル5G ~ 準同期・Rel-16 への期待 ~ Program AGENDA ４ １ ２ ３ ©MIXI
4. ローカル5Gおさらい ~ 無線通信の通信⽅式。TDDとFDD・同期と準同期 ~ 移動局（UE）数でのパケット差分 ~ 1UE と 2UE の到達パケット⽐較 ~ 基地局（RU）の単体・複数での差分 ~ ローカル5Gカメラと⾃転⾞搭載撮影映像 ~ まとめ・これからのMIXIローカル5G ~ 準同期・Rel-16 への期待 ~ Program AGENDA ４ １ ２ ３ ©MIXI
5. 2023年3⽉現在、さまざまな無線通信規格が存在しています 無線映像伝送のあり⽅、各種周波数帯の有益な使い⽅を模索中です ⇨ MIXIでは BLE, sXGP, Wi-Fi のアンライセンスバンド、 ローカル5G のライセンスバンドを利⽤ MIXI社としての取り組み ⇨ 開発本部CTO室では各種映像技術に取り組んでいます IoTで使われる無線通信 佐藤 太⼀「MIXI新映像技術へのチャレンジ」セッション参考 https://techcon.mixi.co.jp/d1-7 5 短距離無線 NFC 無線PAN（Personal Area Network） BLE, Bluetooth, ZigBee 無線LAN（Local Area Network） Wi-Fi 無線MAN（Metropolitan Area Network） Flash-OFDM, iBurst 無線WAN（Wide Area Network） LPWA, 3G, 4G, 5G etc... ※ “無線で映像伝送” ではなく “低遅延でコンパクトに無線映像伝送” をしたかった ©MIXI
6. 無線通信は不安定︕︕。。具体的には、障害物と他の機器との混信・電波⼲渉 障害物に弱い ・ アンテナまでの間で障壁があると通信性能低下 ・ 反射した電波を拾うことがあり 通信性能低下 混信・電波⼲渉 ・ 免許不要の周波数帯は⾃由に利⽤可能 ・ 他のアクセスポイントと共存してしまう ・ 端末から⾒て同周波数が存在すると迷⼦状態 アンライセンスバンドWi-Fiの難点「不安定なRTT」 とある⼀般家庭のWi-Fi環境 200ms毎のping連打の結果 ときおりRTTハネる この感じが嫌ですよね 3000 packets transmitted, 3000 packets received, 0.0% packet loss round-trip min/avg/max/stddev = 4.050/8.457/555.888/15.460 ms ⇨ 映像伝送等の連続したパケット送信に向かない 結果として 画・⾳の ノイズにつながる “フェージング“と⾔います 6 ✓ ✓ ©MIXI
7. 混信を避けパケットロスなく安定したRTTを得られる 安定したパケット到達性 ・混信が無いためRTTが安定 ・端末のバッファ性能にも助けられ パケットロスが⾮常に⾮常にすくない 混信・電波⼲渉 ・⼲渉を避けるため設置前に周辺電波調査が必要 ・混信を避けながら運⽤が可能 ライセンスバンドのローカル5Gは安定したRTT 3000 packets transmitted, 3000 packets received, 0.0% packet loss round-trip min/avg/max/stddev = 15.685/30.086/60.563/7.897 ms 7 とあるローカル5G環境 200ms毎のping連打の結果 ⇨ 映像伝送で利⽤されるUDPパケット送信に有益 （と考えたが、、あまかった・・・） ©MIXI
8. 現無線通信には、2つの通信⽅式が存在します。 ・TDD（Time Division Duplex） ︓時間分割⼆重通信 ・FDD（Frequency Division Duplex）︓周波数分割⼆重通信 上り（UL : アップロード）と下り（DL : ダウンロード）の分割軸をなににするかの違いです どちらも⼀⻑⼀短ではある。※ローカル5Gでは「TDD」が採⽤されています 半⼆重に類似。時間で上り下りを分割して周波数を無駄なく利⽤ ⾼周波数帯利⽤でない場合、超低遅延の実現が難しい 全⼆重に類似。利⽤していないときに無駄となる 上り下りが分割され安定して通信可能だが幅広い周波数帯が必要 無線通信のTDD・FDD TDD 8 TDDとFDDの双⽅向無線通信 イメージ図 基地局（RU） FDD 移動局（UE） ©MIXI
9. TDDは、UL, DL のタイミングには 3パターン存在しています。 キャリア5Gと同じタイミングで DL,UL を⾏う”完全同期”が基本となりますが、 ULタイミングを増やした準同期・⾮同期も存在してます。※MIXIでは 完全同期 のみを確認している 完全同期のスループットは、DL : 400Mbps, UL : 50Mbps ※上記の数字は当社ローカル5G環境での数字です また、⼀番スループットが出るところでの値になります TDD準同期（4.5:5.5）になれば、UL : 200Mbps 程度（推測値 RTT（NW遅延）は、20-30ms前後。現場・環境によって違うかも 電波を反射・吸収する⼈間の体。現場の⼈数によっても変化 ︖ TDDの同期・準同期・非同期 ✓ ✓ ⇨ Sub6 ローカル5Gで 夢のような帯域を確保できるわけではない 9 ※TDD完全同期（UL:DL = 1:4） キャリア5G 完全同期 ⾮同期 準同期 キャリア5G / ローカル5G TDD 同期・⾮同期・準同期 イメージ図 DL : UL : キャリア5Gとローカル5G DL/ULタイミングが定義されている ©MIXI
10. ローカル5G TDD同期のフレーム構成とスロット 10 ・・・ フレーム構成 スロット番号 ・・・ ※映像データを構成するIフレーム・Pフレームはデータ量が⾮常に多いため多くのスロットを必要とする TDD通信⽅式では UL, DL のタイミングが定義されています。 キャリア5G と同じタイミングで UL,DL を⾏う “ローカル5G TDD同期” では、 ⼀般利⽤の需要に合わせて、UpLink より DownLink のフレームが多く割り振られています。 UpLinkは5ms毎に割り当てられているため、⼤量のパケットを低遅延で送ることは困難です。 端末が増えるとULスロットの必要数が多くなり渋滞状態となってしまうため更に困難になります。 ©MIXI
11. ローカル5Gおさらい ~ 無線通信の通信⽅式。TDDとFDD・同期と準同期 ~ 移動局（UE）数でのパケット差分 ~ 1UE と 2UE の到達パケット⽐較 ~ 基地局（RU）の単体・複数での差分 ~ ローカル5Gカメラと⾃転⾞搭載撮影映像 ~ まとめ・これからのMIXIローカル5G ~ 準同期・Rel-16 への期待 ~ Program AGENDA ４ １ ２ ３ ©MIXI
12. 可能な限り低遅延伝送を実現するべくUDPパケットをそのままで送ることを意識 これまでに開発してきたエンコーダ・デコーダの実装は以下のとおり MIXIローカル5G映像伝送ソフトウェア 12 基地局（RU） Linux ⾃社開発カメラ 移動局（UE） Windows udp over tcp pcapの取得はLinuxに入ったタイミングで取得 最終映像出力はwindows 映像出⼒ udp udp Linuxで受けshapingして転送 ローカル5G core（5GC等） ShapingServer Decoder/cplane Encoder ©MIXI ※Shaping = デコード速度に合わせてパケットの平準化 & 再送信
13. 移動局（UE）１台のときのpacp解析 13 ローカル5Gで映像のUDPパケット10Mbps程度のトラヒックを通過させたときの到達パケットを Linuxサーバーでdump取得して、pcapファイルより解析してみました。 最小単位を1000msで可視化すると 一見安定したトラヒックに見えるが レゾリューションを縮めていくと TDD定義とおりである 最小単位10msで、 受信トラフィックのない期間 (>0 バイト) と 受信トラフィックのない期間 (=0 バイト) が 同じ比率と順序で存在 スロットに空きがあることがわかる ©MIXI
14. 移動局（UE）２台のときのpacp解析 14 UE1台のときと同様、UEが2台あると UpLink はどのように割り当てられるのか可視化する 最小単位1000msのグラフに注目すると UE[0], UE[1] ともに周期的にスロットが割り当てられないタイミングがあるよう見受けられます スロットが割り当てられずパケットバッファされ、次スロットまで待ちが発生し一気に送られる様子が見て取れます 1台のときにスロットに余裕があるようには見えたが、空きスロットをうまく使うわけではないことがわかります。 ©MIXI
15. UE複数台のときの課題 15 前⾴、前々⾴の考察から UEが複数台あると UpLink の割当が不安定となることがわかった 以下のグラフは1台のUEの電波受信状況を悪くしたときのパケット到達の状況です UE電波受信レベルなどでスケジューリング周期の崩れが 発⽣した場合は連続してパケットを送ることが難しくなる。 映像伝送を⾏いたい場合、 ネットワーク・システムに⼗分な帯域幅がある場合でも、 TDD同期・スケジューリングオーバーヘッド・サイクル などによって発⽣するバルクフレームによってノイズが発⽣する 映像伝送では到達性の不安定は致命的となるため、 スケジューリングが重要になると考えています ©MIXI UE1 UE2
16. ローカル5Gおさらい ~ 無線通信の通信⽅式。TDDとFDD・同期と準同期 ~ 移動局（UE）数でのパケット差分 ~ 1UE と 2UE の到達パケット⽐較 ~ 基地局（RU）の単体・複数での差分 ~ ローカル5Gカメラと⾃転⾞搭載撮影映像 ~ まとめ・これからのMIXIローカル5G ~ 準同期・Rel-16 への期待 ~ Program AGENDA ４ １ ２ ３ ©MIXI
17. 自転車搭載可能な車載カメラ開発 ⾃作カメラ、1080p/H.264圧縮伝送、ローカル5G伝送遅延350ms カメラ内部基盤 17 RaspberryPi Zero + RaspiCam + 5G dongle + 電⼦配線 スーパーキャパシタ + 中継基板（⾃作回路） 型番 : m5gvc0004-250 5G CAMERA POWER 伝送遅延計測 ©MIXI 吉野 純平「デバイス構築という挑戦」セッション参考 https://techcon.mixi.co.jp/d1-8
18. 実際に撮影した車載カメラ映像 施設内2箇所にRUを設置（⽚⽅だけでも全域カバー可能） 時速60km/hで途切れることなく映像伝送を実現︕。ただし、ハンドオーバー時には映像の乱れを確 認 18 周回途切れなし 2RU（ハンドオーバーあり）構成の映像 HOP地点で映像乱れが発⽣ 1RU（ハンドオーバーなし）構成の映像 撮影場所 TIPSTAR DOME CHIBA 撮影協⼒ ⽇本競輪選⼿会 千葉⽀部、株式会社エキスプレス、株式会社JPF ©MIXI
19. RU1台×UE2台でのpcap解析 19 1RU（ハンドオーバーなし）+ 複数UEではスロット奪い合い UE1 は UE2 と⽐較してよりスパイクしているポイントが少なく安定しているように⾒える ローカル5Gセッションを先に取得した⽅がセッション管理の実装設計上、 より優先的により多くの送信スロットが割当てられているのではないかと考察しています。 ✓ ※ 2台⽬に接続した端末がスパイク しているポイントが多い ©MIXI UE1 UE2
20. RU2台×UE2台でのpcap解析 20 2RU（ハンドオーバーなし）複数端末ではスロット奪い合いつつハンドオーバー時にスパイク いずれも通常時（スパイク未発⽣）は、20 - 30 KBps トラフィックで安定しますが、 端末Bスパイク時は、Aケース スパイク時の4〜５倍のトラフィック集中が認められます ✓ ※ ハンドオーバポイントで スロットがつかめず バッファしたパケットを ⼀⻫送信したポイント ©MIXI UE1 UE2
21. ローカル5Gおさらい ~ 無線通信の通信⽅式。TDDとFDD・同期と準同期 ~ 基地局（RU）の単体・複数での差分 ~ ローカル5Gカメラと⾃転⾞搭載撮影映像 ~ 移動局（UE）数でのパケット差分 ~ 1UE と 2UE の到達パケット⽐較 ~ まとめ・これからのMIXIローカル5G ~ 準同期・Rel-16 への期待 ~ Program AGENDA ４ １ ２ ３ ©MIXI
22. まとめ 22 ✓ UpLinkスロット数の少なさ と 低遅延の限界 UE数の違い、RU数での違いによって、どのようにパケットが流れてくるのかを分析しました。 序章にて触れましたが、我々の取り組んでいる低遅延映像伝送というユースケースでは、 同期TDDフレームではUpLinkの少なさから低遅延で⼤量のパケットを送るという⽬的に対しては スロット不足という点で、まだまだ課題があると感じています。 3GPP Rel-15の課題とRel-16,Rel-17 現在３GPPでは、Rel-16・Rel-17にて、UpLinkスロットを端末に固定するプロトコルなどが定義されており、 スケジューリング視点で、現在の Rel-15 よりは UpLinkユースケースでの改善が期待されます。 ✓ ©MIXI
23. ローカル5Gでの映像伝送開発、5GCの独⾃開発に向けて、 MIXIローカル5Gラボを渋⾕オフィス内に構築（予定）。再度ローカル5G免許申請、、、。ガンバル︕︕ MIXIローカル5Gラボ（予定） 23 Sub6 n79 TDD準同期 ⾃社SW 屋内型RU Internet・Cloud DU WDM・MC ⾃社アプリサーバ ⾃社開発カメラ MIXI Local5GLabo 渋⾕オフィス RHUB CU 5GC WDM・MC 5G SW MIXI Local5G Labo データセンター GM RHUB/DU間はダーク接続中距離伝送 RUはオフィス設置 GPS信号は遠隔地から長距離伝送された信号を利用 RU以外はiDC収容 エンコーダ デコーダ 映像出⼒ ©MIXI
24. 今後実施事項（仮） 準同期 ⇨ アップロードスロットの拡張で上り帯域のスループット向上 ⇨ 3台以上のUE台同時パケット伝送（映像伝送） Rel-16 ⇨ NR Rel-16 では NR Rel-15 よりも短い間隔で送受信することが可能となる ⇨ 遅延の低減が⾒込まれ、パフォーマンス向上に期待 Point 01 Point 02 24 ©MIXI
25. 映像技術の⼀貫として IP以外のやり⽅も含めて様々な視点で 無線映像伝送のあり⽅を模索していきます ローカル5Gの今後の進化にも注⽬しています End Thank you ©MIXI
26. 参考資料 • 産業創出・ソリューション協創に 向けた5G⾼度化技術報告（案） https://www.docomo.ne.jp/binary/pdf/corporate/technology/rd/technical_journal/bn/vol28_3/vol28_3_009jp.pdf • FDDとTDDの違いは︖【4G/LTE】 https://telektlist.com/what-is-fdd-tdd/ • 「ローカル5G」今さら聞けない「準同期」（伊藤忠テクノソリューションズ株式会社） https://www.ctc-g.co.jp/report/column/local-5g/vol07.html • ローカル5G開発実証成果報告書 https://go5g.go.jp/carrier/l5g/ 26 ©MIXI
27. 画像・写真・映像 は 許可を得て使⽤しております。 また、本発表は事業利益を⽬的したものではありません。 本発表で紹介する事柄は、すべてが発表者（市野）本⼈の 発想・成果に基づくものではなく、発表者の組織・同僚及び 関連企業・協⼒会社 により⽀えられたものです。 議論・質疑応答にて、今後の展開・技術観点を議論できれ 幸いですが、発表者により満⾜のいく回答できるものでは ないことを事前にご理解いただければと思います。 Disclaimer １ ２ ３ ©MIXI