スポーツ・エンタメにおける映像伝送技術の実装と挑戦 〜車載カメラ、5G〜

こちらは、2022年5月27日（金）東京ビッグサイトで開催されたWireless Japanにて使用した登壇資料です。
https://prd.event-lab.jp/wj2022/seminar/program/detail/2927c7113297f70886124d44f4bbb5cf/WJ

※関連リンク
P.31 プレスリリース
https://mixi.co.jp/news/2022/0121/2218/
P.34 デモ映像
https://mixil.mixi.co.jp/product/14561
P.38 関連記事
https://mixil.mixi.co.jp/product/14561
P.38 JANOG50 Meeting
https://www.janog.gr.jp/meeting/janog50/

Transcript

1. スポーツ・エンタメにおける
   映像伝送技術の実装と挑戦
   〜⾞載カメラ、5G〜
   株式会社ミクシィ
   開発本部 吉野 純平
   

   View Slide

2. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   ⾃⼰紹介
   • 吉野 純平（よしの じゅんぺい）
   • 株式会社ミクシィ 開発本部 本部⻑
   • サーバント型の事業⽀援を⾏う組織
   • 2008年新卒
   • インフラ、ネットワークを⻑く担当
   • SNS,モンスターストライク,新規事業を担当してきました。
   2
   

   View Slide

3. スポーツ領域で技術貢献したい
   

   View Slide

4. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   TIPSTARとは
   4
   365⽇配信されるライブ動画と、
   競輪・新KEIRIN PIST6・オートレースのネット投票を、
   基本無料で、友達と⼀緒に楽しむことができるサービスです。
   ※2022年4⽉現在
   

   View Slide

5. TIPSTARと映像技術
   5
   

   View Slide

6. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   映像技術適⽤の背景
   • 365⽇の朝8:30ごろから夜23:30ごろまで
   • 年間20000レース以上に対して独⾃の情報追加の編集を⾏う
   • 周回数の情報
   • スタート、ゴールの表⽰
   • BGM（パターン多数）
   • Sound Effect
   6
   

   View Slide

7. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   データセンターでの映像処理とスタジオ
   • SMPTE2110とWebRTCを活⽤してライブ制作をしています
   • スタジオ設備が最⼩になりました
   • 遠隔からの編集業務ができます
   7
   データセンタ
   場 圧縮伝送
   スタジオで番組合成
   配信
   加⼯済み
   配信
   

   View Slide

8. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   映像伝送/遠隔編集/AI編集
   8
   データセンタ/クラウド 作業場所やスタジオ
   映像加⼯
   サーバ
   モニター画⾯
   加⼯済み映像
   素材映像
   WEBでの
   編集指⽰
   作業者
   スイッチャー
   

   View Slide

9. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
   レース編集はAIによる⾃動運⽤＋⼈⼒監視
   9
   データセンタ/クラウド 作業場所やスタジオ
   映像加⼯
   サーバ
   モニター画⾯
   加⼯済み映像
   素材映像
   WEBでの
   編集指⽰
   作業者
   スイッチャー
   →AI
   

   View Slide

10. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    ライブ放送を⽀える弊社システム
    10
    

    View Slide

11. PIST6での取り組み
    11
    

    View Slide

12. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    演出システム：Uros
    • 場内と配信に使う映像素材を出すUnityアプリを開発
    12
    

    View Slide

13. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    ⾞載カメラ
    • より迫⼒ある映像を届けるため
    • 前⽅向きのカメラをハンドルの下に
    • “PIST6”で動画を検索して実際の映像をご確認ください
    13
    

    View Slide

14. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    現在利⽤の⾞載カメラの概要
    • sXGPとWiFiを同時利⽤
    • 映像伝送にはDejeroという製品を活⽤
    • 端末はJelly2
    14
    ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
    

    View Slide

15. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    特に頑張ったところ：取り付け器具
    • 製造した
    • 多様な⾃転⾞
    • 試験、ヒアリング
    • 強い ⾼さの制約
    15
    

    View Slide

16. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    実装するまでで⾟かったこと
    • スケジュールがタイトすぎた
    • やろうとなったのが2021年4⽉
    • 夏までに試験運⽤しないといけなかった
    • 期待していた⽅式の1つがうまく⾏かなかった
    • ⾞種が多様なのが⼤変
    16
    

    View Slide

17. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    当初スケジュール案
    17
    

    View Slide

18. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    実際の流れ
    18
    現場調査5/17
    伝送試験6/3
    mock3社見積
    別方式 6/29
    試作品で搭載試験 7/20
    試作
    演出合同試験 8/12,28,29
    リハーサル 9/18,19
    バックアッププラン発動
    製造
    

    View Slide

19. 5Gへの挑戦
    19
    

    View Slide

20. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    なぜ？
    • 全カメラの同時配信などサプライズを作りたい
    • 安定性を向上し運⽤を楽にしたい
    • sXGPは気軽だが使える帯域が少ない
    • 5G技術の獲得
    20
    

    View Slide

21. 素早く実装したい
    21
    

    View Slide

22. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    構成要素とどう作ったか
    • アプリ：⾃社
    • 5G対応端末：購⼊ // ⾃社（概要設計）＋製造委託
    • SIM：製造委託
    • IMSI申請：⾃社（ベンダーに⽀援いただいた）
    • 基地局/5GC
    • 免許：⾃社（ベンダーに⽀援いただいた）
    • 構築：ベンダー委託
    • 運⽤：⾃社＋保守契約
    22
    

    View Slide

23. 結論
    ローカル5Gの着⼿は端末からすべきだった
    23
    

    View Slide

24. 適した物がなかった
    24
    2021年10⽉現在
    

    View Slide

25. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    端末は要件に合うものがあるのか？
    • 技適があるか？
    • Bandの対応がしているか？
    • ⽬的のPLMNが設定できるのか？
    • NSA対応なのかSA対応なのか？
    • サイズは？稼働時間は？
    • 調達は可能なのか？
    • ⽤意する基地局との実際の通信性能は？
    25
    

    View Slide

26. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    過去の経験からの開発費⽤ & 製造費⽤
    • 量産はどの規模で⾏うのか？
    • 今回の案件はせいぜい数⼗台だった
    • 過去の経験からフルカスタムは合わない
    • 量産品の組み合わせでなんとか実装したい
    • カスタムパーツは最⼩限に
    26
    

    View Slide

27. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    我々の要件とスマートフォンの違い
    • カメラの向きの⾯の短辺は⼀定以下にしたい（上下⽅向）
    • タイヤ接触リスクのない⾼さ
    • ディスプレイは不要
    • 電源は想定運⽤時間(最低5分、できれば20分)もてば良い
    例：カメラの向きをプリズムで光学的に変えられないか
    27
    市販のスマートフォン
    

    View Slide

28. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    私たちの端末コンセプト
    • 初⼿は技適済みのものを購⼊し組み合わせて使う
    • 時間短縮
    • 需要がとてもあるならカスタムすればいい
    • 研究開発はできるようにする
    • 変化を受け⼊れ、進化を重視する
    • パーツの転⽤、再利⽤を念頭に置きつくる
    • 変化に合わせたカスタマイズを可能にする
    28
    

    View Slide

29. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    おおよそのパーツ構成
    29
    マイコン
    （購⼊）
    5Gモデム
    （購⼊）
    カメラモジュール
    （購⼊）
    電源
    （回路製造）
    筐体（製造）
    

    View Slide

30. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    リチウムイオンキャパシタを活⽤した実装
    リチウムイオン電池と⽐較して以下の特徴があるようです
    • 容量の密度は⼩さい
    • 充電可能回数は多い
    • 内部抵抗が低い
    • ⾼温でも動く
    • 短絡時の熱暴⾛は起きづらい
    30
    

    View Slide

31. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    フェーズ
    • 可搬型カメラ（プレスリリースで既出）
    • 電源はUSBを通して、外部バッテリかACアダプタ
    • 5Gとアプリ部分を運⽤する
    • ⾞載カメラ試作モデル1（2種）
    • 内蔵電源、⼩型検討
    • 実際に⾛れるもの
    • ⾞載カメラ試作モデル2
    • より⼩型化。問題なければそのまま製造。
    31
    ※ミクシィ、ローカル5Gの無線局免許を取得 1⽉22⽇より
    TIPSTAR DOME CHIBAの映像配信にて商⽤利⽤を開始
    https://mixi.co.jp/news/2022/0121/2218/ (2022.1.21発表)
    

    View Slide

32. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    可搬型カメラ
    32
    中⾝は製作中の⾞載カメラにとても近いもの
    

    View Slide

33. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    ⾞載カメラ試作モデル1
    • 前⾯から⾒たサイズを変えないモデル
    • 前後⻑で⼤きく⾒える
    • 反省を⽣かして次世代へ
    • 搭載して撮影実施
    33
    

    View Slide

34. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    デモ映像：低遅延？？？？？
    34
    こちらのURLからご覧いただけます。
    https://mixil.mixi.co.jp/cms/wp-content/uploads/2022/05/pist6.mp4?_=1
    

    View Slide

35. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    チューニングの⽅向性の差
    • 映像の遅延なのか安定なのか
    • 私たちのチューニングは遅延⽅向
    35
    

    View Slide

36. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    映像送信送信アプリと遅延
    • 今回の場合は、アプリの遅延のほうが⽀配的
    • 無線区間の遅延は⽀配的ではない
    • 無線区間のジッターが気になる
    • ジッターを隠蔽するための⼯夫はすなわち遅延なりがち
    36
    カメラ エンコーダ 5Gモデム 基地局 5GC デコーダ 映像機器
    遅延ポイント1 伝送遅延 遅延ポイント2
    

    View Slide

37. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    5Gは夢の世界ではない
    • チューニングするならアプリからやった⽅が効果的
    • 時分割だと送信可能なタイミングは待つ必要があるので低
    遅延も限度がある
    • 他⽅、準同期には期待するところでもある
    • 帯域も特にアップロードはとても⼤きいわけでもない
    • 夢の世界はないが、現実的な事業貢献には使える
    • 少なくとも帯域が広がったのでできることが増えた
    37
    

    View Slide

38. ˜NJYJ *OD"MMSJHIUTSFTFSWFE
    まとめ
    • 弊社の5Gカメラについて共有させていただきました
    • 技術のより詳細な話は7/13(⽔)から開催の『JANOG50
    Meeting(※)
    』で紹介する予定です
    • こちらの記事でも紹介
    https://mixil.mixi.co.jp/product/14561
    • 端末が⼤変
    • 最初にやるべきはここだった
    38
    ※JANOG50 Meeting
    https://www.janog.gr.jp/meeting/janog50/
    

    View Slide