Upgrade to Pro — share decks privately, control downloads, hide ads and more …

スポーツ・エンタメにおける映像伝送技術の実装と挑戦 〜車載カメラ、5G〜

スポーツ・エンタメにおける映像伝送技術の実装と挑戦 〜車載カメラ、5G〜

こちらは、2022年5月27日(金)東京ビッグサイトで開催されたWireless Japanにて使用した登壇資料です。
https://prd.event-lab.jp/wj2022/seminar/program/detail/2927c7113297f70886124d44f4bbb5cf/WJ

※関連リンク
P.31 プレスリリース
https://mixi.co.jp/news/2022/0121/2218/
P.34 デモ映像
https://mixil.mixi.co.jp/product/14561
P.38 関連記事
https://mixil.mixi.co.jp/product/14561
P.38 JANOG50 Meeting
https://www.janog.gr.jp/meeting/janog50/

B16717ef4b7aab0b253d933c3934f280?s=128

mixi_engineers
PRO

May 27, 2022
Tweet

More Decks by mixi_engineers

Other Decks in Technology

Transcript

  1. スポーツ・エンタメにおける 映像伝送技術の実装と挑戦 〜⾞載カメラ、5G〜 株式会社ミクシィ 開発本部 吉野 純平

  2. ˜NJYJ *OD"MMSJHIUTSFTFSWFE ⾃⼰紹介 • 吉野 純平(よしの じゅんぺい) • 株式会社ミクシィ 開発本部

    本部⻑ • サーバント型の事業⽀援を⾏う組織 • 2008年新卒 • インフラ、ネットワークを⻑く担当 • SNS,モンスターストライク,新規事業を担当してきました。 2
  3. スポーツ領域で技術貢献したい

  4. ˜NJYJ *OD"MMSJHIUTSFTFSWFE TIPSTARとは 4 365⽇配信されるライブ動画と、 競輪・新KEIRIN PIST6・オートレースのネット投票を、 基本無料で、友達と⼀緒に楽しむことができるサービスです。 ※2022年4⽉現在

  5. TIPSTARと映像技術 5

  6. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 映像技術適⽤の背景 • 365⽇の朝8:30ごろから夜23:30ごろまで • 年間20000レース以上に対して独⾃の情報追加の編集を⾏う • 周回数の情報 •

    スタート、ゴールの表⽰ • BGM(パターン多数) • Sound Effect 6
  7. ˜NJYJ *OD"MMSJHIUTSFTFSWFE データセンターでの映像処理とスタジオ • SMPTE2110とWebRTCを活⽤してライブ制作をしています • スタジオ設備が最⼩になりました • 遠隔からの編集業務ができます 7

    データセンタ 場 圧縮伝送 スタジオで番組合成 配信 加⼯済み 配信
  8. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 映像伝送/遠隔編集/AI編集 8 データセンタ/クラウド 作業場所やスタジオ 映像加⼯ サーバ モニター画⾯ 加⼯済み映像

    素材映像 WEBでの 編集指⽰ 作業者 スイッチャー
  9. ˜NJYJ *OD"MMSJHIUTSFTFSWFE レース編集はAIによる⾃動運⽤+⼈⼒監視 9 データセンタ/クラウド 作業場所やスタジオ 映像加⼯ サーバ モニター画⾯ 加⼯済み映像

    素材映像 WEBでの 編集指⽰ 作業者 スイッチャー →AI
  10. ˜NJYJ *OD"MMSJHIUTSFTFSWFE ライブ放送を⽀える弊社システム 10

  11. PIST6での取り組み 11

  12. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 演出システム:Uros • 場内と配信に使う映像素材を出すUnityアプリを開発 12

  13. ˜NJYJ *OD"MMSJHIUTSFTFSWFE ⾞載カメラ • より迫⼒ある映像を届けるため • 前⽅向きのカメラをハンドルの下に • “PIST6”で動画を検索して実際の映像をご確認ください 13

  14. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 現在利⽤の⾞載カメラの概要 • sXGPとWiFiを同時利⽤ • 映像伝送にはDejeroという製品を活⽤ • 端末はJelly2 14

    ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
  15. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 特に頑張ったところ:取り付け器具 • 製造した • 多様な⾃転⾞ • 試験、ヒアリング •

    強い ⾼さの制約 15
  16. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 実装するまでで⾟かったこと • スケジュールがタイトすぎた • やろうとなったのが2021年4⽉ • 夏までに試験運⽤しないといけなかった •

    期待していた⽅式の1つがうまく⾏かなかった • ⾞種が多様なのが⼤変 16
  17. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 当初スケジュール案 17

  18. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 実際の流れ 18 現場調査5/17 伝送試験6/3 mock3社見積 別方式 6/29 試作品で搭載試験

    7/20 試作 演出合同試験 8/12,28,29 リハーサル 9/18,19 バックアッププラン発動 製造
  19. 5Gへの挑戦 19

  20. ˜NJYJ *OD"MMSJHIUTSFTFSWFE なぜ? • 全カメラの同時配信などサプライズを作りたい • 安定性を向上し運⽤を楽にしたい • sXGPは気軽だが使える帯域が少ない •

    5G技術の獲得 20
  21. 素早く実装したい 21

  22. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 構成要素とどう作ったか • アプリ:⾃社 • 5G対応端末:購⼊ // ⾃社(概要設計)+製造委託 •

    SIM:製造委託 • IMSI申請:⾃社(ベンダーに⽀援いただいた) • 基地局/5GC • 免許:⾃社(ベンダーに⽀援いただいた) • 構築:ベンダー委託 • 運⽤:⾃社+保守契約 22
  23. 結論 ローカル5Gの着⼿は端末からすべきだった 23

  24. 適した物がなかった 24 2021年10⽉現在

  25. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 端末は要件に合うものがあるのか? • 技適があるか? • Bandの対応がしているか? • ⽬的のPLMNが設定できるのか? •

    NSA対応なのかSA対応なのか? • サイズは?稼働時間は? • 調達は可能なのか? • ⽤意する基地局との実際の通信性能は? 25
  26. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 過去の経験からの開発費⽤ & 製造費⽤ • 量産はどの規模で⾏うのか? • 今回の案件はせいぜい数⼗台だった •

    過去の経験からフルカスタムは合わない • 量産品の組み合わせでなんとか実装したい • カスタムパーツは最⼩限に 26
  27. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 我々の要件とスマートフォンの違い • カメラの向きの⾯の短辺は⼀定以下にしたい(上下⽅向) • タイヤ接触リスクのない⾼さ • ディスプレイは不要 •

    電源は想定運⽤時間(最低5分、できれば20分)もてば良い 例:カメラの向きをプリズムで光学的に変えられないか 27 市販のスマートフォン
  28. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 私たちの端末コンセプト • 初⼿は技適済みのものを購⼊し組み合わせて使う • 時間短縮 • 需要がとてもあるならカスタムすればいい •

    研究開発はできるようにする • 変化を受け⼊れ、進化を重視する • パーツの転⽤、再利⽤を念頭に置きつくる • 変化に合わせたカスタマイズを可能にする 28
  29. ˜NJYJ *OD"MMSJHIUTSFTFSWFE おおよそのパーツ構成 29 マイコン (購⼊) 5Gモデム (購⼊) カメラモジュール (購⼊)

    電源 (回路製造) 筐体(製造)
  30. ˜NJYJ *OD"MMSJHIUTSFTFSWFE リチウムイオンキャパシタを活⽤した実装 リチウムイオン電池と⽐較して以下の特徴があるようです • 容量の密度は⼩さい • 充電可能回数は多い • 内部抵抗が低い

    • ⾼温でも動く • 短絡時の熱暴⾛は起きづらい 30
  31. ˜NJYJ *OD"MMSJHIUTSFTFSWFE フェーズ • 可搬型カメラ(プレスリリースで既出) • 電源はUSBを通して、外部バッテリかACアダプタ • 5Gとアプリ部分を運⽤する •

    ⾞載カメラ試作モデル1(2種) • 内蔵電源、⼩型検討 • 実際に⾛れるもの • ⾞載カメラ試作モデル2 • より⼩型化。問題なければそのまま製造。 31 ※ミクシィ、ローカル5Gの無線局免許を取得 1⽉22⽇より TIPSTAR DOME CHIBAの映像配信にて商⽤利⽤を開始 https://mixi.co.jp/news/2022/0121/2218/ (2022.1.21発表)
  32. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 可搬型カメラ 32 中⾝は製作中の⾞載カメラにとても近いもの

  33. ˜NJYJ *OD"MMSJHIUTSFTFSWFE ⾞載カメラ試作モデル1 • 前⾯から⾒たサイズを変えないモデル • 前後⻑で⼤きく⾒える • 反省を⽣かして次世代へ •

    搭載して撮影実施 33
  34. ˜NJYJ *OD"MMSJHIUTSFTFSWFE デモ映像:低遅延????? 34 こちらのURLからご覧いただけます。 https://mixil.mixi.co.jp/cms/wp-content/uploads/2022/05/pist6.mp4?_=1

  35. ˜NJYJ *OD"MMSJHIUTSFTFSWFE チューニングの⽅向性の差 • 映像の遅延なのか安定なのか • 私たちのチューニングは遅延⽅向 35

  36. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 映像送信送信アプリと遅延 • 今回の場合は、アプリの遅延のほうが⽀配的 • 無線区間の遅延は⽀配的ではない • 無線区間のジッターが気になる •

    ジッターを隠蔽するための⼯夫はすなわち遅延なりがち 36 カメラ エンコーダ 5Gモデム 基地局 5GC デコーダ 映像機器 遅延ポイント1 伝送遅延 遅延ポイント2
  37. ˜NJYJ *OD"MMSJHIUTSFTFSWFE 5Gは夢の世界ではない • チューニングするならアプリからやった⽅が効果的 • 時分割だと送信可能なタイミングは待つ必要があるので低 遅延も限度がある • 他⽅、準同期には期待するところでもある

    • 帯域も特にアップロードはとても⼤きいわけでもない • 夢の世界はないが、現実的な事業貢献には使える • 少なくとも帯域が広がったのでできることが増えた 37
  38. ˜NJYJ *OD"MMSJHIUTSFTFSWFE まとめ • 弊社の5Gカメラについて共有させていただきました • 技術のより詳細な話は7/13(⽔)から開催の『JANOG50 Meeting(※) 』で紹介する予定です •

    こちらの記事でも紹介 https://mixil.mixi.co.jp/product/14561 • 端末が⼤変 • 最初にやるべきはここだった 38 ※JANOG50 Meeting https://www.janog.gr.jp/meeting/janog50/