【D1-3】フィギュアスケートにおける自動追尾カメラ開発 - 位置情報+AI画像解析 | #MTDC2024 | MIXI TECH DESIGN CONFERENCE 2024

━━━━━━━━━━━━━━━━━━━━━━━━━━━━
MIXI TECH DESIGN CONFERENCE 2024 - SESSION ARCHIVE
━━━━━━━━━━━━━━━━━━━━━━━━━━━━
3/18(月) 14:30 〜 14:50｜D1-3

フィギュアスケートにおける自動追尾カメラ開発 - 位置情報+AI画像解析

みなさんはフィギュアスケートという競技を華やかで優雅なイメージでご覧になっているかもしれません。
しかし、フィギュアスケートという競技は、最高30km/hを超える速度とジャンプ・スピン・急旋回といった動きの激しさも兼ね備えています。

トレーニングの模様を無人でカメラ撮影・データ表示・遠隔視聴したいとなったときに様々なハードルがありました。
複数の選手がいる中で、特定の選手を自動的に追尾撮影しトレーニング支援するシステムの開発は、交錯の問題もあり非常に難易度が高いものでした。

今回、我々は屋内位置測位システムとAI技術を組み合わせ、フィギュアスケートのトレーニング現場に対応した自動追尾カメラシステムを開発しました。
その事例について紹介します。

開発本部 たんぽぽ室 インフラグループ
市野 真一 / Shinichi Ichino

開発本部 たんぽぽ室 映像開発グループ
小端 みより / Miyori Kobata

────────────────────────────
□セッション情報
https://techcon.mixi.co.jp/2024/d1-3.html
□イベントハッシュタグ
#MTDC2024
━━━━━━━━━━━━━━━━━━━━━━━━━━━━

◇◆◇ Information ◇◆◇
X（旧Twitter）
https://twitter.com/mixi_engineers
MIXI Developers Blog (medium)
https://mixi-developers.mixi.co.jp/
Slide (SpeakerDeck)
https://speakerdeck.com/mixi_engineers/
MIXI Design note
https://note.com/mixi_design/
採用情報
https://mixigroup-recruit.mixi.co.jp/
connpass
https://mixi.connpass.com/
HP
https://mixi.co.jp/

Transcript

1. ©MIXI フィギュアスケートにおける自動追尾カメラ開発 位置情報+AI画像解析 ~ 最高速度30km/hフィギュアスケート選手の自動追尾カメラ ~ 市野 真一 / 小端 みより 開発本部 たんぽぽ室 インフラグループ / 映像技術グループ
2. ©MIXI 2 株式会社MIXI 開発本部 たんぽぽ室 インフラグループ 市野 真一 / Shinichi ICHINO MIXI社歴 : 2021年3月 中途入社 （満3年経過） 仕事内容 : 動画配信・伝送、電波 と 書き物 　　 デバイス開発のようなこと 対外活動 : JANOG と Media-JAWS 最近趣味 : ミニ四駆 と ゲーム（FFやりたい） ※ JANOG52@長崎では実行委員長を務めました 　 地元テレビ局にも取材いただき全国デビューさせてもらいました 自己紹介
3. ©MIXI 3 自己紹介 株式会社MIXI 開発本部 たんぽぽ室 映像開発グループ 小端 みより / Miyori KOBATA もともとはゲーム開発エンジニア 近年はUnreal Engineを使った映像開発 AI初心者 うちの猫かわいい→
4. ©MIXI Program AGENDA １ ２ ３ ４ 自動追尾カメラ と フィギュアスケート ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム（IPS） ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
5. ©MIXI Program AGENDA １ ２ ３ ４ 自動追尾カメラ と フィギュアスケート ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム（IPS） ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
6. ©MIXI 6 特徴 : 高速移動（30km/h）でも追尾可能 & 他者と交差しても継続追尾可能 自動追尾カメラを開発しています 本動画は、株式会社 MIXIが開発した、フィギュアスケートにおける位置情報 +AI画像解析を活用した自動追尾カメラシステムで撮影した実際の映像です。 ※実際の映像には場内環境音も収録されます。 測位情報を元に リアルタイム速度表示 測位情報を元に 滑走軌跡表示
7. ©MIXI 7 ナショナルトレーニグセンター（NTC）にて フィギュアスケート強化選手のトレーニング施設 『 関空アイスアリーナ@泉佐野市 』 御縁があり施設訪問させてもらった。その中のとある会話で、 　 フィギュア関係者 われわれ 　課題を抱えているのですか？ 実現したいことは？ 選手のコーチが来れないことがある そんなときでも・・・ ・ 適切な画角を維持して自動追尾撮影 ・ 撮影した映像は録画保存 ・ 遠隔で映像をリアルタイム視聴 ・ 選手の滑走記録をデータ化したい 構築・開発チャレンジしてみます
8. ©MIXI 8 達成するべき課題 自動追尾撮影 ・ フィギュアスケート特有の動き（高速滑走・急旋回・急停止・ジャンプ・回転）に対応させる必要がある ・ 距離のある撮影・複数人が交差する環境下で、特定選手を追い続ける必要がある 　→ 画像認識ではなく、屋内位置測位・リアルタイムデータを元に自動追尾カメラを開発することにした データ表示 → 選手に身に付けたセンサーを元に可能な限りデータをリアルタイムに可視化する センサー・タグの軽量化 → 別スポーツでの経験上、選手にマーカー・デバイス等を身に着けてもらうのはハードルが非常に高い → フィギュアスケートは、回転運動が伴い遠心力が発生するためとにかく軽量であるものが求められる
9. ©MIXI Program AGENDA １ ２ ３ ４ 自動追尾カメラ と フィギュアスケート ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム（IPS） ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
10. ©MIXI 10 屋内位置情報測位システム（IPS） 屋内で位置を測位する仕組みは様々存在しています BLE（Bluetooth Low Energy）デバイスが発信する 電波の受信角度を検知するAoA方式 タグの所在をリアルタイムに測位するシステムを採用 規格 超音波 UWB BLE Wi-Fi RFID 精度 1cm 30cm 1m 10m 1m 範囲 10m 20m 20m 20m 1m タグ・センサー重量 40g 40g 10g any a few g タグを付けられなければ測位できず意味がない タグ重量は重視。また、測位範囲を配慮して、今回は BLEを選択 ※登壇者の独自調査調べ 座標 X.Y 取付 受信機（ロケータ） 座標 X.Y 取付 受信機（ロケータ） ◯° ✕° X軸・Y軸・Z軸のタグは直線上の交差地点で測位 発信機（タグ） AoA（Angle of Arrival : 到達角度）方式による測位
11. ©MIXI 11 工事風景 営業時間外の夜間、天井にロケータ x 12 + LAN配線工事 高さ約10mの天井 + 遮蔽物なし 事前PoC実施。理想的な敷設条件！！ であるはず、、だった・・・ 設置工事中の模様（タイムラプス撮影） 高さ10m 氷上高所作業
12. ©MIXI 12 測位されない測位システム リンク壁際を滑走すると測位されなくなるタイミングがある、、なぜだ ・・・ 諸々調査の結果、あさっての方向にタグがあるように見える場合がある ・・・ 靴紐取付タグも不調 AoAでの測位 電波吸収する氷の床 ・・・ 電波反射する金属の壁 ・・・ 検証・考察の繰り返し ・・・。 反射した方角の電波を拾ってしまっていると予想 対策としては、、 反射方向の電波を拾わないようにロケータを追加して測位精度向上 謎にリンク外 ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ロケータ位置 不調な靴紐取付 タグ
13. ©MIXI 13 ・ 反射方向の電波を拾わないようロケータ追加して測位精度向上 ・ タグ取付位置は軽量ランニングポーチを利用して腰まわりに取り付け 　　スケートリンク四隅付近の建物壁にロケータ4台追加 　　スケートリンク壁面より高いタグ取り付け 測位されるようになった測位システム ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ ⦿ 追加ロケータ位置 ⦿ ⦿ ⦿ ⦿ ⦿ 初期ロケータ位置
14. ©MIXI 14 システム構成
15. ©MIXI Program AGENDA １ ２ ３ ４ 自動追尾カメラ と フィギュアスケート ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム（IPS） ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
16. ©MIXI 16 制御ソフトウェア 今回の場合はざっくり言って・・ 追尾対象を指向し続けるようPTZカメラに制御コマンドを送信するソフトウェア パン、チルト、ズームなど遠隔で制御可能なタイプのカメラ
17. ©MIXI 17 使い方（選手目線） 自動追尾システムの運用は完全に自動化されている 使うときは・・IPSのタグ 　 を身に着け スケートリンク内に入るだけで自動で追尾開始！ （録画、再生は手動で行う必要があります）
18. ©MIXI 18 まずIPSの特徴 • 屋内で運用することができる • 対象の絶対的な座標を測位できる • 測位の遅延が少ない • 測位の精度が高い（測位座標のずれが少ない） これだけみると弱点がないように思われる
19. ©MIXI 19 楽観視された計画 IPSで絶対的な座標を測位できるのなら その座標に向けてカメラを指向すればよいだけ・・・ですよね？（楽観視） IPS測位座標 ※イメージ図
20. ©MIXI 20 IPS、実際のところは • 測位に遅延がないわけではない（軽減できるがライセンス次第） • ある程度は測位に揺らぎが生じる（軽減できるが工夫が必要） IPS測位座標と実際の位置のずれ
21. ©MIXI 21 敗北を知った 位置予測をすればある程度改善できるものの・・ • 遅延を最小限にしようとすれば揺らぎが大きくなる • 揺らぎを抑制しようとすれば遅延が大きくなる 結果的に・・あまり選手に寄れない（ズームできない）、画面が揺れるなど IPSのみではこういった問題を克服できなかった ↓ IPSと「画像解析」を併用する作戦に変更
22. ©MIXI 22 画像解析による追尾 まずOpenCV※を用いた一般的な画像解析アプローチによる追尾を試した 人物検出アルゴリズム→検出範囲に対し物体追跡アルゴリズムによる追尾 9割方のケースでうまくいって好感触！ ただし・・ • 苦手とするシチュエーションが存在する • 一定水準以上に精度を向上させるのは厳しい やはり・・あれ（AI）を使うしかないか？ ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。 ARE?
23. ©MIXI 23 AI追尾のはじまり まず・・ I am 完璧にAI初心者 OpenCV※にDNNモジュールが用意されているので比較的スムーズに移行できた （DNN・・学習済AI推論モデルを実行することができる） とくにv4.7以降ではDNNを使用した、Nanotrackという物体追跡が実装されており勉 強になった OpenCV→DNNの流れはAI画像解析の初心者におすすめかも？ （HWアクセラレーションを有効にしてビルドするのが面倒くさいけど・・） ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
24. ©MIXI 24 AI推論モデルの選定 追跡に利用できる推論モデル自体はいろいろある・・が フィギュアスケート競技に対応するため、次の条件を満たす必要があった • 時速30km/hで移動する対象をリアルタイムに追尾できる推論の早さ • 片足を上げたり縮こまった姿勢でも追尾し続けられる精度の高さ SOT？MOT？物体検出と追跡は分離したほうがよい？ あとは実装やパラメータを調整して・・
25. ©MIXI 25 IPS+AI追尾の現状 AI推論による人物検出＋追跡アルゴリズムの組み合わせ 実用的な早さ＆精度で追尾できるようになった 1. IPSにより大まかに追尾しつつトラッキング対象を推測＆AI追尾を開始 2. AI推論による人物検出と追跡アルゴリズムによる対象の追尾 （ただし人物を識別しているわけではない＝対象の取り違えは発生する） 3. IPSにより対象の取り違えを検知した場合・・　1. からやり直し 追尾性能向上のため日々改良中・・
26. ©MIXI 26 開発上の工夫 実は制御ソフトウェア実装にUnreal Engine※を使用している 理由としては 1. もともとPTZカメラを使用したARやカメラ制御の技術があった 2. ミニマップや速度などの視覚情報を実装しやすい 3. ビジュアルスクリプティング環境で実装やパラメータ調整がやりやすい 4. ゲームエンジン内でCGを使ってAI推論を検証することができる ※各社の商品またはサービスなどの名称は、各社の商標または登録商標です。
27. ©MIXI 27 理由その1 • もともとPTZカメラを使用したARやカメラ制御の技術があった ARについて詳しくは昨年のMIXI TECH CONFERENCE 2023で講演しています
28. ©MIXI 28 理由その2 • ミニマップや速度などの視覚情報を実装しやすい
29. ©MIXI 29 理由その3 • ビジュアルスクリプティング環境で実装やパラメータ調整がやりやすい
30. ©MIXI 30 理由その4 • ゲームエンジン内でCGを使ってAI推論を検証することができる 一見ただのCG映像のように見えるが・・ 実物のPTZカメラ視点でレンダリング → その画像でAI推論 → 実カメラ制御 なんて事をやっている
31. ©MIXI Program AGENDA １ ２ ３ ４ 自動追尾カメラ と フィギュアスケート ~ トレーニング課題の解決に向けて ~ 屋内位置測位システム（IPS） ~ 鉄板と氷に囲まれた空間、電波反射・吸収の苦しみ ~ 制御ソフトウェア実装 ~ 位置情報 + Unreal Engine と AI ~ まとめ・DEMO案内
32. ©MIXI 32 まとめ・今後の展望 まとめ → 見えない電波の取り扱いは環境に依存され一筋縄ではない → 位置情報のみ・画像認識のみは難しかった。組み合わせ開発で精度を向上！ 　　ハード・ソフトの追い込みが必要となり大変、 AIを活用 今後の展望 → 競技力向上に向けてさらなる付加価値（データ）を AddOn！ → 他のスポーツへの展開はもちろん、 　　興行イベント等のエンタメでも応用していきたいと考えています もちろん基本性能UP！ 必要な機材追加 + AIでの追尾性能を向上
33. ©MIXI 33 デモのご案内 ココ MIXI TECH DESIGN CONFERENCE 2024 本システムの簡易版を会場内にてデモンストレーションを行っています 場所 ： 4階エントランスロビー エスカレーター付近 ぜひお越しください。 ご質問・議論はこちらでお願いいたします！！
34. ©MIXI