How to VizSki: Visualizing Captured Skier Motion in a VR Ski Training Simulator

アルペンスキーのトレーニングは環境条件や、動きやフォームを教える方法の段階的・周期的な方法によって制限されています。そこで、屋内スキーシミュレータをベースにしたバーチャルリアリティスキートレーニングシステムを提案する。このシステムでは、2台のトラッカーを用いてスキーの動きをキャプチャし、仮想スキー場でスキーをコントロールできるようにした。トレーニングのために、プロのアスリートの動きをキャプチャし、それをユーザーに再生することで、ユーザーの技術向上を支援する。2つの研究では、ユーザーがプロスキーヤーのモーションパターンを効果的に習得するための視覚的な合図の有用性を探っています。さらに、この学習プロセスにおけるフィードバックの影響についても検討する。この作業は、スキーヤーの学習プロセスを支援する可能性を持つVRスキーシミュレーターの可能性と限界を開発し、理解するための基礎を提供する。

Transcript

1. How to VizSki: Visualizing Captured Skier Motion in a VR Ski Training Simulator Erwin Wu, Florian Perteneder,Takayuki Nozawa and Hideki Koike https://dl.acm.org/doi/10.1145/3359997.3365698[2019] 【Sports AI 論文解説】 by Ikuma Uchida
2. どんなもの？ アルペンスキートレーニングの環境依存性を克服する為のシステムの開発及び フィードバックをした • モーションキャプチャでプロの動きを取得 • 仮想空間でプロの動きを表現 パフォーマンスの評価を定量的に、定性的に行えるようなデバイスの開発を目指した
3. 背景 • アルペンスキーは競技人口が数百人とかなり大規模なスポーツ。 • ただ、競技を行う環境には色々なハードルがある。 • 初心者がアマチュアの動きの真似をすることが難しい ➡真似るためにトレーニングしたいが、競技環境が少ないのジレンマ
4. 先行研究 [1]. Fusion motion capture: A prototype system using inertial measurement units and GPS for the biomechanical analysis of ski racing (Brodie et a 2008) https://onlinelibrary.wiley.com/doi/epdf/10.1002/jst.6 [2]A Virtual Reality Dance Training System Using Motion Capture Technology(Ikeda et a 2018) ,https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5557840 • 選手にセンサーをつけて動きを補強する系 ・選手にセンサー(IMU,GPS)をつけて、後にフィードバックする。 ・のちの改良により、リアルタイムのフィードバックもできるようになった。 • これらの技術には実際のゲレンデが必要
5. 先行研究 [3]. Visual 3d perception of the ski course and visibility factors at virtual space. (Aleshin et al. 2011) file:///Users/i-uch/Downloads/CW2011-3D-perception-final-corected_3.pdf [4]. Comparative evaluation of two skiing simulators as functional training devices for recreational skiers. ( Panizzolo et al. 2013) https://pubmed.ncbi.nlm.nih.gov/24149739/ • 仮想環境を投影してトレーニングする系 ・屋内にトレーニング環境を構築 • 実際のゲレンデ環境との差がある(没入感的)
6. 先行研究 [5]. Virtual Reality-based Sports Training System and Its Application to Baseball(Mikami et al. 2018) https://www.ntt-review.jp/archive/ntttechnical.php?contents=ntr201803fa4.html [6]Real-time Human Motion Forecasting Using a RGB Camera.(Wu et al 2018) • VRはスポーツのトレーニングに有効である[5] • 3D姿勢予測をVRで投影したりもある
7. 提案手法-1 • プロの選手の動きをモーションキャプチャで取得 • スキーシュミレーター(Pro Ski®-Simulator Power Ski Simulator4)に乗って、 HMDを被る。 • Unityでゲレンデを表現して、目の前にプロの選手の動き投影する(Follow the Pro) • プロとアマチュアの、動きの周期性の違いを見る。 (Pose Breakdown)
8. 仮説： H1:Simple Learning Support このインターフェースは、シンプルな学習サポートを提供している。 H2: Accurate Feedback このインターフェースは、正確なフィードバックを提供する。 H3:Temporal Pose Information Pose Breakdownは、画像から時間的なポーズ情報も得られるので、適切なタイミング でコーチのポーズを真似るのに役立ちます。 81人の参加者に実験を行ってもらった。
9. 検証 アンケートの結果より、 H1➡ Accepted ただ、6人くらいは「速過ぎてついていけない」などネガティ ブな意見 H2➡Rejected グラフの意味を理解するのが苦労したが多数。 H3➡Rejected 多くのユーザーに「使いづらいと不評だった」 改善の余地あり
10. 提案手法-2 RQ1:コーチとユーザーの動きの間の遅延の影響は？ RQ2:どの視覚的手がかりが最もパフォーマンスを向上させるか？ RQ3:フィードバックがパフォーマンスに与える影響は？ これを解決するためのインターフェースに改良
11. 提案手法-2(RQ1) Follow the Trajectory(RQ1): 斜面に視覚的な手がかりを施すため、斜面に 青い線を書いた。 Mimic the Motion (RQ1): 先行するスキーヤーのパスを追いかけるのでは なく，先行するスキーヤーの動きを直接， 遅れずに真似るように指示した。
12. 提案手法-2(RQ2) Pose Breakdown • レンダリングがより透明になった。 • 軌跡をたどるのに十分なサンプルポイントを確保するためにポーズの頻度が 増加した。
13. 提案手法-3(RQ2、RQ3) Trail (RQ2). Shadow (RQ2). Feedback Trail (RQ3)
14. まとめ • この研究では、ユーザに没入型のスキー体験を提供し、安価な機器を 使用した、VRベースのスキーシュミレーターを開発した。 • 定量的なフィードバックをもたらすシステム(Graph)はあまり評価 されず、定性的な評価をもたらすシステム(Feedback Trail)の評価が高 かった。 ➡競技中の定量的評価が必ずしも良いとは限らないことがわかった。