1 テニスのフォームの可視化 勉強会︓ Sports Analyst Meetup #6 ⽇時︓ 2020年2⽉16⽇(⽇) 会場︓ NTTコミュニケーションズ 様 発表者︓ 持丸 裕⽮

2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学) 2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全⽇本学⽣テニス選⼿権⼤会出場(ダブルス) 【やってること】 仕事︓動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 はんぺん (hampen2929) データサイエンすたんぷ 検索

3 機械学習×テニス https://www.youtube.com/watch?v=IxIixqI2_o0

4 機械学習×テニス https://www.youtube.com/watch?v=-VH8ksbdVVY

5 発表の流れ はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

6 モチベーション 綺麗なフォームを⾝につけたい︕ 綺麗なフォームって何だ︖ 今どんなフォームで打っている︖ フォーム確認のための可視化の⽅法を検討

7 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 ⽬的 選んだ⼿法を⽤いて実際のデータで検証 課題と改善案の提⽰ どのような⼿法で可視化すれば良いかの検討と選択

8 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

9 n SMPLify-X Ø 単⼀の単眼画像から⼈間のポーズ、⼿のポーズ、表情の3Dモデルを計算して、3Dの⼈体モデルを ⽣成する 3次元の⼈体⽣成モデル https://www.youtube.com/watch?time_continue=84&v=XyXIEmapWkw&feature=emb_title

10 Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB 3次元の姿勢推定 https://arxiv.org/pdf/1712.03453.pdf

11 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

12 サーブを撮影した動画を⽤いた。 データの準備

13 定量的な評価は難しいので、SMPLで⽣成された3D⼈体モデルに関して以下の観点で定性的 な評価を⾏った。 評価観点 元の動画との⽐較 3次元空間での確認 元の動画と⽐較しての再現性 画像からは本来取得し得ない3次元の情報を推定しており、実 際に3次元空間でどのような挙動をしているか確認

14 それっぽい。 元の動画との⽐較

15 奥⾏き⽅向の情報に関して前後のつながりが乏しい。奥⾏き⽅向でブレが⼤きい。 3次元空間での確認

16 著者による動画からの3次元の⼈体モデル⽣成(5:15~) https://www.youtube.com/watch?v=XyXIEmapWkw&t=85s

17 ⼊⼒は2次元の姿勢情報であり、3次元の情報はそこから推定されたものでしかなく、また姿勢の 前後のつながりは加味されていないため⽣成されたモデルがぷるぷるしている。 原因と解決案 関節の位置を時系列情報として、 前後の関係を加味したモデル⽣成 を⾏ったほうがよい。

18 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

19 動画内での姿勢の前後の動きのつながりを滑らかにするために、以下の更新式を加えた。結果と して動きは滑らかになった。 3次元の姿勢推定と可視化(横) = 1 − k × − 1 + k × (t) ︓ 姿勢情報 t: 時間 k︓ 0~1

20 ボーン情報だとフォームの確認という観点では使えそうにない。 3次元の姿勢推定と可視化(後ろ)

21 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

22 3次元の姿勢情報を⽤いて、且つ直前の姿勢情報を加味して姿勢情報を更新し、それを⼊⼒ に3次元の⼈体モデルを⽣成すれば滑らかで且つフォーム確認に使える。 考察 デメリット メリット SMPLify-X 3次元の姿勢推定 3次元の⼈体モデルな ので、フォームの確認 に使いやすい ⼊⼒が2次元でかつ 姿勢の情報がフレーム に閉じているので、前 後のつながりがない 前後の姿勢情報を加 味して更新が⾏え、滑 らかにできる ボーン情報だとフォーム の確認の観点だと使 いにくい

23 直前の姿勢の情報を⽤いて姿勢情報の更新を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成 することで、フォーム確認に使えるものができる（はず）。 フォーム可視化のための改善案 従来 改善案 直前のフレーム 現在のフレーム 更新式 2次元 2次元 3次元 3次元 ︓ ︓

24 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案

25 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 →現状実⽤に耐えそうにはないが、可能性はある。 まとめ 選んだ⼿法を⽤いて実際の データで検証 課題と改善案の提⽰ SMPLify-Xでは元動画との⽐較を⾏い、3次元空間での挙動 も確認した。 3次元の姿勢推定を⾏い、直前の姿勢情報を⽤いて値の更新 を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成することで、 フォーム確認に使えるものができる(はず)。 どのような⼿法で可視化す れば良いかの検討と選択 SMPLify-Xと3次元の姿勢推定を選択した。

26 ご静聴ありがとうございました︕