Feature vector calculation of tennis swing using Gaussian process regression and dissimilarity calculation by DTW distance

I checked which player was similar to my tennis forehand form.
Joint position information of Federer, Nadal, Djokovic, and Nishikori during the swing of the forehand was visualized.
The joint position information indicates, from left to right, the X and Y coordinates of the right shoulder, the X and Y coordinates of the right elbow, and the X and Y coordinates of the right wrist.

Transcript

1. 1 テニスのフォーム類似度算出 〜私のフォアハンドはどの選⼿と似てる︖〜 勉強会︓ Sports Analyst Meetup #5 ⽇時︓ 2019年11⽉2⽇(⼟) 会場︓ 株式会社DeNA 様 発表者︓ 持丸 裕⽮
2. 2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学) 2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全国⼤会出場(ダブルス) 【やってること】 仕事︓画像・動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 データサイエンすたんぷ 検索 はんぺん (hampen2929)
3. 3 発表の流れ はじめに 評価 まとめ ⾼度化検討 モデル構築
4. 4 ⾃分ではフェデラー選⼿と同じようなフォームのフォアハンドで打っていると思っているのも関わらず、 ⼈⽣で⼀度たりとも「フェデラー選⼿とフォームが似ているね」と⾔われたことがない。「フォロース ルーがナダル選⼿と似ている。」と⾔われたことはある。 はじめに ⾃分のフォアハンドのフォームが、 どの選⼿に似ているか検証を⾏う。 ⽬的
5. 5 スイングの類似度算出モデル 姿勢推定 ⼊⼒動画 時系列の 関節位置情報 スイングの検出 ◯◯選⼿のフォア ハンドに似ている 他の選⼿のスイングの特徴ベクトルとの類似度算出 スイングの 特徴ベクトル算出 他の選⼿の 特徴ベクトルはあらかじめ算出
6. 6 ラケットがボールに当たった瞬間の前後7フレーム(0.5秒)をスイングの範囲とした。 アノテーション Start (1) End (15) Hit (8) (2) (4) (6) (10) (12) (14)
7. 7 4⼈のテニス選⼿を対象に、分析を⾏なった。 分析対象の選⼿ 対象の選⼿ フォアハンドの回数 フェデラー 14 ナダル 9 ジョコビッチ 16 錦織 19 画像
8. 8 ラケットにボールが当たる瞬間を中⼼として、0.5秒間のスイング範囲の関節位置情報を可視化 した。⼀部ばらつきはあるものの、選⼿ごとにスイングの特徴が捉えられていると⾒受けられる。 スイング範囲の関節位置情報を次元圧縮して可視化
9. 9 ⾃分のスイングをプロットした瞬間に秩序が乱れて草 スイング範囲の関節位置情報を次元圧縮して可視化
10. 10 アノテーションしたスイング範囲の右肩、右肘、右⼿⾸のX,Y座標の合計6種類の座標データ 0.5秒分のデータから平均ベクトルを算出し、スイングの特徴ベクトルとした。 選⼿ごとのスイングの特徴ベクトル算出 https://www.youtube.com/watch?v=N36glGCmG7U
11. 11 算出したスイングの特徴ベクトルの可視化 右肩 Y 右肘 X 右肘 Y 右⼿⾸ X 右⼿⾸ Y 右肩 X 持丸 フェデラー ナダル ジョコビッチ 錦織
12. 12 スイングの特徴ベクトルから⾮類似度の算出 *1:持丸はスイングの特徴を抽出した動画と別の動画でDTW距離を算出 右肩 Y 右肘 X 右肘 Y 右⼿⾸ X 右⼿⾸ Y 右肩 X 持丸*1 フェデラー ナダル ジョコビッチ 錦織 0.283 0.316 0.298 0.122 0.406 0.213 0.273 平均 0.531 0.716 0.336 0.743 0.257 0.573 0.526 0.918 0.645 0.428 0.709 1.96 1.24 0.983 0.604 0.818 0.225 0.310 0.881 0.307 0.525 0.388 0.639 0.231 0.340 0.451 0.453 0.417
13. 13 錦織選⼿のスイングに近いのであれば、錦織選⼿のグリップと近い握り⽅の⽅が、⾃分のスイング には合っているのではないかという仮説の元、グリップの握り⽅を変更した。 グリップの握り⽅を変更 https://www.nytimes.com/interactive/2019/08/30/sports/tennis/tennis-evolution-four-grips.html
14. 14 変更後のフォームは錦織選⼿により近い結果になった。フォアハンドの窮屈感が改善された。 グリップの握り⽅を変更 錦織 右肘 X軸 右肘Y軸 右肩 X軸 右肩 Y軸 右⼿⾸ X軸 右⼿⾸ Y軸 持丸(後) 0.610 0.258 0.191 0.241 0.612 0.319 0.372 平均 持丸(前) 0.738 0.776 0.256 0.139 0.674 0.434 0.503
15. 15 グリップ握り⽅変更前後と錦織選⼿とのスイング⽐較 https://www.youtube.com/watch?v=Tl7PWt7KQpY
16. 16 スイングの検出〜スイングの類似度算出までを⼀気通貫で⾏えるモデルの構築を⾏う。 ⾼度化検討 姿勢推定 ⼊⼒動画 時系列の 関節位置情報 スイングの検出 ◯◯選⼿のフォアハ ンドに似ている 他の選⼿のスイングの特徴ベクトルとの類似度算出 スイングの 特徴ベクトル算出 他の選⼿の 特徴ベクトルはあらかじめ算出
17. 17 スイングの検出モデルのスライド資料 https://www.slideshare.net/YuyaMochimaru/tennis-swing-recognition-based-on-pose-estimation-and-lightgbm
18. 18 まとめ ⽬的 モデル構築と評価 ⾼度化検討 ⾃分のフォアハンドのフォームが、どの選⼿と似ているかの検証を ⾏った。 フォアハンドの類似度算出モデルを構築し、⾃分のフォアハンドが 錦織選⼿に近いことが判明した。 スイングの検出〜スイングの類似度算出までを⼀気通貫で⾏え るモデルの構築を⾏う。
19. 19 ご静聴ありがとうございました︕
20. 20 Federer Nadal Djokovic Murray Kei Gasquet Hampen Federer 0.000 0.788 0.431 0.981 0.336 0.425 0.458 Nadal 0.788 0.000 1.144 1.195 0.846 0.779 1.114 Djokovic 0.431 1.144 0.000 0.955 0.257 0.538 0.470 Murray 0.981 1.195 0.955 0.000 0.877 0.804 0.999 Kei 0.336 0.846 0.257 0.877 0.000 0.333 0.339 Gasquet 0.425 0.779 0.538 0.804 0.333 0.000 0.473 Hampen 0.458 1.114 0.470 0.999 0.339 0.473 0.000 Appendix︓各選⼿のフォアハンドの類似度⽐較
21. 21 ラケットにボールが当たる瞬間を中⼼として0.5秒間のスイング範囲の関節位置情報を可視化。 4種類のスイングがそれぞれ固まっていることが⾒受けられる。 Appendix︓スイングを次元圧縮して可視化