Tennis swing recognition based on pose estimation and LightGBM

We built a classification model for tennis swings.
There are four types of swings: forehand, backhand, fore slice, and back slice.

article: https://hampen2929.hatenablog.com/entry/2019/09/21/202026
movie: https://www.youtube.com/watch?v=vMhTL8vKuEQ

Transcript

1. 1 姿勢推定とLightGBMを⽤いたテニスのスイング認識 勉強会︓ Data Gateway Talk vol.3 ⽇時︓ 2019年9⽉26⽇(⽊) 会場︓ ZOZOUSED 様 発表者︓ 持丸 裕⽮
2. 2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学) 2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝 東北地区⼤会・準優勝 全国⼤会出場 【やってること】 趣味︓機械学習×テニス 仕事︓パッケージ開発、画像分析、動画分析 ⾃⼰紹介 データサイエンすたんぷ 検索 はんぺん (hampen2929)
3. 3 発表の流れ はじめに 評価 まとめ ⾼度化検討 モデル構築
4. 4 テニス強くなるには、テニスの練習をするより、相⼿が打つボールの軌道の予測モデルの開発をし た⽅が⼿っ取り早い。 はじめに テニス強くなりたい モチベーション テニスの練習 相⼿が打つボールの軌道 予測モデルの開発
5. 5 相⼿が打つボールの軌道予測モデルは物体検出、物体追跡、姿勢推定、分類などの技術を組 み合わせたモデルである。 相⼿が打つボールの軌道予測モデル ボールの軌道 選⼿の動き フォーム スイングの種類 相⼿が打つボールの軌道 物体検出, 物体追跡 物体検出, 物体追跡 姿勢推定 姿勢推定, 分類 上記をまとめたモデル 特徴量 予測対象 情報 ⼿法
6. 6 画像を⼊⼒に姿勢推定を⾏い、取得した関節位置情報を⽤いてLightGBMでスイング分類モ デルを構築した。スイングの分類は、何もしていない、フォアハンド、バックハンド、フォアスライス、 バックスライスの5種類である。 スイングの種類を分類するモデル 姿勢推定 ⼊⼒画像 時系列の 関節位置情報 スイングの分類 フォアハンド バックハンド フォアスライス バックスライス 何もしていない
7. 7 フォアハンド、バックハンド、フォアスライス、バックスライスの4種類の動画の撮影を⾏なった。 ⼊⼒データとなる動画の撮影 フォアハンド バックハンド フォアスライス バックスライス
8. 8 スイングを⾏なっている瞬間に、右肩のX軸(⽔⾊)Y軸(⻩⾊)、右肘のX軸(緑⾊)Y軸(⾚⾊)、 右⼿⾸のX軸(紫⾊)Y軸(茶⾊)の特徴的な動きが⾒られる。 関節位置情報の可視化 フォアハンド バックハンド フォアスライス バックスライス
9. 9 学習⽤と評価⽤にデータを分割した。学習⽤には193回、評価⽤には47回のスイングが含まれ ている。 データの分割 学習 評価 何もしていない - - フォアハンド 57 10 バックハンド 55 14 フォアスライス 43 9 バックスライス 38 14 スイング回数 合計 193 47
10. 10 両肩、両肘、両⼿⾸、のX, Y軸の座標の合計12種類の関節位置情報を⽤いた。 座標の値 を0~1に正規化し、分類対象の直前30フレーム(1秒)の情報を⽤いた。 スイング分類モデルの学習 姿勢推定 時系列の 関節位置情報 スイング分類の 学習 フォアハンド バックハンド フォアスライス バックスライス 何もしていない 関節位置の 正規化 0 1 1 フレーム位置 右肩_x 右肩_y … 左⼿⾸_x 左⼿⾸_y 0 0.1 0.4 … 0.9 0.5 -1 0.3 0.5 … 0.3 0.6 ︓ ︓ ︓ … ︓ ︓ -29 0.9 0.5 … 0.4 0.1 -30 0.3 0.6 … 0.5 0.3
11. 11 Feature importanceの上位には両⼿⾸の特徴が多く⾒受けられた。スイング中に最も動きが ある関節は⼿⾸であるからと考えられる。 Feature importance
12. 12 フレーム単位の分類精度は90.0%であった。スイング間の誤分類はフォアスライスと分類してフォ アハンドが正解の場合のみであった。 Confusion matrix 何もしていない フォアハンド バックハンド フォアスライス バックスライス 何もしていない 2743 68 24 50 52 フォアハンド 26 183 0 0 0 バックハンド 33 0 333 0 0 フォアスライス 9 6 0 166 0 バックスライス 21 0 0 0 282 分類結果 正 解
13. 13 フォアハンドの正解に対してフォアスライスと分類することがあった。フォアハンドのフォームが崩れたこ とでフォアスライスに類似したことが原因と考えられる。 誤分類した動作 Tennis swing recognition based on pose estimation and LightGBM: https://youtu.be/vMhTL8vKuEQ
14. 14 ⾃分のフォームで学習したモデルをロジャー・フェデラーに対して適⽤を試みた。バックハンド(⽚⼿) をバックスライスと分類する結果となったが、バックハンド(⽚⼿)以外の分類精度は良好である。 転移学習︖ 分類結果 正解 フォアハンド フォアハンド バックスライス バックスライス バックスライス バックハンド(⽚⼿) バックハンド バックハンド(両⼿)
15. 15 ⾼度化検討 ボールの軌道 選⼿の位置 相⼿の打つボールの軌道の 予測 ボールがどのような軌道で⾶んだかを、複数画像⼊⼒するタイプ の物体追跡モデル*1で⾏う。 ⼀般的な物体追跡技術でいけそう。 ボールの軌道、選⼿の位置、フォーム、スイングの種類等を特徴 量にして、相⼿が打つボールの軌道予測モデル構築を⾏う。 *1 TrackNet: https://arxiv.org/abs/1907.03698
16. 16 まとめ モチベーション モデル構築と評価 ⾼度化検討 テニス強くなるには、テニスの練習をするより、相⼿が打つボール の軌道の予測モデルの開発をした⽅が⼿っ取り早い。 複数画像を⼊⼒に関節位置情報の特徴を⽤いてLightGBM で動作を推定するモデルを構築し、精度は90.0%であった。 ボールの軌道、選⼿の位置、フォーム、スイングの種類等を特徴 量にして、相⼿が打つボールの軌道予測モデル構築を⾏う。
17. 17 ご静聴ありがとうございました︕