Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Tennis form visualization
Search
Hampen
February 16, 2020
Science
1
2k
Tennis form visualization
Tennis form visualized by SMPLify-X and 3 dimension pose estimation model.
Hampen
February 16, 2020
Tweet
Share
More Decks by Hampen
See All by Hampen
OOP for ML
hampen2929
3
2.4k
Feature vector calculation of tennis swing using Gaussian process regression and dissimilarity calculation by DTW distance
hampen2929
0
5.4k
Tennis swing recognition based on pose estimation and LightGBM
hampen2929
0
4.6k
Other Decks in Science
See All in Science
Machine Learning for Materials (Lecture 6)
aronwalsh
0
510
Transformers are Universal in Context Learners
gpeyre
0
550
機械学習による確率推定とカリブレーション/probabilistic-calibration-on-classification-model
ktgrstsh
2
240
The Incredible Machine: Developer Productivity and the Impact of AI
tomzimmermann
0
390
はじめてのバックドア基準:あるいは、重回帰分析の偏回帰係数を因果効果の推定値として解釈してよいのか問題
takehikoihayashi
2
730
大規模画像テキストデータのフィルタリング手法の紹介
lyakaap
6
1.5k
Snowflake上でRを使う: RStudioセットアップとShinyアプリケーションのデプロイ
ktatsuya
0
420
240510 COGNAC LabChat
kazh
0
130
MoveItを使った産業用ロボット向け動作作成方法の紹介 / Introduction to creating motion for industrial robots using MoveIt
ry0_ka
0
160
証明支援系LEANに入門しよう
unaoya
0
350
大規模言語モデルの開発
chokkan
PRO
84
33k
Machine Learning for Materials (Lecture 7)
aronwalsh
0
810
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Bootstrapping a Software Product
garrettdimon
PRO
305
110k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
BBQ
matthewcrist
85
9.3k
Facilitating Awesome Meetings
lara
50
6.1k
For a Future-Friendly Web
brad_frost
175
9.4k
Writing Fast Ruby
sferik
627
61k
Teambox: Starting and Learning
jrom
133
8.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Build your cross-platform service in a week with App Engine
jlugia
229
18k
We Have a Design System, Now What?
morganepeng
50
7.2k
Thoughts on Productivity
jonyablonski
67
4.3k
Transcript
1 テニスのフォームの可視化 勉強会︓ Sports Analyst Meetup #6 ⽇時︓ 2020年2⽉16⽇(⽇) 会場︓
NTTコミュニケーションズ 様 発表者︓ 持丸 裕⽮
2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学)
2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全⽇本学⽣テニス選⼿権⼤会出場(ダブルス) 【やってること】 仕事︓動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 はんぺん (hampen2929) データサイエンすたんぷ 検索
3 機械学習×テニス https://www.youtube.com/watch?v=IxIixqI2_o0
4 機械学習×テニス https://www.youtube.com/watch?v=-VH8ksbdVVY
5 発表の流れ はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
6 モチベーション 綺麗なフォームを⾝につけたい︕ 綺麗なフォームって何だ︖ 今どんなフォームで打っている︖ フォーム確認のための可視化の⽅法を検討
7 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 ⽬的 選んだ⼿法を⽤いて実際のデータで検証 課題と改善案の提⽰ どのような⼿法で可視化すれば良いかの検討と選択
8 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
9 n SMPLify-X Ø 単⼀の単眼画像から⼈間のポーズ、⼿のポーズ、表情の3Dモデルを計算して、3Dの⼈体モデルを ⽣成する 3次元の⼈体⽣成モデル https://www.youtube.com/watch?time_continue=84&v=XyXIEmapWkw&feature=emb_title
10 Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB 3次元の姿勢推定
https://arxiv.org/pdf/1712.03453.pdf
11 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
12 サーブを撮影した動画を⽤いた。 データの準備
13 定量的な評価は難しいので、SMPLで⽣成された3D⼈体モデルに関して以下の観点で定性的 な評価を⾏った。 評価観点 元の動画との⽐較 3次元空間での確認 元の動画と⽐較しての再現性 画像からは本来取得し得ない3次元の情報を推定しており、実 際に3次元空間でどのような挙動をしているか確認
14 それっぽい。 元の動画との⽐較
15 奥⾏き⽅向の情報に関して前後のつながりが乏しい。奥⾏き⽅向でブレが⼤きい。 3次元空間での確認
16 著者による動画からの3次元の⼈体モデル⽣成(5:15~) https://www.youtube.com/watch?v=XyXIEmapWkw&t=85s
17 ⼊⼒は2次元の姿勢情報であり、3次元の情報はそこから推定されたものでしかなく、また姿勢の 前後のつながりは加味されていないため⽣成されたモデルがぷるぷるしている。 原因と解決案 関節の位置を時系列情報として、 前後の関係を加味したモデル⽣成 を⾏ったほうがよい。
18 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
19 動画内での姿勢の前後の動きのつながりを滑らかにするために、以下の更新式を加えた。結果と して動きは滑らかになった。 3次元の姿勢推定と可視化(横) = 1 − k × −
1 + k × (t) ︓ 姿勢情報 t: 時間 k︓ 0~1
20 ボーン情報だとフォームの確認という観点では使えそうにない。 3次元の姿勢推定と可視化(後ろ)
21 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
22 3次元の姿勢情報を⽤いて、且つ直前の姿勢情報を加味して姿勢情報を更新し、それを⼊⼒ に3次元の⼈体モデルを⽣成すれば滑らかで且つフォーム確認に使える。 考察 デメリット メリット SMPLify-X 3次元の姿勢推定 3次元の⼈体モデルな ので、フォームの確認
に使いやすい ⼊⼒が2次元でかつ 姿勢の情報がフレーム に閉じているので、前 後のつながりがない 前後の姿勢情報を加 味して更新が⾏え、滑 らかにできる ボーン情報だとフォーム の確認の観点だと使 いにくい
23 直前の姿勢の情報を⽤いて姿勢情報の更新を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成 することで、フォーム確認に使えるものができる(はず)。 フォーム可視化のための改善案 従来 改善案 直前のフレーム 現在のフレーム 更新式 2次元
2次元 3次元 3次元 ︓ ︓
24 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
25 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 →現状実⽤に耐えそうにはないが、可能性はある。 まとめ 選んだ⼿法を⽤いて実際の データで検証 課題と改善案の提⽰ SMPLify-Xでは元動画との⽐較を⾏い、3次元空間での挙動 も確認した。 3次元の姿勢推定を⾏い、直前の姿勢情報を⽤いて値の更新
を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成することで、 フォーム確認に使えるものができる(はず)。 どのような⼿法で可視化す れば良いかの検討と選択 SMPLify-Xと3次元の姿勢推定を選択した。
26 ご静聴ありがとうございました︕