Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Tennis form visualization
Search
Hampen
February 16, 2020
Science
1
2k
Tennis form visualization
Tennis form visualized by SMPLify-X and 3 dimension pose estimation model.
Hampen
February 16, 2020
Tweet
Share
More Decks by Hampen
See All by Hampen
OOP for ML
hampen2929
3
2.4k
Feature vector calculation of tennis swing using Gaussian process regression and dissimilarity calculation by DTW distance
hampen2929
0
5.4k
Tennis swing recognition based on pose estimation and LightGBM
hampen2929
0
4.6k
Other Decks in Science
See All in Science
LIMEを用いた判断根拠の可視化
kentaitakura
0
320
Machine Learning for Materials (Lecture 9)
aronwalsh
0
200
【健康&筋肉と生産性向上の関連性】 【Google Cloudを企業で運用する際の知識】 をお届け
yasumuusan
0
320
ベイズのはなし
techmathproject
0
270
Introduction to Graph Neural Networks
joisino
PRO
4
2k
学術講演会中央大学学員会八王子支部
tagtag
0
220
20分で分かる Human-in-the-Loop 機械学習におけるアノテーションとヒューマンコンピューターインタラクションの真髄
hurutoriya
4
2.2k
Boil Order
uni_of_nomi
0
120
Презентация программы магистратуры СПбГУ "Искусственный интеллект и наука о данных"
dscs
0
370
機械学習を支える連続最適化
nearme_tech
PRO
1
120
(Forkwell Library #48)『詳解 インシデントレスポンス』で学び倒すブルーチーム技術
scientia
2
1.3k
HAS Dark Site Orientation
astronomyhouston
0
5.3k
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
519
39k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Being A Developer After 40
akosma
86
590k
Making Projects Easy
brettharned
115
5.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
664
120k
We Have a Design System, Now What?
morganepeng
50
7.2k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
43
6.6k
4 Signs Your Business is Dying
shpigford
180
21k
Statistics for Hackers
jakevdp
796
220k
Done Done
chrislema
181
16k
The Pragmatic Product Professional
lauravandoore
31
6.3k
Transcript
1 テニスのフォームの可視化 勉強会︓ Sports Analyst Meetup #6 ⽇時︓ 2020年2⽉16⽇(⽇) 会場︓
NTTコミュニケーションズ 様 発表者︓ 持丸 裕⽮
2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学)
2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全⽇本学⽣テニス選⼿権⼤会出場(ダブルス) 【やってること】 仕事︓動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 はんぺん (hampen2929) データサイエンすたんぷ 検索
3 機械学習×テニス https://www.youtube.com/watch?v=IxIixqI2_o0
4 機械学習×テニス https://www.youtube.com/watch?v=-VH8ksbdVVY
5 発表の流れ はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
6 モチベーション 綺麗なフォームを⾝につけたい︕ 綺麗なフォームって何だ︖ 今どんなフォームで打っている︖ フォーム確認のための可視化の⽅法を検討
7 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 ⽬的 選んだ⼿法を⽤いて実際のデータで検証 課題と改善案の提⽰ どのような⼿法で可視化すれば良いかの検討と選択
8 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
9 n SMPLify-X Ø 単⼀の単眼画像から⼈間のポーズ、⼿のポーズ、表情の3Dモデルを計算して、3Dの⼈体モデルを ⽣成する 3次元の⼈体⽣成モデル https://www.youtube.com/watch?time_continue=84&v=XyXIEmapWkw&feature=emb_title
10 Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB 3次元の姿勢推定
https://arxiv.org/pdf/1712.03453.pdf
11 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
12 サーブを撮影した動画を⽤いた。 データの準備
13 定量的な評価は難しいので、SMPLで⽣成された3D⼈体モデルに関して以下の観点で定性的 な評価を⾏った。 評価観点 元の動画との⽐較 3次元空間での確認 元の動画と⽐較しての再現性 画像からは本来取得し得ない3次元の情報を推定しており、実 際に3次元空間でどのような挙動をしているか確認
14 それっぽい。 元の動画との⽐較
15 奥⾏き⽅向の情報に関して前後のつながりが乏しい。奥⾏き⽅向でブレが⼤きい。 3次元空間での確認
16 著者による動画からの3次元の⼈体モデル⽣成(5:15~) https://www.youtube.com/watch?v=XyXIEmapWkw&t=85s
17 ⼊⼒は2次元の姿勢情報であり、3次元の情報はそこから推定されたものでしかなく、また姿勢の 前後のつながりは加味されていないため⽣成されたモデルがぷるぷるしている。 原因と解決案 関節の位置を時系列情報として、 前後の関係を加味したモデル⽣成 を⾏ったほうがよい。
18 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
19 動画内での姿勢の前後の動きのつながりを滑らかにするために、以下の更新式を加えた。結果と して動きは滑らかになった。 3次元の姿勢推定と可視化(横) = 1 − k × −
1 + k × (t) ︓ 姿勢情報 t: 時間 k︓ 0~1
20 ボーン情報だとフォームの確認という観点では使えそうにない。 3次元の姿勢推定と可視化(後ろ)
21 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
22 3次元の姿勢情報を⽤いて、且つ直前の姿勢情報を加味して姿勢情報を更新し、それを⼊⼒ に3次元の⼈体モデルを⽣成すれば滑らかで且つフォーム確認に使える。 考察 デメリット メリット SMPLify-X 3次元の姿勢推定 3次元の⼈体モデルな ので、フォームの確認
に使いやすい ⼊⼒が2次元でかつ 姿勢の情報がフレーム に閉じているので、前 後のつながりがない 前後の姿勢情報を加 味して更新が⾏え、滑 らかにできる ボーン情報だとフォーム の確認の観点だと使 いにくい
23 直前の姿勢の情報を⽤いて姿勢情報の更新を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成 することで、フォーム確認に使えるものができる(はず)。 フォーム可視化のための改善案 従来 改善案 直前のフレーム 現在のフレーム 更新式 2次元
2次元 3次元 3次元 ︓ ︓
24 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
25 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 →現状実⽤に耐えそうにはないが、可能性はある。 まとめ 選んだ⼿法を⽤いて実際の データで検証 課題と改善案の提⽰ SMPLify-Xでは元動画との⽐較を⾏い、3次元空間での挙動 も確認した。 3次元の姿勢推定を⾏い、直前の姿勢情報を⽤いて値の更新
を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成することで、 フォーム確認に使えるものができる(はず)。 どのような⼿法で可視化す れば良いかの検討と選択 SMPLify-Xと3次元の姿勢推定を選択した。
26 ご静聴ありがとうございました︕