Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Tennis form visualization
Search
Hampen
February 16, 2020
Science
1
2k
Tennis form visualization
Tennis form visualized by SMPLify-X and 3 dimension pose estimation model.
Hampen
February 16, 2020
Tweet
Share
More Decks by Hampen
See All by Hampen
OOP for ML
hampen2929
3
2.5k
Feature vector calculation of tennis swing using Gaussian process regression and dissimilarity calculation by DTW distance
hampen2929
0
5.4k
Tennis swing recognition based on pose estimation and LightGBM
hampen2929
0
4.6k
Other Decks in Science
See All in Science
ACL読み会2024@名大 REANO: Optimising Retrieval-Augmented Reader Models through Knowledge Graph Generation
takuma_matsubara
0
150
[第62回 CV勉強会@関東] Long-CLIP: Unlocking the Long-Text Capability of CLIP / kantoCV 62th ECCV 2024
lychee1223
1
860
サイゼミ用因果推論
lw
1
3.4k
FOGBoston2024
lcolladotor
0
150
Machine Learning for Materials (Challenge)
aronwalsh
0
170
科学で迫る勝敗の法則(名城大学公開講座.2024年10月) / The principle of victory discovered by science (Open lecture in Meijo Univ. 2024)
konakalab
0
270
ベイズ最適化をゼロから
brainpadpr
2
1.1k
白金鉱業Meetup Vol.16_数理最適化案件のはじめかた・すすめかた
brainpadpr
3
1.4k
Analysis-Ready Cloud-Optimized Data for your community and the entire world with Pangeo-Forge
jbusecke
0
130
2024-06-16-pydata_london
sofievl
0
600
学術講演会中央大学学員会いわき支部
tagtag
0
130
機械学習を支える連続最適化
nearme_tech
PRO
1
260
Featured
See All Featured
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
The Language of Interfaces
destraynor
156
24k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.5k
Done Done
chrislema
182
16k
Writing Fast Ruby
sferik
628
61k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.3k
Designing for humans not robots
tammielis
250
25k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
KATA
mclloyd
29
14k
Building Adaptive Systems
keathley
40
2.4k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
Transcript
1 テニスのフォームの可視化 勉強会︓ Sports Analyst Meetup #6 ⽇時︓ 2020年2⽉16⽇(⽇) 会場︓
NTTコミュニケーションズ 様 発表者︓ 持丸 裕⽮
2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学)
2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全⽇本学⽣テニス選⼿権⼤会出場(ダブルス) 【やってること】 仕事︓動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 はんぺん (hampen2929) データサイエンすたんぷ 検索
3 機械学習×テニス https://www.youtube.com/watch?v=IxIixqI2_o0
4 機械学習×テニス https://www.youtube.com/watch?v=-VH8ksbdVVY
5 発表の流れ はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
6 モチベーション 綺麗なフォームを⾝につけたい︕ 綺麗なフォームって何だ︖ 今どんなフォームで打っている︖ フォーム確認のための可視化の⽅法を検討
7 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 ⽬的 選んだ⼿法を⽤いて実際のデータで検証 課題と改善案の提⽰ どのような⼿法で可視化すれば良いかの検討と選択
8 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
9 n SMPLify-X Ø 単⼀の単眼画像から⼈間のポーズ、⼿のポーズ、表情の3Dモデルを計算して、3Dの⼈体モデルを ⽣成する 3次元の⼈体⽣成モデル https://www.youtube.com/watch?time_continue=84&v=XyXIEmapWkw&feature=emb_title
10 Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB 3次元の姿勢推定
https://arxiv.org/pdf/1712.03453.pdf
11 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
12 サーブを撮影した動画を⽤いた。 データの準備
13 定量的な評価は難しいので、SMPLで⽣成された3D⼈体モデルに関して以下の観点で定性的 な評価を⾏った。 評価観点 元の動画との⽐較 3次元空間での確認 元の動画と⽐較しての再現性 画像からは本来取得し得ない3次元の情報を推定しており、実 際に3次元空間でどのような挙動をしているか確認
14 それっぽい。 元の動画との⽐較
15 奥⾏き⽅向の情報に関して前後のつながりが乏しい。奥⾏き⽅向でブレが⼤きい。 3次元空間での確認
16 著者による動画からの3次元の⼈体モデル⽣成(5:15~) https://www.youtube.com/watch?v=XyXIEmapWkw&t=85s
17 ⼊⼒は2次元の姿勢情報であり、3次元の情報はそこから推定されたものでしかなく、また姿勢の 前後のつながりは加味されていないため⽣成されたモデルがぷるぷるしている。 原因と解決案 関節の位置を時系列情報として、 前後の関係を加味したモデル⽣成 を⾏ったほうがよい。
18 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
19 動画内での姿勢の前後の動きのつながりを滑らかにするために、以下の更新式を加えた。結果と して動きは滑らかになった。 3次元の姿勢推定と可視化(横) = 1 − k × −
1 + k × (t) ︓ 姿勢情報 t: 時間 k︓ 0~1
20 ボーン情報だとフォームの確認という観点では使えそうにない。 3次元の姿勢推定と可視化(後ろ)
21 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
22 3次元の姿勢情報を⽤いて、且つ直前の姿勢情報を加味して姿勢情報を更新し、それを⼊⼒ に3次元の⼈体モデルを⽣成すれば滑らかで且つフォーム確認に使える。 考察 デメリット メリット SMPLify-X 3次元の姿勢推定 3次元の⼈体モデルな ので、フォームの確認
に使いやすい ⼊⼒が2次元でかつ 姿勢の情報がフレーム に閉じているので、前 後のつながりがない 前後の姿勢情報を加 味して更新が⾏え、滑 らかにできる ボーン情報だとフォーム の確認の観点だと使 いにくい
23 直前の姿勢の情報を⽤いて姿勢情報の更新を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成 することで、フォーム確認に使えるものができる(はず)。 フォーム可視化のための改善案 従来 改善案 直前のフレーム 現在のフレーム 更新式 2次元
2次元 3次元 3次元 ︓ ︓
24 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
25 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 →現状実⽤に耐えそうにはないが、可能性はある。 まとめ 選んだ⼿法を⽤いて実際の データで検証 課題と改善案の提⽰ SMPLify-Xでは元動画との⽐較を⾏い、3次元空間での挙動 も確認した。 3次元の姿勢推定を⾏い、直前の姿勢情報を⽤いて値の更新
を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成することで、 フォーム確認に使えるものができる(はず)。 どのような⼿法で可視化す れば良いかの検討と選択 SMPLify-Xと3次元の姿勢推定を選択した。
26 ご静聴ありがとうございました︕