Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Tennis form visualization
Search
Hampen
February 16, 2020
Science
1
2.1k
Tennis form visualization
Tennis form visualized by SMPLify-X and 3 dimension pose estimation model.
Hampen
February 16, 2020
Tweet
Share
More Decks by Hampen
See All by Hampen
OOP for ML
hampen2929
3
2.6k
Feature vector calculation of tennis swing using Gaussian process regression and dissimilarity calculation by DTW distance
hampen2929
0
5.4k
Tennis swing recognition based on pose estimation and LightGBM
hampen2929
0
4.6k
Other Decks in Science
See All in Science
データベース08: 実体関連モデルとは?
trycycle
PRO
0
840
02_西村訓弘_プログラムディレクター_人口減少を機にひらく未来社会.pdf
sip3ristex
0
530
Trend Classification of InSAR Displacement Time Series Using SAE–CNN
satai
3
510
How To Buy, Verified Venmo Accounts in 2025 This year
usaallshop68
2
170
データベース03: 関係データモデル
trycycle
PRO
1
140
統計学入門講座 第3回スライド
techmathproject
0
110
地表面抽出の方法であるSMRFについて紹介
kentaitakura
1
780
論文紹介 音源分離:SCNET SPARSE COMPRESSION NETWORK FOR MUSIC SOURCE SEPARATION
kenmatsu4
0
270
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
170
04_石井クンツ昌子_お茶の水女子大学理事_副学長_D_I社会実現へ向けて.pdf
sip3ristex
0
540
データマイニング - グラフデータと経路
trycycle
PRO
1
190
メール送信サーバの集約における透過型SMTP プロキシの定量評価 / Quantitative Evaluation of Transparent SMTP Proxy in Email Sending Server Aggregation
linyows
0
970
Featured
See All Featured
A better future with KSS
kneath
238
17k
Designing for Performance
lara
610
69k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
Automating Front-end Workflow
addyosmani
1370
200k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Producing Creativity
orderedlist
PRO
346
40k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Unsuck your backbone
ammeep
671
58k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Transcript
1 テニスのフォームの可視化 勉強会︓ Sports Analyst Meetup #6 ⽇時︓ 2020年2⽉16⽇(⽇) 会場︓
NTTコミュニケーションズ 様 発表者︓ 持丸 裕⽮
2 持丸 裕⽮ 【経歴】 2015年 東北⼤学⼯学部卒業 2016年 Fraunhofer IISB (ドイツ留学)
2018年 東北⼤学⼤学院⼯学研究科卒業 2018年 IT系企業のDataScience部署配属 【テニス】 宮城県⼤会・準優勝(シングルス) 東北地区⼤会・準優勝(ダブルス) 全⽇本学⽣テニス選⼿権⼤会出場(ダブルス) 【やってること】 仕事︓動画の分析 趣味︓機械学習×テニス ⾃⼰紹介 はんぺん (hampen2929) データサイエンすたんぷ 検索
3 機械学習×テニス https://www.youtube.com/watch?v=IxIixqI2_o0
4 機械学習×テニス https://www.youtube.com/watch?v=-VH8ksbdVVY
5 発表の流れ はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
6 モチベーション 綺麗なフォームを⾝につけたい︕ 綺麗なフォームって何だ︖ 今どんなフォームで打っている︖ フォーム確認のための可視化の⽅法を検討
7 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 ⽬的 選んだ⼿法を⽤いて実際のデータで検証 課題と改善案の提⽰ どのような⼿法で可視化すれば良いかの検討と選択
8 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
9 n SMPLify-X Ø 単⼀の単眼画像から⼈間のポーズ、⼿のポーズ、表情の3Dモデルを計算して、3Dの⼈体モデルを ⽣成する 3次元の⼈体⽣成モデル https://www.youtube.com/watch?time_continue=84&v=XyXIEmapWkw&feature=emb_title
10 Single-Shot Multi-Person 3D Pose Estimation From Monocular RGB 3次元の姿勢推定
https://arxiv.org/pdf/1712.03453.pdf
11 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
12 サーブを撮影した動画を⽤いた。 データの準備
13 定量的な評価は難しいので、SMPLで⽣成された3D⼈体モデルに関して以下の観点で定性的 な評価を⾏った。 評価観点 元の動画との⽐較 3次元空間での確認 元の動画と⽐較しての再現性 画像からは本来取得し得ない3次元の情報を推定しており、実 際に3次元空間でどのような挙動をしているか確認
14 それっぽい。 元の動画との⽐較
15 奥⾏き⽅向の情報に関して前後のつながりが乏しい。奥⾏き⽅向でブレが⼤きい。 3次元空間での確認
16 著者による動画からの3次元の⼈体モデル⽣成(5:15~) https://www.youtube.com/watch?v=XyXIEmapWkw&t=85s
17 ⼊⼒は2次元の姿勢情報であり、3次元の情報はそこから推定されたものでしかなく、また姿勢の 前後のつながりは加味されていないため⽣成されたモデルがぷるぷるしている。 原因と解決案 関節の位置を時系列情報として、 前後の関係を加味したモデル⽣成 を⾏ったほうがよい。
18 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
19 動画内での姿勢の前後の動きのつながりを滑らかにするために、以下の更新式を加えた。結果と して動きは滑らかになった。 3次元の姿勢推定と可視化(横) = 1 − k × −
1 + k × (t) ︓ 姿勢情報 t: 時間 k︓ 0~1
20 ボーン情報だとフォームの確認という観点では使えそうにない。 3次元の姿勢推定と可視化(後ろ)
21 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
22 3次元の姿勢情報を⽤いて、且つ直前の姿勢情報を加味して姿勢情報を更新し、それを⼊⼒ に3次元の⼈体モデルを⽣成すれば滑らかで且つフォーム確認に使える。 考察 デメリット メリット SMPLify-X 3次元の姿勢推定 3次元の⼈体モデルな ので、フォームの確認
に使いやすい ⼊⼒が2次元でかつ 姿勢の情報がフレーム に閉じているので、前 後のつながりがない 前後の姿勢情報を加 味して更新が⾏え、滑 らかにできる ボーン情報だとフォーム の確認の観点だと使 いにくい
23 直前の姿勢の情報を⽤いて姿勢情報の更新を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成 することで、フォーム確認に使えるものができる(はず)。 フォーム可視化のための改善案 従来 改善案 直前のフレーム 現在のフレーム 更新式 2次元
2次元 3次元 3次元 ︓ ︓
24 はじめに SMPLify-X 3次元の姿勢推定 ⽤いた⼿法 まとめ 考察と改善案
25 動画から⾃分のフォームの可視化を⾏い、それが実⽤に耐えるかを判断する。 →現状実⽤に耐えそうにはないが、可能性はある。 まとめ 選んだ⼿法を⽤いて実際の データで検証 課題と改善案の提⽰ SMPLify-Xでは元動画との⽐較を⾏い、3次元空間での挙動 も確認した。 3次元の姿勢推定を⾏い、直前の姿勢情報を⽤いて値の更新
を⾏い、それを⼊⼒に3次元の⼈体モデルを⽣成することで、 フォーム確認に使えるものができる(はず)。 どのような⼿法で可視化す れば良いかの検討と選択 SMPLify-Xと3次元の姿勢推定を選択した。
26 ご静聴ありがとうございました︕