Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にモーキャプシステムを作る!
Search
にー兄さん
December 07, 2019
Technology
1
120
軽率にモーキャプシステムを作る!
xR Tech Tokyo #18にて登壇した時の資料
にー兄さん
December 07, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
38
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.4k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
330
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
21
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
63
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
360
Snapdragon Spacesを通して Unity XRプラグインフレームワーク について軽率に学ぶ / about snapdragon spaces sdk and unity xr framework
drumath2237
0
340
Babylon.jsユーザのためのCLIを軽率にnpmで公開した話 / about create babylon app CLI
drumath2237
0
510
軽率な執筆活動 / writing books roughly
drumath2237
0
32
Other Decks in Technology
See All in Technology
APIファーストなプロダクトマネジメントの実践 〜SaaSus Platformでの例〜 / "Practicing API-First Product Management - An Example with SaaSus Platform
oztick139
0
100
JSON攻略法.pdf
miyakemito
8
4.9k
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
830
On Your Data を超えていく!
hirotomotaguchi
2
660
Java EE/Jakarta EEの現状と将来―クラウドネイティブ時代にJava EEは対応できるのか?―
takakiyo
1
140
NgRx Signal Store
rainerhahnekamp
0
150
MapLibreとAmazon Location Service
dayjournal
1
150
web-application-security
matsuihidetoshi
0
140
「スニダン」開発組織の構造に込めた意図 ~組織作りはパッションや政治ではない!~
rinchsan
3
540
一生覚えておきたい「システム開発=コミュニケーション」〜初めての実務案件振り返りLT〜
maimyyym
0
120
ChatGPT for IT Service Management (IT Pro)
dahatake
7
1.5k
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
260
Featured
See All Featured
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
9
8.3k
Creatively Recalculating Your Daily Design Routine
revolveconf
210
11k
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
What's in a price? How to price your products and services
michaelherold
237
11k
Building a Modern Day E-commerce SEO Strategy
aleyda
17
6.4k
Music & Morning Musume
bryan
41
5.6k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
A better future with KSS
kneath
231
16k
Rails Girls Zürich Keynote
gr2m
91
13k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
Gamification - CAS2011
davidbonilla
76
4.6k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
Transcript
軽率に モーキャプシステムを作る! にー兄さん@xR Tech Tokyo #18
自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学 情報科学類2年 • 興味領域 ◦ xR (特にAR)
◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆
Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望
写真・SNS共有は全然OKです! 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)
モーションキャプチャについて
モーションキャプチャ、使ってますか? モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ
モーションキャプチャ、作ってますか? わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね!
ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか!?
できます そう、「Kinect」ならね
Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた() Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは
モーキャプシステムを作る
システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •
システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート
アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない() • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える
シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました
モーキャプの意義
システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ
2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用
現状と展望
現在の成果
今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)
Fin. Twitter:@ninisan_drumath Qiita:@drumath2237 Github:@drumath2237