Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にモーキャプシステムを作る!
Search
にー兄さん
December 07, 2019
Technology
1
140
軽率にモーキャプシステムを作る!
xR Tech Tokyo #18にて登壇した時の資料
にー兄さん
December 07, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
0
33
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
15
Babylon.js 7注目機能を 軽率にまとめてみる/whats-new-in-babylonjs-v7
drumath2237
1
100
軽率にVFX Graphと Compute Shaderを 組み合わせるテクニック/integrate-vfxgraph-and-compute-shader
drumath2237
1
120
軽率にVue 3で リアルタイム3Dアプリを作れる ライブラリを作ってみた/vue-with-3d-app
drumath2237
3
1.6k
軽率にBabylon.jsを C#で使う技術 / using-babylonjs-with-csharp
drumath2237
1
510
今こそ軽率に理解したい WebXR Device APIとBabylon.jsの話 / understand-webxr-device-api-and-babylonjs
drumath2237
0
61
Vue・Babylon連携ライブラリ BabyuewJSについて / about-babyuewjs
drumath2237
0
120
軽率にBabylon.jsの WebGPUエンジンを使って ComputeShaderに入門した / learn-about-babylonjs-webgpu-computeshader
drumath2237
0
490
Other Decks in Technology
See All in Technology
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
230
DevIO2024_レガシー運用からの脱却 -クラウド活用の実践事例とベストプラクティス-
jun2882
0
210
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.7k
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
Oracle Cloud Infrastructure:2024年7月度サービス・アップデート
oracle4engineer
PRO
0
100
Classmethod流のPlatform Engineering / classmethod-platform-engineering-devio2024
tomoki10
0
480
Featured
See All Featured
Designing for Performance
lara
604
67k
Ruby is Unlike a Banana
tanoku
96
10k
Designing Experiences People Love
moore
136
23k
Mobile First: as difficult as doing things right
swwweet
219
8.8k
BBQ
matthewcrist
82
9k
Stop Working from a Prison Cell
hatefulcrawdad
266
20k
Large-scale JavaScript Application Architecture
addyosmani
506
110k
Automating Front-end Workflow
addyosmani
1362
200k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
129
32k
Done Done
chrislema
179
15k
Gamification - CAS2011
davidbonilla
78
4.9k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
Transcript
軽率に モーキャプシステムを作る! にー兄さん@xR Tech Tokyo #18
自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学 情報科学類2年 • 興味領域 ◦ xR (特にAR)
◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆
Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望
写真・SNS共有は全然OKです! 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)
モーションキャプチャについて
モーションキャプチャ、使ってますか? モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ
モーションキャプチャ、作ってますか? わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね!
ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか!?
できます そう、「Kinect」ならね
Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた() Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは
モーキャプシステムを作る
システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •
システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート
アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない() • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える
シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました
モーキャプの意義
システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ
2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用
現状と展望
現在の成果
今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)
Fin. Twitter:@ninisan_drumath Qiita:@drumath2237 Github:@drumath2237