Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にモーキャプシステムを作る!
Search
にー兄さん
December 07, 2019
Technology
1
190
軽率にモーキャプシステムを作る!
xR Tech Tokyo #18にて登壇した時の資料
にー兄さん
December 07, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
XRエンジニアの視点から XRのイマと社会実装の実現について考える / thinking-about-xr-popularization
drumath2237
0
16
軽率にプログラミング言語のシンタックスについて考えてみよう / lets-think-about-programming-lang-syntax
drumath2237
0
56
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
36
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
200
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
41
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
68
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
55
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
130
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
59
Other Decks in Technology
See All in Technology
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
1.1k
株式会社ログラス - 会社説明資料【エンジニア】/ Loglass Engineer
loglass2019
4
65k
Automating Web Accessibility Testing with AI Agents
maminami373
0
1.3k
Create Ruby native extension gem with Go
sue445
0
130
roppongirb_20250911
igaiga
1
250
まずはマネコンでちゃちゃっと作ってから、それをCDKにしてみよか。
yamada_r
2
120
Autonomous Database - Dedicated 技術詳細 / adb-d_technical_detail_jp
oracle4engineer
PRO
4
10k
組織を巻き込む大規模プラットフォーム移行戦略 〜50+サービスのマルチリージョン・マルチプロダクト化で学んだステークホルダー協働の実践〜 / Platform migration strategy engaging all stakeholders
toshi0607
2
200
メルカリIBISの紹介
0gm
0
490
OCI Oracle Database Services新機能アップデート(2025/06-2025/08)
oracle4engineer
PRO
0
180
はじめてのOSS開発からみえたGo言語の強み
shibukazu
4
1k
スクラムガイドに載っていないスクラムのはじめかた - チームでスクラムをはじめるときに知っておきたい勘所を集めてみました! - / How to start Scrum that is not written in the Scrum Guide 2nd
takaking22
2
210
Featured
See All Featured
Designing Experiences People Love
moore
142
24k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Optimizing for Happiness
mojombo
379
70k
Designing for Performance
lara
610
69k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Building an army of robots
kneath
306
46k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Become a Pro
speakerdeck
PRO
29
5.5k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
軽率に モーキャプシステムを作る! にー兄さん@xR Tech Tokyo #18
自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学 情報科学類2年 • 興味領域 ◦ xR (特にAR)
◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆
Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望
写真・SNS共有は全然OKです! 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)
モーションキャプチャについて
モーションキャプチャ、使ってますか? モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ
モーションキャプチャ、作ってますか? わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね!
ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか!?
できます そう、「Kinect」ならね
Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた() Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは
モーキャプシステムを作る
システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •
システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート
アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない() • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える
シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました
モーキャプの意義
システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ
2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用
現状と展望
現在の成果
今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)
Fin. Twitter:@ninisan_drumath Qiita:@drumath2237 Github:@drumath2237