Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
軽率にモーキャプシステムを作る!
Search
にー兄さん
December 07, 2019
Technology
1
180
軽率にモーキャプシステムを作る!
xR Tech Tokyo #18にて登壇した時の資料
にー兄さん
December 07, 2019
Tweet
Share
More Decks by にー兄さん
See All by にー兄さん
エンジニアが軽率に趣味から始める、OSS貢献を軸とした個人活動 / oss-contribution-as-a-hoby-project
drumath2237
0
30
Babylon.js 8.0のアプデ情報を 軽率にキャッチアップ / catch-up-babylonjs-8
drumath2237
0
130
フォークギター with VFXの 制作を軽率に振り返ろう! / look back fork guitar with vfx
drumath2237
0
27
軽率に始まった Babylon.js勉強会運営の 1年間をふりかえって / look back babylonjs japan activity
drumath2237
0
50
利己的利他、 あるいは軽率2.0に備えよ。 / prepare-for-keisotsu-2.0
drumath2237
0
40
軽率にAndroidXRのJetpack SceneCoreを使って3Dモデルを表示してみる / androidxr-scenecore-3dmodels
drumath2237
0
100
あなたの知らないWebXR Device APIの話を軽率に / about-webxr-device-api-you-dont-know
drumath2237
0
29
UnJSを使って軽率にCLIを作ってみたらめちゃくちゃ便利だった / create CLI with UnJS
drumath2237
4
1.6k
create-babylon-appを軽率にアプデしたい / update create babylon app
drumath2237
1
1.8k
Other Decks in Technology
See All in Technology
ひとり情シスなCTOがLLMと始めるオペレーション最適化 / CTO's LLM-Powered Ops
yamitzky
0
420
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
220
rubygem開発で鍛える設計力
joker1007
2
190
AIのAIによるAIのための出力評価と改善
chocoyama
2
540
初めてのAzure FunctionsをClaude Codeで作ってみた / My first Azure Functions using Claude Code
hideakiaoyagi
1
210
Windows 11 で AWS Documentation MCP Server 接続実践/practical-aws-documentation-mcp-server-connection-on-windows-11
emiki
0
910
解析の定理証明実践@Lean 4
dec9ue
0
170
データプラットフォーム技術におけるメダリオンアーキテクチャという考え方/DataPlatformWithMedallionArchitecture
smdmts
5
620
AWS テクニカルサポートとエンドカスタマーの中間地点から見えるより良いサポートの活用方法
kazzpapa3
2
500
20250623 Findy Lunch LT Brown
3150
0
840
標準技術と独自システムで作る「つらくない」SaaS アカウント管理 / Effortless SaaS Account Management with Standard Technologies & Custom Systems
yuyatakeyama
3
1.2k
より良いプロダクトの開発を目指して - 情報を中心としたプロダクト開発 #phpcon #phpcon2025
bengo4com
1
3.1k
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
How STYLIGHT went responsive
nonsquared
100
5.6k
Optimizing for Happiness
mojombo
379
70k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Site-Speed That Sticks
csswizardry
10
660
Thoughts on Productivity
jonyablonski
69
4.7k
The Language of Interfaces
destraynor
158
25k
The Cost Of JavaScript in 2023
addyosmani
51
8.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
700
Side Projects
sachag
455
42k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Transcript
軽率に モーキャプシステムを作る! にー兄さん@xR Tech Tokyo #18
自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学 情報科学類2年 • 興味領域 ◦ xR (特にAR)
◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆
Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望
写真・SNS共有は全然OKです! 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)
モーションキャプチャについて
モーションキャプチャ、使ってますか? モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ
モーションキャプチャ、作ってますか? わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね!
ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか!?
できます そう、「Kinect」ならね
Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた() Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは
モーキャプシステムを作る
システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •
システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート
アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない() • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える
シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました
モーキャプの意義
システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ
2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用
現状と展望
現在の成果
今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)
Fin. Twitter:@ninisan_drumath Qiita:@drumath2237 Github:@drumath2237