軽率にモーキャプシステムを作る！

軽率にモーキャプシステムを作る！にー兄さん@xR Tech Tokyo #18

自己紹介にー兄さん (@ninisan_drumath) • 筑波大学　情報科学類2年 • 興味領域 ◦ xR (特にAR)
◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆

Agenda ・モーションキャプチャについて・モーキャプを作る・現状と展望

写真・SNS共有は全然OKです！有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)

モーションキャプチャについて

モーションキャプチャ、使ってますか？モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ

モーションキャプチャ、作ってますか？わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね！

ViveやRiftすら持ってない僕でもフルトラできるデバイスがあるって本当ですか！？

できますそう、「Kinect」ならね

Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた（） Colorセンサ、Depthカメラ、マイクなどがあり、モーションキャプチャができる非接触型である Kinect(v2)とは

モーキャプシステムを作る

システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •
システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート

アバター制御 • FinalIKは使わないもともとアセットとして配布したかった渋って買ってない（） • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える

シンプルにFKでやってみるジョイントのローカル回転をそのままボーンの回転に適用する回転の測定誤差が蓄積していく実装にあたってえむにわさんの「KinectV2VRM」が大変参考になりました

モーキャプの意義

システムでデータを補正する使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ

2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割計算コストが低いわりに高精度色々な文献で見られたので採用

現状と展望

現在の成果

今後の展望アセットライブラリ化/配布保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)

Fin. Twitter：@ninisan_drumath Qiita：@drumath2237 Github：@drumath2237

にー兄さん