Save 37% off PRO during our Black Friday Sale! »

軽率にモーキャプシステムを作る!

 軽率にモーキャプシステムを作る!

xR Tech Tokyo #18にて登壇した時の資料

E123f0d70182268563d4e63e23d8c55c?s=128

にー兄さん

December 07, 2019
Tweet

Transcript

  1. 軽率に モーキャプシステムを作る! にー兄さん@xR Tech Tokyo #18

  2. 自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学 情報科学類2年 • 興味領域 ◦ xR (特にAR)

    ◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆
  3. Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望

  4. 写真・SNS共有は全然OKです! 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)

  5. モーションキャプチャについて

  6. モーションキャプチャ、使ってますか? モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ

  7. モーションキャプチャ、作ってますか? わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね!

  8. ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか!?

  9. できます そう、「Kinect」ならね

  10. Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた() Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは

  11. モーキャプシステムを作る

  12. システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •

    システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート
  13. アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない() • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える

  14. シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました

  15. モーキャプの意義

  16. システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ

  17. 2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用

  18. 現状と展望

  19. 現在の成果

  20. 今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)

  21. Fin. Twitter:@ninisan_drumath Qiita:@drumath2237 Github:@drumath2237