軽率にモーキャプシステムを作る！

Transcript

1. 軽率に モーキャプシステムを作る！ にー兄さん@xR Tech Tokyo #18

2. 自己紹介 にー兄さん (@ninisan_drumath) • 筑波大学　情報科学類2年 • 興味領域 ◦ xR (特にAR)

   ◦ アバター制御 ◦ 3DCG • VTuberオタク • たまに記事の執筆

3. Agenda ・モーションキャプチャについて ・モーキャプを作る ・現状と展望

4. 写真・SNS共有は全然OKです！ 有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)

5. モーションキャプチャについて

6. モーションキャプチャ、使ってますか？ モーキャプの需要は高まっている • ゲームモーションの録画 • VTuberの動画作成、配信、ライブ • VRChatなどのソーシャルVR • その他インタラクティブコンテンツ

7. モーションキャプチャ、作ってますか？ わざわざ作らなくてもツールはたくさんある • 有名なシステムにはSDKが同封されているし、 • バーチャルモーションキャプチャーは無料だし、 • 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない • やったね！

8. ViveやRiftすら持ってない僕でも フルトラできるデバイスがあるって 本当ですか！？

9. できます そう、「Kinect」ならね

10. Microsoft謹製の赤外線センサー・NUIデバイス MSからサポートを切られた（） Colorセンサ、Depthカメラ、マイクなどがあり、 モーションキャプチャができる 非接触型である Kinect(v2)とは

11. モーキャプシステムを作る

12. システム要件・開発環境 • 環境 ◦ Kinect v2 ◦ Unity 2018.4.x •

    システムの要件 ◦ フルボディトラッキング ◦ 「動きの自然さ」を重視 ◦ 有料アセットは使わない ◦ 実はARアプリの機能の一つとして開発をスタート

13. アバター制御 • FinalIKは使わない もともとアセットとして配布したかった 渋って買ってない（） • UnityのMecanimを使う HumanoidでRigされたアバターを扱うネイティブ機能 IKなどの機能が使える

14. シンプルにFKでやってみる ジョイントのローカル回転を そのままボーンの回転に適用する 回転の測定誤差が蓄積していく 実装にあたって えむにわさんの「KinectV2VRM」が 大変参考になりました

15. モーキャプの意義

16. システムでデータを補正する 使用した技術 • IK • キャリブレーション/レジストレーション • 2重指数平滑化フィルタ

17. 2重指数平滑化フィルタ(DEMA) ノイズ抑制(ローパスフィルタ)の役割 計算コストが低いわりに高精度 色々な文献で見られたので採用

18. 現状と展望

19. 現在の成果

20. 今後の展望 アセットライブラリ化/配布 保守性の高い設計(鋭意進行中) ハンド/フェイストラッキングの実装の構想 XR Kaigiで得た知見の反映(PD制御など)

21. Fin. Twitter：@ninisan_drumath Qiita：@drumath2237 Github：@drumath2237