Upgrade to Pro — share decks privately, control downloads, hide ads and more …

軽率にモーキャプシステムを作る!

 軽率にモーキャプシステムを作る!

xR Tech Tokyo #18にて登壇した時の資料

にー兄さん

December 07, 2019
Tweet

More Decks by にー兄さん

Other Decks in Technology

Transcript

  1. 軽率に
    モーキャプシステムを作る!
    にー兄さん@xR Tech Tokyo #18

    View full-size slide

  2. 自己紹介
    にー兄さん (@ninisan_drumath)
    ● 筑波大学 情報科学類2年
    ● 興味領域
    ○ xR (特にAR)
    ○ アバター制御
    ○ 3DCG
    ● VTuberオタク
    ● たまに記事の執筆

    View full-size slide

  3. Agenda
    ・モーションキャプチャについて
    ・モーキャプを作る
    ・現状と展望

    View full-size slide

  4. 写真・SNS共有は全然OKです!
    有識者の方の意見、お待ちしております(マサカリはご遠慮ください...。)

    View full-size slide

  5. モーションキャプチャについて

    View full-size slide

  6. モーションキャプチャ、使ってますか?
    モーキャプの需要は高まっている
    ● ゲームモーションの録画
    ● VTuberの動画作成、配信、ライブ
    ● VRChatなどのソーシャルVR
    ● その他インタラクティブコンテンツ

    View full-size slide

  7. モーションキャプチャ、作ってますか?
    わざわざ作らなくてもツールはたくさんある
    ● 有名なシステムにはSDKが同封されているし、
    ● バーチャルモーションキャプチャーは無料だし、
    ● 上記を使わなくてもFinalIKを使えばプログラムを書く必要はない
    ● やったね!

    View full-size slide

  8. ViveやRiftすら持ってない僕でも
    フルトラできるデバイスがあるって
    本当ですか!?

    View full-size slide

  9. できます
    そう、「Kinect」ならね

    View full-size slide

  10. Microsoft謹製の赤外線センサー・NUIデバイス
    MSからサポートを切られた()
    Colorセンサ、Depthカメラ、マイクなどがあり、
    モーションキャプチャができる
    非接触型である
    Kinect(v2)とは

    View full-size slide

  11. モーキャプシステムを作る

    View full-size slide

  12. システム要件・開発環境
    ● 環境
    ○ Kinect v2
    ○ Unity 2018.4.x
    ● システムの要件
    ○ フルボディトラッキング
    ○ 「動きの自然さ」を重視
    ○ 有料アセットは使わない
    ○ 実はARアプリの機能の一つとして開発をスタート

    View full-size slide

  13. アバター制御
    ● FinalIKは使わない
    もともとアセットとして配布したかった
    渋って買ってない()
    ● UnityのMecanimを使う
    HumanoidでRigされたアバターを扱うネイティブ機能
    IKなどの機能が使える

    View full-size slide

  14. シンプルにFKでやってみる
    ジョイントのローカル回転を
    そのままボーンの回転に適用する
    回転の測定誤差が蓄積していく
    実装にあたって
    えむにわさんの「KinectV2VRM」が
    大変参考になりました

    View full-size slide

  15. モーキャプの意義

    View full-size slide

  16. システムでデータを補正する
    使用した技術
    ● IK
    ● キャリブレーション/レジストレーション
    ● 2重指数平滑化フィルタ

    View full-size slide

  17. 2重指数平滑化フィルタ(DEMA)
    ノイズ抑制(ローパスフィルタ)の役割
    計算コストが低いわりに高精度
    色々な文献で見られたので採用

    View full-size slide

  18. 現状と展望

    View full-size slide

  19. 現在の成果

    View full-size slide

  20. 今後の展望
    アセットライブラリ化/配布
    保守性の高い設計(鋭意進行中)
    ハンド/フェイストラッキングの実装の構想
    XR Kaigiで得た知見の反映(PD制御など)

    View full-size slide

  21. Fin.
    Twitter:@ninisan_drumath
    Qiita:@drumath2237
    Github:@drumath2237

    View full-size slide