Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Kinectによる自然な姿勢推定の実装 最終発表資料

Kinectによる自然な姿勢推定の実装 最終発表資料

情報特別演習Ⅱの最終発表会の資料

にー兄さん

January 16, 2020
Tweet

More Decks by にー兄さん

Other Decks in Programming

Transcript

  1. Kinectによる
    自然な姿勢推定の実現
    情報科学類2年
    堤海斗
    情報特別演習Ⅱ最終発表会

    View full-size slide

  2. Agenda
    ❖ 演習概要
    ❖ 導入手法
    ❖ 演習結果
    ❖ まとめ・今後の展望

    View full-size slide

  3. 演習概要

    View full-size slide

  4. 本演習の目的
    Kinect v2を使った
    モーションキャプチャシステムを作る

    View full-size slide

  5. Kinect v2による姿勢推定
    Microsoftが開発している
    赤外線カメラデバイス
    人の関節の位置/回転を推定できる
    サポートが終わっている

    View full-size slide

  6. アバター制御のプロセス
    Kinectから
    骨格情報を取得
    データを補正 アバターに適用

    View full-size slide

  7. 開発環境
    ❏ Kinect v2
    ❏ Unity 2018.4.x
    ❏ Mecanim
    ❏ UniRx/UniTask/Zenject
    ❏ UniVRM/MMD4Mecanim

    View full-size slide

  8. 導入手法

    View full-size slide

  9. 導入手法
    ❖ IK制御
    ❖ キャリブレーション
    ❖ 平滑化フィルタ

    View full-size slide

  10. IK制御
    ❖ 末端のボーンをもとに各
    ボーンの姿勢を推定する
    手法
    ❖ 誤差の影響を抑えること
    ができる

    View full-size slide

  11. キャリブレーション
    ❖ 演者とモデルの体形を合わ
    せる手法
    ❖ 今回は上半身は胸を基準
    に、
    下半身は腰を基準に位置
    合わせを行った

    View full-size slide

  12. 平滑化フィルタ
    ❖ モーションデータのノイズを抑制する為に導入した
    ❖ 指数平滑化フィルタ(DEMA)を採用

    View full-size slide

  13. 演習結果

    View full-size slide

  14. 中間発表まで

    View full-size slide

  15. IK制御+キャリブレーションの適用

    View full-size slide

  16. 指数平滑化フィルタのon/offの比較

    View full-size slide

  17. 形式や体形の違うモデルの動作比較

    View full-size slide

  18. まとめ・今後の展望

    View full-size slide

  19. やってきたこと
    演習開始
    FK制御
    IK制御
    4月 6月 8月 11月
    キャリブレーション
    DEMA
    1月
    :WIP:

    View full-size slide

  20. 現在取り組んでいること
    ❖ きれいなMV(R)Pパターンに落とし込む
    ❖ 配布に向けてプロジェクトの整理
    ❖ キャリブレーションロジックの再考

    View full-size slide

  21. 今後実装したい項目
    ❖ より自然なボーン制御(肩上げアシストや地面との接地感)
    ❖ 手・視線・表情のトラッキング
    ❖ Animation Rigingへの対応
    ❖ カルマンフィルタの導入

    View full-size slide

  22. 参考文献
    ❖ Kinect for Windows SDK
    https://docs.microsoft.com/en-us/previous-versions/windows/kinect/dn7
    99271(v=ieb.10)
    ❖ m2wasabi/KinectV2VRM https://github.com/m2wasabi/KinectV2VRM
    ❖ MIKUMIKUMOVING
    https://sites.google.com/site/mikumikumoving/manual/kinect

    View full-size slide