Save 37% off PRO during our Black Friday Sale! »

Kinectによる自然な姿勢推定の実装 最終発表資料

Kinectによる自然な姿勢推定の実装 最終発表資料

情報特別演習Ⅱの最終発表会の資料

E123f0d70182268563d4e63e23d8c55c?s=128

にー兄さん

January 16, 2020
Tweet

Transcript

  1. Kinectによる 自然な姿勢推定の実現 情報科学類2年 堤海斗 情報特別演習Ⅱ最終発表会

  2. Agenda ❖ 演習概要 ❖ 導入手法 ❖ 演習結果 ❖ まとめ・今後の展望

  3. 演習概要

  4. 本演習の目的 Kinect v2を使った モーションキャプチャシステムを作る

  5. Kinect v2による姿勢推定 Microsoftが開発している 赤外線カメラデバイス 人の関節の位置/回転を推定できる サポートが終わっている

  6. アバター制御のプロセス Kinectから 骨格情報を取得 データを補正 アバターに適用

  7. 開発環境 ❏ Kinect v2 ❏ Unity 2018.4.x ❏ Mecanim ❏

    UniRx/UniTask/Zenject ❏ UniVRM/MMD4Mecanim
  8. 導入手法

  9. 導入手法 ❖ IK制御 ❖ キャリブレーション ❖ 平滑化フィルタ

  10. IK制御 ❖ 末端のボーンをもとに各 ボーンの姿勢を推定する 手法 ❖ 誤差の影響を抑えること ができる

  11. キャリブレーション ❖ 演者とモデルの体形を合わ せる手法 ❖ 今回は上半身は胸を基準 に、 下半身は腰を基準に位置 合わせを行った

  12. 平滑化フィルタ ❖ モーションデータのノイズを抑制する為に導入した ❖ 指数平滑化フィルタ(DEMA)を採用

  13. 演習結果

  14. 中間発表まで

  15. IK制御+キャリブレーションの適用

  16. 指数平滑化フィルタのon/offの比較

  17. 形式や体形の違うモデルの動作比較

  18. まとめ・今後の展望

  19. やってきたこと 演習開始 FK制御 IK制御 4月 6月 8月 11月 キャリブレーション DEMA

    1月 :WIP:
  20. 現在取り組んでいること ❖ きれいなMV(R)Pパターンに落とし込む ❖ 配布に向けてプロジェクトの整理 ❖ キャリブレーションロジックの再考

  21. 今後実装したい項目 ❖ より自然なボーン制御(肩上げアシストや地面との接地感) ❖ 手・視線・表情のトラッキング ❖ Animation Rigingへの対応 ❖ カルマンフィルタの導入

  22. 参考文献 ❖ Kinect for Windows SDK https://docs.microsoft.com/en-us/previous-versions/windows/kinect/dn7 99271(v=ieb.10) ❖ m2wasabi/KinectV2VRM

    https://github.com/m2wasabi/KinectV2VRM ❖ MIKUMIKUMOVING https://sites.google.com/site/mikumikumoving/manual/kinect