Kinectによる自然な姿勢推定の実装 最終発表資料

Transcript

1. Kinectによる 自然な姿勢推定の実現 情報科学類２年 堤海斗 情報特別演習Ⅱ最終発表会

2. Agenda ❖ 演習概要 ❖ 導入手法 ❖ 演習結果 ❖ まとめ・今後の展望

3. 演習概要

4. 本演習の目的 Kinect v2を使った モーションキャプチャシステムを作る

5. Kinect v2による姿勢推定 Microsoftが開発している 赤外線カメラデバイス 人の関節の位置/回転を推定できる サポートが終わっている

6. アバター制御のプロセス Kinectから 骨格情報を取得 データを補正 アバターに適用

7. 開発環境 ❏ Kinect v2 ❏ Unity 2018.4.x ❏ Mecanim ❏

   UniRx/UniTask/Zenject ❏ UniVRM/MMD4Mecanim

8. 導入手法

9. 導入手法 ❖ IK制御 ❖ キャリブレーション ❖ 平滑化フィルタ

10. IK制御 ❖ 末端のボーンをもとに各 ボーンの姿勢を推定する 手法 ❖ 誤差の影響を抑えること ができる

11. キャリブレーション ❖ 演者とモデルの体形を合わ せる手法 ❖ 今回は上半身は胸を基準 に、 下半身は腰を基準に位置 合わせを行った

12. 平滑化フィルタ ❖ モーションデータのノイズを抑制する為に導入した ❖ 指数平滑化フィルタ(DEMA)を採用

13. 演習結果

14. 中間発表まで

15. IK制御＋キャリブレーションの適用

16. 指数平滑化フィルタのon/offの比較

17. 形式や体形の違うモデルの動作比較

18. まとめ・今後の展望

19. やってきたこと 演習開始 FK制御 IK制御 4月 6月 8月 11月 キャリブレーション DEMA

    1月 :WIP:

20. 現在取り組んでいること ❖ きれいなMV(R)Pパターンに落とし込む ❖ 配布に向けてプロジェクトの整理 ❖ キャリブレーションロジックの再考

21. 今後実装したい項目 ❖ より自然なボーン制御(肩上げアシストや地面との接地感) ❖ 手・視線・表情のトラッキング ❖ Animation Rigingへの対応 ❖ カルマンフィルタの導入

22. 参考文献 ❖ Kinect for Windows SDK https://docs.microsoft.com/en-us/previous-versions/windows/kinect/dn7 99271(v=ieb.10) ❖ m2wasabi/KinectV2VRM

    https://github.com/m2wasabi/KinectV2VRM ❖ MIKUMIKUMOVING https://sites.google.com/site/mikumikumoving/manual/kinect