Kinectによる自然な姿勢推定の実装 最終発表資料

情報特別演習Ⅱの最終発表会の資料

Transcript

1. Kinectによる 自然な姿勢推定の実現 情報科学類２年 堤海斗 情報特別演習Ⅱ最終発表会
2. Agenda ❖ 演習概要 ❖ 導入手法 ❖ 演習結果 ❖ まとめ・今後の展望
3. 演習概要
4. 本演習の目的 Kinect v2を使った モーションキャプチャシステムを作る
5. Kinect v2による姿勢推定 Microsoftが開発している 赤外線カメラデバイス 人の関節の位置/回転を推定できる サポートが終わっている
6. アバター制御のプロセス Kinectから 骨格情報を取得 データを補正 アバターに適用
7. 開発環境 ❏ Kinect v2 ❏ Unity 2018.4.x ❏ Mecanim ❏ UniRx/UniTask/Zenject ❏ UniVRM/MMD4Mecanim
8. 導入手法
9. 導入手法 ❖ IK制御 ❖ キャリブレーション ❖ 平滑化フィルタ
10. IK制御 ❖ 末端のボーンをもとに各 ボーンの姿勢を推定する 手法 ❖ 誤差の影響を抑えること ができる
11. キャリブレーション ❖ 演者とモデルの体形を合わ せる手法 ❖ 今回は上半身は胸を基準 に、 下半身は腰を基準に位置 合わせを行った
12. 平滑化フィルタ ❖ モーションデータのノイズを抑制する為に導入した ❖ 指数平滑化フィルタ(DEMA)を採用
13. 演習結果
14. 中間発表まで
15. IK制御＋キャリブレーションの適用
16. 指数平滑化フィルタのon/offの比較
17. 形式や体形の違うモデルの動作比較
18. まとめ・今後の展望
19. やってきたこと 演習開始 FK制御 IK制御 4月 6月 8月 11月 キャリブレーション DEMA 1月 :WIP:
20. 現在取り組んでいること ❖ きれいなMV(R)Pパターンに落とし込む ❖ 配布に向けてプロジェクトの整理 ❖ キャリブレーションロジックの再考
21. 今後実装したい項目 ❖ より自然なボーン制御(肩上げアシストや地面との接地感) ❖ 手・視線・表情のトラッキング ❖ Animation Rigingへの対応 ❖ カルマンフィルタの導入
22. 参考文献 ❖ Kinect for Windows SDK https://docs.microsoft.com/en-us/previous-versions/windows/kinect/dn7 99271(v=ieb.10) ❖ m2wasabi/KinectV2VRM https://github.com/m2wasabi/KinectV2VRM ❖ MIKUMIKUMOVING https://sites.google.com/site/mikumikumoving/manual/kinect