手軽なトラッキング技術で遊んでみた

Transcript

1. 手軽なトラッキング技術で遊んでみた

2. トラッキング技術が面白そう！

3. Vtuber

4. バランスボールとかまで出来なくても全 身トラッキングやってみたい！！

5. 課金しない方法を考える

6. 方法を考える Oculus QuestとOculus Quest2は持ってるので…Oculus Link(PC接続)でどうにからならないか

7. Oculus Linkは2台同時は 無理だった

8. https://github.com/Unimakura/QuestTrackingSenderForVMT

9. やってる人いた…

10. 方法を考える OpenPose

11. Unityのサンプルプロジェクトの セットアップが面倒だった

12. 方法を考える USBカメラモーションキャプチャーThreeDPoseTrackerの説明

13. ThreeDPoseUnityBarracuda

14. digital-standard/ThreeDPoseUnityBarracuda

15. Webカメラ1つで全身を トラッキングする

16. ThreeDPoseUnityBarracuda - Barracuda - UPM(UnityPackageManager)経由で入れれる - ニューラルネットワーク推論ライブラリ - .onnx(Open Neural

    Network Exchange)を使用する

17. ThreeDPoseUnityBarracuda - 姿勢推論の結果をBoneのTransformに反映 - 動画経由やWebCam経由などトラッキング対象を選択可

18. どうせなら自分でモデル 作ったらテンション上がるかも？

19. https://vroid.com/studio

20. None
21. None

22. OK

23. 口も動かしたい！

24. https://zenn.dev/mizotake/articles/52933725d6e24fd754f9

25. よし動かそう

26. None

27. 簡単に崩れるけど…

28. 全身トラッキング楽しい

29. おまけ

30. パフォーマンスが 気になった

31. Windows (GTX1660Ti)

32. None

33. 大体20fps弱

34. M1 mac miniで 動かしてみる

35. None

36. 6fpsちょい…

37. がんばれ M1