手軽なトラッキング技術で遊んでみた

社内LTで発表した内容です
ゆるく遊んだことについてまとめました。
ThreeDPoseUnityBarracudaはお手軽で良きです

Transcript

1. 手軽なトラッキング技術で遊んでみた
2. トラッキング技術が面白そう！
3. Vtuber
4. バランスボールとかまで出来なくても全 身トラッキングやってみたい！！
5. 課金しない方法を考える
6. 方法を考える Oculus QuestとOculus Quest2は持ってるので…Oculus Link(PC接続)でどうにからならないか
7. Oculus Linkは2台同時は 無理だった
8. https://github.com/Unimakura/QuestTrackingSenderForVMT
9. やってる人いた…
10. 方法を考える OpenPose
11. Unityのサンプルプロジェクトの セットアップが面倒だった
12. 方法を考える USBカメラモーションキャプチャーThreeDPoseTrackerの説明
13. ThreeDPoseUnityBarracuda
14. digital-standard/ThreeDPoseUnityBarracuda
15. Webカメラ1つで全身を トラッキングする
16. ThreeDPoseUnityBarracuda - Barracuda - UPM(UnityPackageManager)経由で入れれる - ニューラルネットワーク推論ライブラリ - .onnx(Open Neural Network Exchange)を使用する
17. ThreeDPoseUnityBarracuda - 姿勢推論の結果をBoneのTransformに反映 - 動画経由やWebCam経由などトラッキング対象を選択可
18. どうせなら自分でモデル 作ったらテンション上がるかも？
19. https://vroid.com/studio
22. OK
23. 口も動かしたい！
24. https://zenn.dev/mizotake/articles/52933725d6e24fd754f9
25. よし動かそう
27. 簡単に崩れるけど…
28. 全身トラッキング楽しい
29. おまけ
30. パフォーマンスが 気になった
31. Windows (GTX1660Ti)
33. 大体20fps弱
34. M1 mac miniで 動かしてみる
36. 6fpsちょい…
37. がんばれ M1