Upgrade to Pro — share decks privately, control downloads, hide ads and more …

手軽なトラッキング技術で遊んでみた

16040fb086040d7a04dd40478786a4ce?s=47 あるど
January 27, 2021

 手軽なトラッキング技術で遊んでみた

社内LTで発表した内容です
ゆるく遊んだことについてまとめました。
ThreeDPoseUnityBarracudaはお手軽で良きです

16040fb086040d7a04dd40478786a4ce?s=128

あるど

January 27, 2021
Tweet

Transcript

  1. 手軽なトラッキング技術で遊んでみた

  2. トラッキング技術が面白そう!

  3. Vtuber

  4. バランスボールとかまで出来なくても全 身トラッキングやってみたい!!

  5. 課金しない方法を考える

  6. 方法を考える Oculus QuestとOculus Quest2は持ってるので…Oculus Link(PC接続)でどうにからならないか

  7. Oculus Linkは2台同時は 無理だった

  8. https://github.com/Unimakura/QuestTrackingSenderForVMT

  9. やってる人いた…

  10. 方法を考える OpenPose

  11. Unityのサンプルプロジェクトの セットアップが面倒だった

  12. 方法を考える USBカメラモーションキャプチャーThreeDPoseTrackerの説明

  13. ThreeDPoseUnityBarracuda

  14. digital-standard/ThreeDPoseUnityBarracuda

  15. Webカメラ1つで全身を トラッキングする

  16. ThreeDPoseUnityBarracuda - Barracuda - UPM(UnityPackageManager)経由で入れれる - ニューラルネットワーク推論ライブラリ - .onnx(Open Neural

    Network Exchange)を使用する
  17. ThreeDPoseUnityBarracuda - 姿勢推論の結果をBoneのTransformに反映 - 動画経由やWebCam経由などトラッキング対象を選択可

  18. どうせなら自分でモデル 作ったらテンション上がるかも?

  19. https://vroid.com/studio

  20. None
  21. None
  22. OK

  23. 口も動かしたい!

  24. https://zenn.dev/mizotake/articles/52933725d6e24fd754f9

  25. よし動かそう

  26. None
  27. 簡単に崩れるけど…

  28. 全身トラッキング楽しい

  29. おまけ

  30. パフォーマンスが 気になった

  31. Windows (GTX1660Ti)

  32. None
  33. 大体20fps弱

  34. M1 mac miniで 動かしてみる

  35. None
  36. 6fpsちょい…

  37. がんばれ M1