モーショントラッキングを用いたアニメーション制作システム自作計画

3Dアニメーションを用いたライブを行っている他団体と共同で計画したモーショントラッキングを用いてアニメーションを自動生成するシステムの企画書です。
現在はAzureKinectをベースとして3Dモデルのアニメーションを行っています。
またスケジュールは当初の予定より大幅に変更しています。

Transcript

1. アニメーション 自動生成システム ～Azure Kinectによる自動アニメーション生成～ 3Dスタジオを内製したい
2. 達成目標 1人向け 自動アニメーション 生成システム 1～5人向け リアルタイム トラッキングシステム 精度重視：ゲーム,映像制作向き 速度重視：ライブ配信向き
3. Blenderアニメーション • 打ち込みによるアニメーション作成
4. Azure Kinectによる モーショントラッキング • Kinectモーションセンサを用いたモーションキャプチャ
5. Blender + Azure Kinect • Azure Kinectのキャプチャ情報をBlenderの各種リグの座標， 回転情報に対して送信する． Azure Kinect Blender
6. しかし… • この方法では精度の保証をすることができない． •Kinect依存の制作となる．
7. 3Dスタジオ制作… • 以下のような組み立て式の3Dスタジオを作りたいです．
8. やること ハードウェア • Webカメラ調達，5×8=40台（目安） • スタジオの骨組み構築 • PC配線 etc. ソフトウェア • アニメーション制作ソフト（エディター拡張）の作成 • webカメラの同期
9. センサ取り付け図案 ポール配置図 ポールへのwebカメラ取り付け 2 m
10. スケジュール • 5月：メンバー集め，体制を整える． • 6月：3Dトラッキングの勉強会，各種機材の性能テスト • 7月：トラッキングテスト！（仮組みでの全機材フル稼働）←機材調達完了？ • 8月：↓ • 9月：他部活との交流を交えたテスト運用 • 10月：本番環境でのテスト運用 • 11月：最終調整，旭歳展示 • 12月：検討中 • 1月以降：検討中
11. Q& A Q：Mayaでは制作しないのでしょうか？ A：制作する予定はありません．Mayaは非公開情報が多すぎです． Q：システム完成後は何に使用する予定ですか？ A：ゲーム，ダンス動画などの制作に使用したいです． また，VTuberの動画制作もしたいです．（バ美肉） Q：トラッキング精度は大丈夫なのでしょうか？ A：Azure Kinectになってから10人での同時トラッキングに対応しています． ちなみに体の半分が隠れていてもトラッキングしてくれます．