リアルタイムMocapにおけるMotionBuilderの調整

GUNCY'S TA Nightにて発表したモーションキャプチャーパートのスライドになります。
MotionBuilderでRealtimeMocap時に調整する手法の一部を紹介
Mocapスタジオサービスも合わせてご紹介しています。

====
MotionBuilder のリターゲット調整方法についてご紹介します。この機能はモーションキャプチャーの現場で特に需要が高いものです。

Vicon（光学式モーションキャプチャー）から MotionBuilder へ、そして MotionBuilder から Unity や Unreal Engine へのデータ送信を行う工程において、リアルタイムでの調整方法を解説します。

TA Night イベントページ: https://www.creativevillage.ne.jp/category/event-list/159742/

Transcript

1. 株式会社GUNCY’S MotionCapture リアルタイムMocapにおける MotionBuilderの調整
2. 登壇者プロフィール 大畑 滋 シニアモーションディレクター モーションキャプチャー歴 20年以上、ゲーム制作会社、 CG制作会社に て撮影手法の提案、演技指導、若手育成に関わる。 MocapSOSではモーションキャプチャーのサポート業務を提供し、 MotionBuilderの講習やスタジオサービスを展開 https://guncys.com/mocap-sos/
3. 概要 MotionBuilder のリターゲット調整方法についてご紹介します。 モーションキャプチャーの現場で多く使われます。 モーションデータは Vicon（光学式モーションキャプチャー）から MotionBuilder へ、そして Unity や Unreal Engine へ送られます。 今回はMotionBuilderに注目し、リアルタイム撮影の調整方法をお伝えし ます。 オフラインデータの編集時にも使える機能の紹介です。
4. RealTimeMocapの流れ 流れ MotionCapture　各デバイスやアプリ ↓ データ変換ツール、データ合成、環境構 築 ↓ ＣＧ映像出力ツール (録画、配信 ) 使用するツールなど VICON、Mocopiなどのハードウェアや画像 解析ツール ↓ MotionBuilder、Unity、Unreal Engine等 データの変換や合成 ↓ Mocapデータと他のアニメーションを表示す るUnity、UnrealEngine等 の映像を加工、または直接配信
5. 今回のデータの流れ ボディのモーションキャプチャーで人の動きをデータ化し、 ボーンデータに変換されデータ送信されます。 音声やフェイシャルキャプチャーでリップシンクやフェイシャルデータが送信されます。 カメラデータをモーションキャプチャーする場合も ↓ MotionBuilder等で3DCGキャラクターと演者データの体型差を計算 (リターゲット) UnityやUnrealEngine等で各モーションキャプチャーデータと揺れ物などのシミュレーショ ンのデータを合成 背景データや照明、エフェクト等も合成 ↓ ＣＧ映像出力ツールで出来た映像と音声を合成 カメラデータの切替をする場合も 配信、録画へ
6. MotionBuilderを挟む理由 ・リターゲット機能が優秀 ・調整用のパラメーターが豊富 ・動作が軽い ・デバイス間の連携が取りやすい ・FBXファイル形式が標準 MotionBuilderはアニメーション編集に特化しており、表示やモーションの再生 動作が軽快です。 また、各デバイス接続も用意されており、データの送受信ができます。 FBXはMotionBuilderの形式であり、DCCツールのファイル互換の点に置いても幅 いろいツールからデータを取り込めます。
7. MotionBuilderの調整機能紹介 演者と3Dモデルの体型差調整で良く使用するパラメーターを紹介 自動で計算されているものはあるが、もう少し調整をしたいなど。 標準搭載機能のCharacterize機能を使います。 3Dモデルは既に登録済みを前提にパラメーター調整をご紹介します。 また、ソース(演者)のボーンも同じく登録済みとします。 今回は標準搭載機能を使用していきますので、他の制御方法の仕組みは省きます。 Navigetor→CharacterにあるCharacter Settingsを調整していきます。 コンストレイントを使用して、オリジナルのリグや計算を扱うことが出来ます。
8. MotionBuilderの調整機能紹介 演者と立ち位置を合わせる Match Source(Retargeting) onにするとモーションソースとモデルの位置を合わせます。 歩行の歩幅を同じにします。 ActionSpaceを調整すると歩幅が変更できます。 (Match Sourceオフ）原点からの差分になるので注意 100でソースと同じに 股裂きが起こらない数値の範囲で調整します。
9. MotionBuilderの調整機能紹介 足の幅調整 Feet Spacing　(offsets) 足の間隔を調節します。 足を揃えた時に、めり込むなどした場合に調整します。
10. MotionBuilderの調整機能紹介 肩の調整 Realistic Shoulder Solving(Solving） 肩の動きが少ない場合の量を調整します。 腕を上げた場合に効果があります。 ※パラメータ調整では無いが、少し強引な修正方法 　キャラクタライズ時に T-poseの姿勢を取っていますが、一旦キャラクタライズを解除し、肩のボーン をローテーションで上げ下げします。 腕はTの状態にして再度キャラクタライズを行います。 リターゲットをして確認します。
11. MotionBuilderの調整機能紹介 胸、腰位置の調整 Chest Offset T(offsets) Hips Offset T(offsets） 位置を調整することが出来ます。 Chestの調整はReach Chestに0以外の数値が入っていることが前提となります。 (Character ControlsのChest IK Blend Tの数字)
12. MotionBuilderの調整機能紹介 リーチ調整 Reach Character ControlsのChest IK Blendと同じです。 演者ソース位置に近づける動作をします。 数値が100になると一致に近くなります。 前述のMatch Source(Action Space)の数値差分の影響を受けます。 例えばMatch Sourceをonにして手のIKを100にすると ソースと同位置になります。
13. MotionBuilderの調整機能紹介 他 Floor Contact Stiffness Pull Motion Reduction 等の機能もあります。 コンストレイントや階層の組み分け、 pythonを使って便利な機能や、調整機構の作成も可能です。
14. MotionBuilderの調整機能紹介 オリジナル作成機能 ・頭、肩の角度調整 ・手の位置を顔に近づけた場合、任意のオフセットをかける機能
15. MotionBuilderのオリジナル調整機能紹介 ・頭、肩の角度調整 オフセットを入れて、頭のズレを調整 リアルタイムで調整が難しい部分は加算 HumanIKと合わせて調整 HumanIKの機能は出力モデルで行います
16. MotionBuilderのオリジナル調整機能紹介 ・頭、肩の角度調整用階層 調整機構の階層を作成。 オリジナルデータに加算のノードを追加 計算結果をリレーションコンストレイントで ボーンに直接送信
17. MotionBuilderのオリジナル調整機能紹介 ・手の位置を任意にオフセットする 元ソースにオフセットとスイッチ機構を設け任意の位置になる仕組みを入れている
18. MotionBuilderのオリジナル調整機能紹介 ターゲットを設定し、離れた距離でオリジナルの位置とオフセット位置の切替を行っています。
19. 使用したRelationConstraint一例
21. 調整用ノードのデータの流れ 選択に使う階層はモデルと同じボーンの構造を使用しています。 Mocapデータからモデルデータへの流れ Mocapデータ(キャラクタライズ済みのもの ) ↓ ダミー階層でリターゲット (前図の右上)(キャラクタライズ) Feet Spacing等のSolver調整はここで行います ↓ IKやオフセットの計算(ターゲット位置の調整 ) ↓ モデルデータ(結果)
22. https://guncys.com/mocap-sos/ MocapSOSのご案内 モーションキャプチャーのスペシャリストによるテクニカルコンサルティングサービスと 光学式モーションキャプチャシステム VICONを備えたスタジオサービスを行っています
23. コンサルティングについて
24. MotionCaptureスタジオ紹介 2Fメインスタジオ 3Fサブスタジオ
25. 2F　メインスタジオ 設置カメラ　 VICON社 Valkyrie VK26　64台 部屋サイズ W10ｍ×D10m×H6m 撮影エリア W5ｍ×D5ｍ×H3m(白枠の7m×7ｍも データ撮影は可能です） 天井からの操演も可能 防音設備　 100db程度可能 標準同時撮影人数 3名～5名(演技内容に よる)
26. 3F　サブスタジオ 設置カメラ　 VICON社 VERO1.3 24台 部屋サイズ W10ｍ×D4.5m×H3m 撮影エリア W5.5ｍ×D2.5ｍ×H2.5m 標準同時撮影人数 1～3名(演技内容によ る) 役者控室、シャワールーム、関係者待機スペースもございます。
27. １F　教育、講習　スタジオ連携 MotionBuilderの講習用に生徒用の PC 10台 を用意 データを触りながら学習が出来る講習を行っ ております。 2F3Fスタジオと連携し、サブ・コントロール ルームとしても利用いただけます。
28. MocapSOS　スタジオについて https://guncys.com/mocap-sos/ MotionBuilderチュートリアル https://zenn.dev/guncys MocapSOSのリンクご案内
29. ご清聴ありがとうございました