MocopiMotionBuilderセミナー

Transcript

1. ©2023 GUNCY'S Inc. All rights reserved mocopi x MotionBuilderで 簡単モーションキャプチャー
2. ©2023 GUNCY'S Inc. All rights reserved 登壇者 大畑 滋 (株式会社 GUNCY’S) 2000年 株式会社IMAGICAにてモーションキャプチャを担当。８年間に渡り、収録オペレーター、編集、ディレクターの業務に従事。大手ゲーム メーカーのAAAタイトルにも参加し演出の手法やモーション指導の経験を積む。以降ゲーム制作会社、 CG制作会社にて撮影手法の提案、演技 指導、若手育成に関わる。昨今の人材不足に悩む企業が多いこともあり、その経験を活かした事業を行うべく、 様々な分野のデジタルコンテン ツ開発のコンサルティングを得意とする GUNCY'Sに合流。 岡崎 勇人 (株式会社 GUNCY’S) 個人制作を通して Blender、Unityなど3DCG全般の基礎経験を積む。 2021年にVICONモーションキャプチャに初めてふれ、 VICONシステムの 収録ノウハウ等を修得。 2022年、大手通信会社のイベントにてリアルタイム配信の同システムのオペレーションを担当。 株式会社GUNCY'Sに 入社後、MotionBuilderチュートリアルの執筆など、 Mocap基礎ノウハウのサポートに従事。
3. ©2023 GUNCY'S Inc. All rights reserved 使用する製品について MotionBuilderとは オートデスク社の3Dアニメーションを得意とするソフトウェアです。モーションキャプチャーデータのリアルタイム送受 信や、オフラインファイルのデータを編集することができます。また、さまざまなデバイスとの連携もでき、操作をアニ メーションへ適用することもできます。
4. ©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiとは sony社から発売されているスマホと6個のセンサーで簡単にモーションキャプチャーが出来る 「モバイルモーションキャプチャシステム」です。 大がかりな設備や準備が必要なく、簡単な準備ですぐに使えることが魅力です。スマホのアプリで動いている結果の 動画を録る以外にも、モーションのデータ保存や、ＰＣへの転送が出来ます。 　また、MotionBuilderやUnityへpluginが提供されています。 詳しくはmocopi公式サイト、デベロッパーサイトをご確認ください。
5. ©2023 GUNCY'S Inc. All rights reserved アジェンダ このセミナーではmocopiで収録したモーションキャプチャーデータを、 MotionBuilderのリターゲット機能を活用して セットアップする方法ついて紹介いたします。 ・モーションキャプチャを始めるために必要なものと準備 ・MotionBuilder機能キャラクタライズ（モデルの準備） ・モーションキャプチャデータ(bvhのインポート） ・リターゲット(別のキャラクターを動かす） ・コントロールリグでのデータ編集 ・ゲームエンジンへインポート ・mocopiでモーション収録 ※項目の順番や内容に変更が生じる場合がありますので、あらかじめご了承ください。
6. ©2023 GUNCY'S Inc. All rights reserved モーションキャプチャを始めるために必要なものと準備 環境 ▪mocopiを使うために 　スマートフォン　Android、iPhone 　mocopiアプリがインストールされているもの ▪WindowsPC 　MotionBuilder、Unity、Unreal Engineが動作するもの ▪リアルタイムでmocopiからPCへ通信する場合 　無線LAN環境
7. ©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiでできること リアルタイムで他のアプリに データ送信 UnityやUE4等の他のソフトに接続してリアルタイム にキャラクターを動かせます。 自分の体を動かすことでキャラクターを自由に動か すことができます。 モーションをファイルとして保存しておける モーションを収録してBVHファイルとして保存 できる ので、後からモーションを再生できます。また、収録 したモーションをMotionBuilder等の他のソフトに取 り込み、後から編集することもできます。
8. ©2023 GUNCY'S Inc. All rights reserved 収録モーションの編集
9. ©2023 GUNCY'S Inc. All rights reserved 収録モーションの編集 大まかな流れ mocopiでモーションを保存 保存したBVHファイルをMotionBuilderへインポート キャラクタライズ モーションを3Dモデルへリターゲット コントロールリグを使い、モーションを編集 プロット（ベイク） FBXファイルとして出力
10. ©2023 GUNCY'S Inc. All rights reserved mocopiからアニメーションを取り出す mocopiはモーションデータを収録するとファイルとしてスマホ内に保存されます。 iPhone：mocopiフォルダのMotionData配下 Android：ユーザーが初回保存時に指定したフォルダ配下 スマホからPCへファイルをコピーして編集をしていきます。 BVHファイル スマホ PC
11. ©2023 GUNCY'S Inc. All rights reserved mocopiからアニメーションを取り出す mocopiでデータを記録するには 1. [モーション]モードへ切り替え 2. ［保存／送信］をタップして、［保存］モードに切替 3. 記録ボタン（赤）をタップして、モーションキャプチャーを開始 4. 停止ボタン（赤）をタップして、モーションキャプチャーを停止 以上の操作でスマートフォン内に保存されます。 スマートフォンからデータを取り出しましょう。
12. ©2023 GUNCY'S Inc. All rights reserved モーションキャプチャデータ(bvhのインポート） MotionBuilderのFileメニューから読み込みます。 読み込み方 FileメニューからMotion File Import… ダイアログボックスからファイルを指定して先に保存した”bvh"を読み込みます。 Import Option画面が表示されますので、右下のImportボタンを押します。 BVHファイルのボーンデータが表示されます。 BVHのキャラクタライズをします。
13. ©2023 GUNCY'S Inc. All rights reserved キャラクタライズとは？ MotionBuilderにボーンの対応付け情報を教えて あげる作業 最初はどのボーンが右腕かも区別がついていない状 態 Characterアセット　　　を追加 どれがどのボーンに対応しているかを覚えさせる 設定したCharacterアセットをもとに、3Dモデルを動 かすことができます。
14. ©2023 GUNCY'S Inc. All rights reserved 3Dモデルの準備 （モデルにモーションを受け入れるための準備） BVHと同様にボーンをCharacterアセットに対応づけします。 1. モデルを読み込む（FileOpen) 2. Assets BrowserからCharacterアセットを追加 3. ボーンをマッピング a. モデルのボーンをリストに登録 4. Tポーズ状態で適用
15. ©2023 GUNCY'S Inc. All rights reserved リターゲット(別のキャラクターを動かす） BVHのモーションをキャラクターへ転送する 1. Navigatorから動かしたいキャラクターの Characterを選択 2. 画面下のオプションから Characterを選択 3. Input Sourceをモーション（BVH）のキャラクターに指定 4. モデルがBVHと同じポーズになる ここまでできたら モーションを再生してみましょう！
16. ©2023 GUNCY'S Inc. All rights reserved コントロールリグでのデータ編集 モーションの補正の編集手順 1. Control Rigにモーションをベイク 2. 関節部分に赤や青の球や黄色い棒のリグが表示される これを動かすことでモーションの補正がキレイにできる！ 3. Animation Layerを追加 4. めり込みなど、補正が必要な部分を動かす 5. アニメーションの修正キーを打つ 6. 完成したら再度Plot →　Skeletonを選択 　モデルにモーションをベイクする！
17. ©2023 GUNCY'S Inc. All rights reserved Unity、Unreal Engine等への出力 ボーンへのベイクが終わったデータを fbxで保存する。 1. 出力したいモデル（ベイクしたボーンのノード）を選択 2. Save selectionでFBXファイルで保存 3. Unity、Unreal Engineで読み込む
18. ©2023 GUNCY'S Inc. All rights reserved mocopiからの リアルタイムデータ送信
19. ©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiでできること リアルタイムで他のアプリに データ送信 UnityやUE4等の他のソフトに接続してリアルタイム にキャラクターを動かせるので、 作成した部屋で自分の体を動かしてキャラクターを 自由に動かすこともできます。 モーションをファイルとして保存しておける モーションを収録してBVHファイルとして保存 できる ので、後からモーションを再生できます。また、収録 したモーションをMotionBuilder等の他のソフトに取 り込んで後から編集できます。
20. ©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiからデータをリアルタイム送信をするには MotionBuilder側のPCとmocopi側のスマホとの接続が必要 無線LANを使用して接続する
21. ©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiアプリの設定 設定から、PC接続設定画面を表示 「IP」欄にはMotionBuilderがインストールされているパソコンのIPアドレス 「Port」欄には使用するポート番号（初期値：12351） 送信フォーマットは「mocopi (UDP)」を指定してください。
22. ©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiアプリの設定 mocopiアプリからモーションデータをUDP送信できる状態にします。 ［保存／送信］をタップして、［送信］を選択する。 下の送信ボタン（緑色のボタン） を押すと スマホ側でモーションの送信が開始しされます 送信側はこれで準備OK！
23. ©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る 次にモーションのデータを受け取る MotionBuilder側の設定です
24. ©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る MotionBuilder側での準備 mocopiのMotionBuilderプラグインを使用します。 mocopi pluginを「Aseet Browser」から、「mocopi plugin」をViewerにドロップ NavigatorのDevicesに追加されます。 mocopi pluginを選択し、「Model binding」のプルダウンから ”Create”を選択。 キャラクタライズされた状態でスケルトンが追加され Viewerに表示されます。
25. ©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る リターゲット 前半と同様に、3Dモデルを用意してリターゲット設定をします。 1. RAYNOSchanのCharacterアセットを選択 2. Input SourceにmocopiCharactrerを設定 3. Activateのチェックを入れる RAYNOSちゃんモデルがmocopiに合わせて動くようになります。
26. ©2023 GUNCY'S Inc. All rights reserved MotionBuilderからUnreal Engineへデータを送信することができる MotionBuilderで取得したデータをUnreal Engineに接続するためには？ 公式から提供されている Live Link プラグインを使用 　MotionBuilderのプラグインはEpic games のマーケットプレイスからダウンロードできます。 Live LinkでUnreal Engineと接続 Live Link
27. ©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 UE Live Linkをシーンに追加 　Asset BrowserからUE Live Linkをドラッグ＆ドロップ
28. ©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 1. モデルの階層を選択 「…」ボタンを押下してモデルのルート以下の階層を選択 2. Addボタン押下
29. ©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 Stream TypeをFull Hierarchyに切り替え
30. ©2023 GUNCY'S Inc. All rights reserved Unreal Engineへモーション送信 MotionBuilder側の準備 Addボタンを押下後、 リストに追加されている事を確認 Onlineの赤いランプをクリック 黄色もしくは緑に切り替われば MotionBuilder側の準備はOK
31. ©2023 GUNCY'S Inc. All rights reserved Unreal Engineでデータを受け取る Unreal Engine側 MotionBuilderの情報を受け取る 画面上部からウィンドウ→ライブリンク 緑色の＋ソースボタン→メッセージパスソース MotionBuilderのLive Linkプラグインで 送信しているPC名を選択
32. ©2023 GUNCY'S Inc. All rights reserved モデルのインポート Unreal Engine側 MotionBuilder内と同じモデルをインポート エクスプローラからモデルファイルをドラッグ＆ドロップ コンテンツブラウザに画像のように表示されます
33. ©2023 GUNCY'S Inc. All rights reserved Animブループリントを作成 Unreal Engine側 アニメーションブループリントを作成 1. ピンク色のアイコンを右クリック 2. 作成する→Animブループリント 3. オレンジ色のアイコンが生成される 生成されたアイコンをダブルクリック
34. ©2023 GUNCY'S Inc. All rights reserved Animブループリントの編集 Unreal Engine側 作成したAnimブループリントを編集 　右クリックでメニューを表示 　Live Link ポーズを選択 　Live Link Subject Nameのプルダウン 　MotionBuilder から 　送信しているSubject名を選択 　ノードをつなぐ コンパイルして保存
35. ©2023 GUNCY'S Inc. All rights reserved Live Linkのコンポーネントを設定 Unreal Engine側 キャラクターにモーションを適用 　シーン内のモデルを選択 　コンポーネントを追加ボタン 　　Live Link Skeletal Animationを追加 　Animation Mode：Use Animation Blueprint 　Anim Class ：作成したAnimブループリント
36. ©2023 GUNCY'S Inc. All rights reserved MotionBuilderの操作を詳しく知りたい方に Zenn【MotionBuilderチュートリアル】 
 https://zenn.dev/guncys MotionBuilderの基本操作方法や編集の流れを詳細に 連載形式で掲載しています。 より詳しく知りたいかたは是非アクセスしてください。
37. ©2023 GUNCY'S Inc. All rights reserved GUNCY'S　モーションキャプチャ支援実績 ・MotionBuilderの使い方レクチャー（基礎、応用） 　初心者向けに扱い方の基礎を教えます。 ・MotionBuilderでのキャラクターセットアップ（機能作り） 　複数人数の取り扱いやコンストレイントを使用した仕組み作りをサポート ・モーションキャプチャデータの編集 　めり込み修正やシルエットの修正などモーション加工をします。 ・モーションキャプチャ撮影の運用や基礎知識教育等のサポート 　香盤表の作成や撮影手法、道具取り扱い方法などを伝授 ・光学式モーションキャプチャシステムの運用や機材取り扱いのサポート 　VICON・OptiTrack等機材取り扱いの注意事項や安定したシステム管理をご提案 ・経験者人材不足のサポート 　撮影のオペレータ、データ編集なども行っております。
38. ©2023 GUNCY'S Inc. All rights reserved モーションキャプチャのサポートを受けたい方に モーションキャプチャ総合支援サービス “Mocap SOS” 
 https://prtimes.jp/main/html/rd/p/000000002.000078512.html モーションキャプチャの困りごとを解決すべく、ご相談をお待ちしております。 相談ごとがあればこちらへ。 コンタクト mocap_contact@guncys.com
39. ©2023 GUNCY'S Inc. All rights reserved ご清聴ありがとうございました TECHNICAL CONSULTING & PROJECT DEVELOPMENT https://guncys.com/