Slide 1

Slide 1 text

©2023 GUNCY'S Inc. All rights reserved mocopi x MotionBuilderで 簡単モーションキャプチャー

Slide 2

Slide 2 text

©2023 GUNCY'S Inc. All rights reserved 登壇者 大畑 滋 (株式会社 GUNCY’S) 2000年 株式会社IMAGICAにてモーションキャプチャを担当。8年間に渡り、収録オペレーター、編集、ディレクターの業務に従事。大手ゲーム メーカーのAAAタイトルにも参加し演出の手法やモーション指導の経験を積む。以降ゲーム制作会社、 CG制作会社にて撮影手法の提案、演技 指導、若手育成に関わる。昨今の人材不足に悩む企業が多いこともあり、その経験を活かした事業を行うべく、 様々な分野のデジタルコンテン ツ開発のコンサルティングを得意とする GUNCY'Sに合流。 岡崎 勇人 (株式会社 GUNCY’S) 個人制作を通して Blender、Unityなど3DCG全般の基礎経験を積む。 2021年にVICONモーションキャプチャに初めてふれ、 VICONシステムの 収録ノウハウ等を修得。 2022年、大手通信会社のイベントにてリアルタイム配信の同システムのオペレーションを担当。 株式会社GUNCY'Sに 入社後、MotionBuilderチュートリアルの執筆など、 Mocap基礎ノウハウのサポートに従事。

Slide 3

Slide 3 text

©2023 GUNCY'S Inc. All rights reserved 使用する製品について MotionBuilderとは オートデスク社の3Dアニメーションを得意とするソフトウェアです。モーションキャプチャーデータのリアルタイム送受 信や、オフラインファイルのデータを編集することができます。また、さまざまなデバイスとの連携もでき、操作をアニ メーションへ適用することもできます。

Slide 4

Slide 4 text

©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiとは sony社から発売されているスマホと6個のセンサーで簡単にモーションキャプチャーが出来る 「モバイルモーションキャプチャシステム」です。 大がかりな設備や準備が必要なく、簡単な準備ですぐに使えることが魅力です。スマホのアプリで動いている結果の 動画を録る以外にも、モーションのデータ保存や、PCへの転送が出来ます。  また、MotionBuilderやUnityへpluginが提供されています。 詳しくはmocopi公式サイト、デベロッパーサイトをご確認ください。

Slide 5

Slide 5 text

©2023 GUNCY'S Inc. All rights reserved アジェンダ このセミナーではmocopiで収録したモーションキャプチャーデータを、 MotionBuilderのリターゲット機能を活用して セットアップする方法ついて紹介いたします。 ・モーションキャプチャを始めるために必要なものと準備 ・MotionBuilder機能キャラクタライズ(モデルの準備) ・モーションキャプチャデータ(bvhのインポート) ・リターゲット(別のキャラクターを動かす) ・コントロールリグでのデータ編集 ・ゲームエンジンへインポート ・mocopiでモーション収録 ※項目の順番や内容に変更が生じる場合がありますので、あらかじめご了承ください。

Slide 6

Slide 6 text

©2023 GUNCY'S Inc. All rights reserved モーションキャプチャを始めるために必要なものと準備 環境 ■mocopiを使うために  スマートフォン Android、iPhone  mocopiアプリがインストールされているもの ■WindowsPC  MotionBuilder、Unity、Unreal Engineが動作するもの ■リアルタイムでmocopiからPCへ通信する場合  無線LAN環境

Slide 7

Slide 7 text

©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiでできること リアルタイムで他のアプリに データ送信 UnityやUE4等の他のソフトに接続してリアルタイム にキャラクターを動かせます。 自分の体を動かすことでキャラクターを自由に動か すことができます。 モーションをファイルとして保存しておける モーションを収録してBVHファイルとして保存 できる ので、後からモーションを再生できます。また、収録 したモーションをMotionBuilder等の他のソフトに取 り込み、後から編集することもできます。

Slide 8

Slide 8 text

©2023 GUNCY'S Inc. All rights reserved 収録モーションの編集

Slide 9

Slide 9 text

©2023 GUNCY'S Inc. All rights reserved 収録モーションの編集 大まかな流れ mocopiでモーションを保存 保存したBVHファイルをMotionBuilderへインポート キャラクタライズ モーションを3Dモデルへリターゲット コントロールリグを使い、モーションを編集 プロット(ベイク) FBXファイルとして出力

Slide 10

Slide 10 text

©2023 GUNCY'S Inc. All rights reserved mocopiからアニメーションを取り出す mocopiはモーションデータを収録するとファイルとしてスマホ内に保存されます。 iPhone:mocopiフォルダのMotionData配下 Android:ユーザーが初回保存時に指定したフォルダ配下 スマホからPCへファイルをコピーして編集をしていきます。 BVHファイル スマホ PC

Slide 11

Slide 11 text

©2023 GUNCY'S Inc. All rights reserved mocopiからアニメーションを取り出す mocopiでデータを記録するには 1. [モーション]モードへ切り替え 2. [保存/送信]をタップして、[保存]モードに切替 3. 記録ボタン(赤)をタップして、モーションキャプチャーを開始 4. 停止ボタン(赤)をタップして、モーションキャプチャーを停止 以上の操作でスマートフォン内に保存されます。 スマートフォンからデータを取り出しましょう。

Slide 12

Slide 12 text

©2023 GUNCY'S Inc. All rights reserved モーションキャプチャデータ(bvhのインポート) MotionBuilderのFileメニューから読み込みます。 読み込み方 FileメニューからMotion File Import… ダイアログボックスからファイルを指定して先に保存した”bvh"を読み込みます。 Import Option画面が表示されますので、右下のImportボタンを押します。 BVHファイルのボーンデータが表示されます。 BVHのキャラクタライズをします。

Slide 13

Slide 13 text

©2023 GUNCY'S Inc. All rights reserved キャラクタライズとは? MotionBuilderにボーンの対応付け情報を教えて あげる作業 最初はどのボーンが右腕かも区別がついていない状 態 Characterアセット   を追加 どれがどのボーンに対応しているかを覚えさせる 設定したCharacterアセットをもとに、3Dモデルを動 かすことができます。

Slide 14

Slide 14 text

©2023 GUNCY'S Inc. All rights reserved 3Dモデルの準備 (モデルにモーションを受け入れるための準備) BVHと同様にボーンをCharacterアセットに対応づけします。 1. モデルを読み込む(FileOpen) 2. Assets BrowserからCharacterアセットを追加 3. ボーンをマッピング a. モデルのボーンをリストに登録 4. Tポーズ状態で適用

Slide 15

Slide 15 text

©2023 GUNCY'S Inc. All rights reserved リターゲット(別のキャラクターを動かす) BVHのモーションをキャラクターへ転送する 1. Navigatorから動かしたいキャラクターの Characterを選択 2. 画面下のオプションから Characterを選択 3. Input Sourceをモーション(BVH)のキャラクターに指定 4. モデルがBVHと同じポーズになる ここまでできたら モーションを再生してみましょう!

Slide 16

Slide 16 text

©2023 GUNCY'S Inc. All rights reserved コントロールリグでのデータ編集 モーションの補正の編集手順 1. Control Rigにモーションをベイク 2. 関節部分に赤や青の球や黄色い棒のリグが表示される これを動かすことでモーションの補正がキレイにできる! 3. Animation Layerを追加 4. めり込みなど、補正が必要な部分を動かす 5. アニメーションの修正キーを打つ 6. 完成したら再度Plot → Skeletonを選択  モデルにモーションをベイクする!

Slide 17

Slide 17 text

©2023 GUNCY'S Inc. All rights reserved Unity、Unreal Engine等への出力 ボーンへのベイクが終わったデータを fbxで保存する。 1. 出力したいモデル(ベイクしたボーンのノード)を選択 2. Save selectionでFBXファイルで保存 3. Unity、Unreal Engineで読み込む

Slide 18

Slide 18 text

©2023 GUNCY'S Inc. All rights reserved mocopiからの リアルタイムデータ送信

Slide 19

Slide 19 text

©2023 GUNCY'S Inc. All rights reserved 使用する製品について mocopiでできること リアルタイムで他のアプリに データ送信 UnityやUE4等の他のソフトに接続してリアルタイム にキャラクターを動かせるので、 作成した部屋で自分の体を動かしてキャラクターを 自由に動かすこともできます。 モーションをファイルとして保存しておける モーションを収録してBVHファイルとして保存 できる ので、後からモーションを再生できます。また、収録 したモーションをMotionBuilder等の他のソフトに取 り込んで後から編集できます。

Slide 20

Slide 20 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiからデータをリアルタイム送信をするには MotionBuilder側のPCとmocopi側のスマホとの接続が必要 無線LANを使用して接続する

Slide 21

Slide 21 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiアプリの設定 設定から、PC接続設定画面を表示 「IP」欄にはMotionBuilderがインストールされているパソコンのIPアドレス 「Port」欄には使用するポート番号(初期値:12351) 送信フォーマットは「mocopi (UDP)」を指定してください。

Slide 22

Slide 22 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのリアルタイムデータ送信 mocopiアプリの設定 mocopiアプリからモーションデータをUDP送信できる状態にします。 [保存/送信]をタップして、[送信]を選択する。 下の送信ボタン(緑色のボタン) を押すと スマホ側でモーションの送信が開始しされます 送信側はこれで準備OK!

Slide 23

Slide 23 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る 次にモーションのデータを受け取る MotionBuilder側の設定です

Slide 24

Slide 24 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る MotionBuilder側での準備 mocopiのMotionBuilderプラグインを使用します。 mocopi pluginを「Aseet Browser」から、「mocopi plugin」をViewerにドロップ NavigatorのDevicesに追加されます。 mocopi pluginを選択し、「Model binding」のプルダウンから ”Create”を選択。 キャラクタライズされた状態でスケルトンが追加され Viewerに表示されます。

Slide 25

Slide 25 text

©2023 GUNCY'S Inc. All rights reserved mocopiからのデータをMotionBuilderで受け取る リターゲット 前半と同様に、3Dモデルを用意してリターゲット設定をします。 1. RAYNOSchanのCharacterアセットを選択 2. Input SourceにmocopiCharactrerを設定 3. Activateのチェックを入れる RAYNOSちゃんモデルがmocopiに合わせて動くようになります。

Slide 26

Slide 26 text

©2023 GUNCY'S Inc. All rights reserved MotionBuilderからUnreal Engineへデータを送信することができる MotionBuilderで取得したデータをUnreal Engineに接続するためには? 公式から提供されている Live Link プラグインを使用  MotionBuilderのプラグインはEpic games のマーケットプレイスからダウンロードできます。 Live LinkでUnreal Engineと接続 Live Link

Slide 27

Slide 27 text

©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 UE Live Linkをシーンに追加  Asset BrowserからUE Live Linkをドラッグ&ドロップ

Slide 28

Slide 28 text

©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 1. モデルの階層を選択 「…」ボタンを押下してモデルのルート以下の階層を選択 2. Addボタン押下

Slide 29

Slide 29 text

©2023 GUNCY'S Inc. All rights reserved Live Linkプラグインの設定 MotionBuilder側の準備 Stream TypeをFull Hierarchyに切り替え

Slide 30

Slide 30 text

©2023 GUNCY'S Inc. All rights reserved Unreal Engineへモーション送信 MotionBuilder側の準備 Addボタンを押下後、 リストに追加されている事を確認 Onlineの赤いランプをクリック 黄色もしくは緑に切り替われば MotionBuilder側の準備はOK

Slide 31

Slide 31 text

©2023 GUNCY'S Inc. All rights reserved Unreal Engineでデータを受け取る Unreal Engine側 MotionBuilderの情報を受け取る 画面上部からウィンドウ→ライブリンク 緑色の+ソースボタン→メッセージパスソース MotionBuilderのLive Linkプラグインで 送信しているPC名を選択

Slide 32

Slide 32 text

©2023 GUNCY'S Inc. All rights reserved モデルのインポート Unreal Engine側 MotionBuilder内と同じモデルをインポート エクスプローラからモデルファイルをドラッグ&ドロップ コンテンツブラウザに画像のように表示されます

Slide 33

Slide 33 text

©2023 GUNCY'S Inc. All rights reserved Animブループリントを作成 Unreal Engine側 アニメーションブループリントを作成 1. ピンク色のアイコンを右クリック 2. 作成する→Animブループリント 3. オレンジ色のアイコンが生成される 生成されたアイコンをダブルクリック

Slide 34

Slide 34 text

©2023 GUNCY'S Inc. All rights reserved Animブループリントの編集 Unreal Engine側 作成したAnimブループリントを編集  右クリックでメニューを表示  Live Link ポーズを選択  Live Link Subject Nameのプルダウン  MotionBuilder から  送信しているSubject名を選択  ノードをつなぐ コンパイルして保存

Slide 35

Slide 35 text

©2023 GUNCY'S Inc. All rights reserved Live Linkのコンポーネントを設定 Unreal Engine側 キャラクターにモーションを適用  シーン内のモデルを選択  コンポーネントを追加ボタン   Live Link Skeletal Animationを追加  Animation Mode:Use Animation Blueprint  Anim Class :作成したAnimブループリント

Slide 36

Slide 36 text

©2023 GUNCY'S Inc. All rights reserved MotionBuilderの操作を詳しく知りたい方に Zenn【MotionBuilderチュートリアル】 
 https://zenn.dev/guncys MotionBuilderの基本操作方法や編集の流れを詳細に 連載形式で掲載しています。 より詳しく知りたいかたは是非アクセスしてください。

Slide 37

Slide 37 text

©2023 GUNCY'S Inc. All rights reserved GUNCY'S モーションキャプチャ支援実績 ・MotionBuilderの使い方レクチャー(基礎、応用)  初心者向けに扱い方の基礎を教えます。 ・MotionBuilderでのキャラクターセットアップ(機能作り)  複数人数の取り扱いやコンストレイントを使用した仕組み作りをサポート ・モーションキャプチャデータの編集  めり込み修正やシルエットの修正などモーション加工をします。 ・モーションキャプチャ撮影の運用や基礎知識教育等のサポート  香盤表の作成や撮影手法、道具取り扱い方法などを伝授 ・光学式モーションキャプチャシステムの運用や機材取り扱いのサポート  VICON・OptiTrack等機材取り扱いの注意事項や安定したシステム管理をご提案 ・経験者人材不足のサポート  撮影のオペレータ、データ編集なども行っております。

Slide 38

Slide 38 text

©2023 GUNCY'S Inc. All rights reserved モーションキャプチャのサポートを受けたい方に モーションキャプチャ総合支援サービス “Mocap SOS” 
 https://prtimes.jp/main/html/rd/p/000000002.000078512.html モーションキャプチャの困りごとを解決すべく、ご相談をお待ちしております。 相談ごとがあればこちらへ。 コンタクト [email protected]

Slide 39

Slide 39 text

©2023 GUNCY'S Inc. All rights reserved ご清聴ありがとうございました TECHNICAL CONSULTING & PROJECT DEVELOPMENT https://guncys.com/