「生きているモーション」を作り出すCygamesのモーションキャプチャー

Transcript

1. 1/98 ビジュアルアーツ/エンジニアリング 「生きているモーション」を作り出す Cygamesのモーションキャプチャー 3DCGアーティストチーム モーションキャプチャーアーティスト / 横山 亮平
2. 2/98 講演概要 Cygamesモーションキャプチャーチーム 独自の編集方法について実例を交えて紹介！ 得られる知見 ◆ モーションキャプチャーの全体的なフロー ◆ 使用する機材やソフトフェアの具体的な役割 ◆ 「生きているモーション」を作成するためのポイント
3. 3/98 横山 亮平 デザイナー部 3DCGアーティストチーム モーションキャプチャーアーティスト 2023年に株式会社Cygamesへ合流。 モーションキャプチャースタジオスタッフとして従事。 モーションキャプチャーデータの撮影、 撮影したデータの管理、編集などを担っている。 自己紹介
4. 4/98 生きているモーションとは キャラクターの意思や感情を 感じ取れるモーション
5. 5/98 生きているモーションとは 完成画面 編集データ 撮影データ ※実際には別撮りしている箇所が多いため、 ゲーム画面の振り付けと異なる場所があります。 予めご了承ください。 ※ゲーム画面は本来30fpsですが、本映像は60fpsとなっております。 画面の見方 補足
6. 6/98
7. 7/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
8. 8/98 モーションキャプチャーとは 人・物の動き(モーション)を撮影(キャプチャー) → データ化してCGキャラクター等に反映 撮 影 データ化 キャラに反映
9. 9/98 モーションキャプチャーとは
10. 10/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 – スタジオ環境や機材 – 撮影フロー 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
11. 11/98 スタジオ紹介 撮影エリア 光学式カメラ Vicon Vantage V16 72台 9m x 16m x 3m 東京スタジオ
12. 12/98 光学式モーションキャプチャー 光学式キャプチャーシステム マーカー
13. 13/98 光学式カメラ 1.ストロボで照射 2.マーカーが反射
14. 14/98 データ化 マーカーデータ取得 3D化 骨の作成
15. 15/98 撮影フロー 撮影フローは大きく2種類 オフライン (撮影後に編集) 撮 影 編 集 納 品 リアルタイム (撮影と配信がほぼ同時) セットアップ 撮 影 配 信
16. 16/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
17. 17/98 キャラクターの意思や 感情を感じ取れる モーション アクターとキャラクターの 体格差による モーションの違和感 様 々 な 工 夫 スタジオが目指す指標
18. 18/98 「生きているモーション」を作るために 独自開発のツールを導入 同時に成立させるのが難しい複数箇所の編集など、 難易度の高い調整で最大効率を発揮する。 必要に応じて手動調整を採用 最大限クオリティを上げるために手動での調整が 最適な場合は労を惜しまず手動調整を採用している。 クオリティ 効率 と の最大化!! 効率 クオリティ
19. 19/98 具体的な制作事例を紹介します!! オフライン編集 リアルタイムのキャラライブ 「生きているモーション」を作るために
20. 20/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 – オフライン編集の概要 – オフライン編集のワークフロー – オフライン編集の要、リターゲット編集 – 独自ツールによる効率化事例 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
21. 21/98 オフライン編集の概要
22. 22/98 オフライン編集の概要 一般的なワークフロー 撮影 ラベリング 編集 リターゲット 編集 納品 1 2 3 4
23. 23/98 オフライン編集の概要 一般的なワークフロー 撮影 ラベリング 編集 リターゲット 編集 納品 1 2 3 4 オフライン編集
24. 24/98 オフライン編集のワークフロー
25. 25/98 オフライン編集のワークフロー ◆アクターが演技 ◆専用カメラとソフトで撮影 ◆キャラクターに流し込みプレビュー ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集 ❶撮影
26. 26/98 アクター演技/撮影 演 技 アクター 撮 影 Vantage データ化 Shogun ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集
27. 27/98 プレビュー データ化 Shogun プレビュー MotionBuilder ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集
28. 28/98 東京スタジオでの撮影方法 で検索 東京Mocapスタジオ Cygames Tech Conference 撮影方法の詳細は YouTube で ！
29. 29/98 オフライン編集のワークフロー ◆マーカーに固有のIDを付与 ◆マーカーの修正 ◆マーカーの復元 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集 ❷ラベリング編集
30. 30/98 ラベリングとは マーカー群 固有ID付与 骨の生成 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集
31. 31/98 マーカーの修正 左手の修正例 修正前 修正後 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集
32. 32/98 マーカーの復元 復元前 復元後 左手の復元例 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集
33. 33/98
34. 34/98 オフライン編集のワークフロー ❸リターゲット編集 ・ポーズ差の修正 ・体や服へのめり込みの修正 ・足と床の接地の修正 ◆マーカーや骨のデータをキャラクターに反映 ◆体格差により発生する不具合の修正 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
35. 35/98 不具合の原因となる体格差 アクター キャラクター 体格差により骨の長さや関節位置が異なる ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
36. 36/98 アクターとキャラクターの骨格差
37. 37/98 1. ポーズ差の修正 アクター キャラクター ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
38. 38/98 1. ポーズ差の修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
39. 39/98
40. 40/98 2. 体や服へのめり込みを修正 アクター キャラクター ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
41. 41/98 2. 体や服へのめり込みを修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
42. 42/98
43. 43/98 3.足と床の接地の修正 足の長さ/腰丈が 異なる 床面との接地の不具合 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
44. 44/98 3.足と床の接地の修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集
45. 45/98
46. 46/98 オフライン編集を含むワークフロー ❹納品 ◆データの整理 ◆別部署での仕上げ作業 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集
47. 47/98
48. 48/98 オフライン編集の要、リターゲット編集
49. 49/98 オフライン編集の要、リターゲット編集 Cygamesの編集ポイント ◆重心の再現 ◆関節の角度 ◆接地/接触 リターゲット編集こそが 実質的なクオリティを決定づける作業！
50. 50/98 ❶重心の再現 アクターが演じる重心の流れを再現しないと軽い動きになる。 オフライン編集の要、リターゲット編集 位置/姿勢 流れ 生きている モーション ①重心の再現 ②関節の角度 ③接地/接触
51. 51/98 オフライン編集の要、リターゲット編集 そもそも重心とは… 姿勢に対し身体のバランスを保つ点 身体のどこに体重が乗っているか、 バランスを保てる場所はどこかを探る
52. 52/98 重心の位置/姿勢 オフライン編集の要、リターゲット編集 アクター キャラクター ①重心の再現 ②関節の角度 ③接地/接触
53. 53/98 オフライン編集の要、リターゲット編集 修正前 修正後 重心の位置/姿勢 ①重心の再現 ②関節の角度 ③接地/接触
54. 54/98 オフライン編集の要、リターゲット編集 重心の軌道 ①重心の再現 ②関節の角度 ③接地/接触
55. 55/98
56. 56/98 ・ウイニングチケット スキルカット
57. 57/98 ❷関節の角度 オフライン編集の要、リターゲット編集 ①重心の再現 ②関節の角度 ③接地/接触 アクターのポーズに近い関節の角度を再現しないと、 動きの意図が損なわれてしまう。
58. 58/98 修正前 修正後
59. 59/98 ❸接地/接触 オフライン編集の要、リターゲット編集 手合わせや、足と床の接地をしっかりと調整しないと、 不自然なモーションになる。 手合わせや、足と床の接地をしっかりと調整しないと、 不自然なモーションになる。 ①重心の再現 ②関節の角度 ③接地/接触
60. 60/98 修正前 修正後
61. 61/98
62. 62/98 複数編集を並立させる独自ツール
63. 63/98 難易度が高い複数編集 腰当てによる接触と足を伸ばした状態で接地さ せる必要がある。 接地/接触 接地を行った上、関節角度の再現をする必要が ある。 関節角度 複数の修正ポイントが干渉し合う事例① 立ちポーズ 接地/接触 関節角度 接地/接触
64. 64/98 難易度が高い複数編集 接地 一歩ずつ接地するたびに調整する必要がある。 一歩ずつ残り足が伸びきらないように調整且つ 関節角度を再現する必要がある。 関節角度 本来のアクターの重心に近い軌道になるように 編集する必要がある。 重心 接地 複数の修正ポイントが干渉し合う事例② 歩き 関節角度 重心 接地
65. 65/98 Cygamesのアプローチ 独自ツールの導入！ 複数の編集ポイントを干渉し合うことなく 並立させることが可能になる。 部位ごとに複数モーションを保持/選択 シチュエーションに応じて、 各モーションの優先度を調整できる。 モーション優先度の調整
66. 66/98 独自ツールの機能解説① 修正前 修正後 アクターのデータより手の部分の モーションのみ取得 部分的な不具合 独自ツール 修正後 反 映 部位ごとに複数モーションを保持/選択
67. 67/98 独自ツールの機能解説② モーション優先度の調整 ～両足を大きく開いて腰を振るダンスモーション～
68. 68/98 × 〇 両足を大きく開いて腰を振るダンスモーション 関節の角度 重心の動き の両立が難しい と アクター キャラクター
69. 69/98 「重心の動き」を優先した際の不具合
70. 70/98 「関節の角度」を優先した際の不具合
71. 71/98 独自ツール機能解説② モーション優先度の調整!! 複数部位のモーション間で並立できる最適なバランスを見出す 関節角度 重心 重心 関節 角度 足元アップの場合 膝上アップの場合
72. 72/98
73. 73/98 生きているモーションとは ※実際には別撮りしている箇所が多いため、 ゲーム画面の振り付けと異なる場所があります。 予めご了承ください。 ※ゲーム画面は本来30fpsですが、本映像は60fpsとなっております。 編集画面 完成画面 Shogun 画面の見方 補足 ダンス映像
74. 74/98
75. 75/98 オフライン編集のまとめ
76. 76/98 オフライン編集まとめ リターゲット編集こそが 実質的なクオリティを決定づける作業！ Cygamesの編集ポイント ◆重心の再現 ◆関節の角度 ◆接地/接触
77. 77/98 接地 一歩ずつ接地するたびに調整する必要がある。 一歩ずつ残り足が伸びきらないように調整且つ 関節角度を再現する必要がある。 関節角度 本来のアクターの重心に近い軌道になるように 編集する必要がある。 重心 接地 関節角度 重心 接地 オフライン編集まとめ 複数の修正ポイントが干渉し合うと難易度が上がる
78. 78/98 Cygamesのアプローチ 独自ツールの導入！ 複数の編集ポイントを干渉し合うことなく 並立させることが可能になる。 部位ごとに複数モーションを保持/選択 シチュエーションに応じて、 各モーションの優先度を調整できる。 モーション優先度の調整
79. 79/98 独自ツールの機能解説① 修正前 修正後 アクターのデータより手の部分の モーションのみ取得 部分的な不具合 独自ツール 修正後 反 映 部位ごとに複数モーションを保持/選択
80. 80/98 独自ツールの機能解説② モーション優先度の調整!! 関節角度 重心 複数部位のモーション間で並立できる最適なバランスを見出す 重心 関節 角度 足元アップの場合 膝上アップの場合
81. 81/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
82. 82/98 リアルタイムとは リアルタイム (撮影と配信がほぼ同時) セットアップ 撮 影 配 信
83. 83/98 キャラライブはセットアップが命!! リアルタイム ラベリング編集【不可】 リターゲット編集【不可】 本番までにブラッシュアップ セットアップが最重要！
84. 84/98 Cygamesのアプローチ 独自ツール 手動調整 と のハイブリッドを採用 骨の手動調整 アクター毎にそれぞれ手動で骨を調整。よりアクターの体格に近い 骨を作成し、モーションの再現性を向上させる。 本来リアルタイムのライブでは難しいとされている 体格差により発生するモーションの不具合を自動補正する。 独自ツールによる事前セットアップ 手動 自動
85. 85/98 骨の手動調整 肩マーカーの位置 自動計算された骨の位置 ※肩の骨の高さがマーカーとほぼ同じ高さになるように調整した例 手動調整 マーカーデータを基に 関節位置や長さを手動で調整！
86. 86/98 独自ツールによる事前セットアップ 独自ツール オフライン編集で使用しているツール を工程を変えて使用！ オフライン 撮 影 編 集 納 品 リアルタイム セットアップ 撮 影 配 信 独自ツール 独自ツール
87. 87/98 独自ツールによる自動補正例 めり込み回避 指ポーズ補正 手合わせ
88. 88/98 キャラライブはセットアップが命！！ 実際に動画をご覧ください！ リアルタイム
89. 89/98
90. 90/98
91. 91/98
92. 92/98 キャラライブ実例紹介！ Special Character Live おこたみMC 一部をご覧ください！ グラブルフェス2023 DAY1
93. 93/98
94. 94/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ
95. 95/98 「生きているモーション」 キャラクターの意思や感情を感じ取れるモーション 演者さん（アクター）とキャラクターの体格差から発生するモーション の様々な違和感を解消することで実現。 = スタジオが目指す指標
96. 96/98 Cygamesのアプローチ 独自開発のツールを導入 同時に成立させるのが難しい複数箇所の編集など、 難易度の高い調整で最大効率を発揮する。 必要に応じて手動調整を採用 最大限クオリティを上げるために手動での調整が 最適な場合は労を惜しまず手動調整を採用している。 クオリティ 効率 と の最大化!! 効率 クオリティ
97. 97/98 オフライン編集とリアルタイム オフライン編集の要リターゲット オフライン編集ではリターゲット編集こそ クオリティの要であり、こだわりを持ち多くの 調整を行っている。 リアルタイムはセットアップが命 リアルタイムでは手動での骨調整とツールによる 自動調整を採用し、クオリティの最大化を目指している。
98. 98/98