Tweet
Tweet

Slide 1

Slide 1 text

1/98 ビジュアルアーツ/エンジニアリング 「生きているモーション」を作り出す Cygamesのモーションキャプチャー 3DCGアーティストチーム モーションキャプチャーアーティスト / 横山 亮平

Slide 2

Slide 2 text

2/98 講演概要 Cygamesモーションキャプチャーチーム 独自の編集方法について実例を交えて紹介！ 得られる知見 ◆ モーションキャプチャーの全体的なフロー ◆ 使用する機材やソフトフェアの具体的な役割 ◆ 「生きているモーション」を作成するためのポイント

Slide 3

Slide 3 text

3/98 横山 亮平 デザイナー部 3DCGアーティストチーム モーションキャプチャーアーティスト 2023年に株式会社Cygamesへ合流。 モーションキャプチャースタジオスタッフとして従事。 モーションキャプチャーデータの撮影、 撮影したデータの管理、編集などを担っている。 自己紹介

Slide 4

Slide 4 text

4/98 生きているモーションとは キャラクターの意思や感情を 感じ取れるモーション

Slide 5

Slide 5 text

5/98 生きているモーションとは 完成画面 編集データ 撮影データ ※実際には別撮りしている箇所が多いため、 ゲーム画面の振り付けと異なる場所があります。 予めご了承ください。 ※ゲーム画面は本来30fpsですが、本映像は60fpsとなっております。 画面の見方 補足

Slide 6

Slide 6 text

6/98

Slide 7

Slide 7 text

7/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 8

Slide 8 text

8/98 モーションキャプチャーとは 人・物の動き(モーション)を撮影(キャプチャー) → データ化してCGキャラクター等に反映 撮 影 データ化 キャラに反映

Slide 9

Slide 9 text

9/98 モーションキャプチャーとは

Slide 10

Slide 10 text

10/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 – スタジオ環境や機材 – 撮影フロー 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 11

Slide 11 text

11/98 スタジオ紹介 撮影エリア 光学式カメラ Vicon Vantage V16 72台 9m x 16m x 3m 東京スタジオ

Slide 12

Slide 12 text

12/98 光学式モーションキャプチャー 光学式キャプチャーシステム マーカー

Slide 13

Slide 13 text

13/98 光学式カメラ 1.ストロボで照射 2.マーカーが反射

Slide 14

Slide 14 text

14/98 データ化 マーカーデータ取得 3D化 骨の作成

Slide 15

Slide 15 text

15/98 撮影フロー 撮影フローは大きく2種類 オフライン (撮影後に編集) 撮 影 編 集 納 品 リアルタイム (撮影と配信がほぼ同時) セットアップ 撮 影 配 信

Slide 16

Slide 16 text

16/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 17

Slide 17 text

17/98 キャラクターの意思や 感情を感じ取れる モーション アクターとキャラクターの 体格差による モーションの違和感 様 々 な 工 夫 スタジオが目指す指標

Slide 18

Slide 18 text

18/98 「生きているモーション」を作るために 独自開発のツールを導入 同時に成立させるのが難しい複数箇所の編集など、 難易度の高い調整で最大効率を発揮する。 必要に応じて手動調整を採用 最大限クオリティを上げるために手動での調整が 最適な場合は労を惜しまず手動調整を採用している。 クオリティ 効率 と の最大化!! 効率 クオリティ

Slide 19

Slide 19 text

19/98 具体的な制作事例を紹介します!! オフライン編集 リアルタイムのキャラライブ 「生きているモーション」を作るために

Slide 20

Slide 20 text

20/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 – オフライン編集の概要 – オフライン編集のワークフロー – オフライン編集の要、リターゲット編集 – 独自ツールによる効率化事例 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 21

Slide 21 text

21/98 オフライン編集の概要

Slide 22

Slide 22 text

22/98 オフライン編集の概要 一般的なワークフロー 撮影 ラベリング 編集 リターゲット 編集 納品 1 2 3 4

Slide 23

Slide 23 text

23/98 オフライン編集の概要 一般的なワークフロー 撮影 ラベリング 編集 リターゲット 編集 納品 1 2 3 4 オフライン編集

Slide 24

Slide 24 text

24/98 オフライン編集のワークフロー

Slide 25

Slide 25 text

25/98 オフライン編集のワークフロー ◆アクターが演技 ◆専用カメラとソフトで撮影 ◆キャラクターに流し込みプレビュー ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集 ❶撮影

Slide 26

Slide 26 text

26/98 アクター演技/撮影 演 技 アクター 撮 影 Vantage データ化 Shogun ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集

Slide 27

Slide 27 text

27/98 プレビュー データ化 Shogun プレビュー MotionBuilder ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集

Slide 28

Slide 28 text

28/98 東京スタジオでの撮影方法 で検索 東京Mocapスタジオ Cygames Tech Conference 撮影方法の詳細は YouTube で ！

Slide 29

Slide 29 text

29/98 オフライン編集のワークフロー ◆マーカーに固有のIDを付与 ◆マーカーの修正 ◆マーカーの復元 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集 ❷ラベリング編集

Slide 30

Slide 30 text

30/98 ラベリングとは マーカー群 固有ID付与 骨の生成 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集

Slide 31

Slide 31 text

31/98 マーカーの修正 左手の修正例 修正前 修正後 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集

Slide 32

Slide 32 text

32/98 マーカーの復元 復元前 復元後 左手の復元例 ①撮影 ②ラベリング編集 ④納品 ③リターゲット 編集

Slide 33

Slide 33 text

33/98

Slide 34

Slide 34 text

34/98 オフライン編集のワークフロー ❸リターゲット編集 ・ポーズ差の修正 ・体や服へのめり込みの修正 ・足と床の接地の修正 ◆マーカーや骨のデータをキャラクターに反映 ◆体格差により発生する不具合の修正 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 35

Slide 35 text

35/98 不具合の原因となる体格差 アクター キャラクター 体格差により骨の長さや関節位置が異なる ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 36

Slide 36 text

36/98 アクターとキャラクターの骨格差

Slide 37

Slide 37 text

37/98 1. ポーズ差の修正 アクター キャラクター ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 38

Slide 38 text

38/98 1. ポーズ差の修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 39

Slide 39 text

39/98

Slide 40

Slide 40 text

40/98 2. 体や服へのめり込みを修正 アクター キャラクター ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 41

Slide 41 text

41/98 2. 体や服へのめり込みを修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 42

Slide 42 text

42/98

Slide 43

Slide 43 text

43/98 3.足と床の接地の修正 足の長さ/腰丈が 異なる 床面との接地の不具合 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 44

Slide 44 text

44/98 3.足と床の接地の修正 修正前 修正後 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット編集

Slide 45

Slide 45 text

45/98

Slide 46

Slide 46 text

46/98 オフライン編集を含むワークフロー ❹納品 ◆データの整理 ◆別部署での仕上げ作業 ①撮影 ②ラベリング 編集 ④納品 ③リターゲット 編集

Slide 47

Slide 47 text

47/98

Slide 48

Slide 48 text

48/98 オフライン編集の要、リターゲット編集

Slide 49

Slide 49 text

49/98 オフライン編集の要、リターゲット編集 Cygamesの編集ポイント ◆重心の再現 ◆関節の角度 ◆接地/接触 リターゲット編集こそが 実質的なクオリティを決定づける作業！

Slide 50

Slide 50 text

50/98 ❶重心の再現 アクターが演じる重心の流れを再現しないと軽い動きになる。 オフライン編集の要、リターゲット編集 位置/姿勢 流れ 生きている モーション ①重心の再現 ②関節の角度 ③接地/接触

Slide 51

Slide 51 text

51/98 オフライン編集の要、リターゲット編集 そもそも重心とは… 姿勢に対し身体のバランスを保つ点 身体のどこに体重が乗っているか、 バランスを保てる場所はどこかを探る

Slide 52

Slide 52 text

52/98 重心の位置/姿勢 オフライン編集の要、リターゲット編集 アクター キャラクター ①重心の再現 ②関節の角度 ③接地/接触

Slide 53

Slide 53 text

53/98 オフライン編集の要、リターゲット編集 修正前 修正後 重心の位置/姿勢 ①重心の再現 ②関節の角度 ③接地/接触

Slide 54

Slide 54 text

54/98 オフライン編集の要、リターゲット編集 重心の軌道 ①重心の再現 ②関節の角度 ③接地/接触

Slide 55

Slide 55 text

55/98

Slide 56

Slide 56 text

56/98 ・ウイニングチケット スキルカット

Slide 57

Slide 57 text

57/98 ❷関節の角度 オフライン編集の要、リターゲット編集 ①重心の再現 ②関節の角度 ③接地/接触 アクターのポーズに近い関節の角度を再現しないと、 動きの意図が損なわれてしまう。

Slide 58

Slide 58 text

58/98 修正前 修正後

Slide 59

Slide 59 text

59/98 ❸接地/接触 オフライン編集の要、リターゲット編集 手合わせや、足と床の接地をしっかりと調整しないと、 不自然なモーションになる。 手合わせや、足と床の接地をしっかりと調整しないと、 不自然なモーションになる。 ①重心の再現 ②関節の角度 ③接地/接触

Slide 60

Slide 60 text

60/98 修正前 修正後

Slide 61

Slide 61 text

61/98

Slide 62

Slide 62 text

62/98 複数編集を並立させる独自ツール

Slide 63

Slide 63 text

63/98 難易度が高い複数編集 腰当てによる接触と足を伸ばした状態で接地さ せる必要がある。 接地/接触 接地を行った上、関節角度の再現をする必要が ある。 関節角度 複数の修正ポイントが干渉し合う事例① 立ちポーズ 接地/接触 関節角度 接地/接触

Slide 64

Slide 64 text

64/98 難易度が高い複数編集 接地 一歩ずつ接地するたびに調整する必要がある。 一歩ずつ残り足が伸びきらないように調整且つ 関節角度を再現する必要がある。 関節角度 本来のアクターの重心に近い軌道になるように 編集する必要がある。 重心 接地 複数の修正ポイントが干渉し合う事例② 歩き 関節角度 重心 接地

Slide 65

Slide 65 text

65/98 Cygamesのアプローチ 独自ツールの導入！ 複数の編集ポイントを干渉し合うことなく 並立させることが可能になる。 部位ごとに複数モーションを保持/選択 シチュエーションに応じて、 各モーションの優先度を調整できる。 モーション優先度の調整

Slide 66

Slide 66 text

66/98 独自ツールの機能解説① 修正前 修正後 アクターのデータより手の部分の モーションのみ取得 部分的な不具合 独自ツール 修正後 反 映 部位ごとに複数モーションを保持/選択

Slide 67

Slide 67 text

67/98 独自ツールの機能解説② モーション優先度の調整 ～両足を大きく開いて腰を振るダンスモーション～

Slide 68

Slide 68 text

68/98 × 〇 両足を大きく開いて腰を振るダンスモーション 関節の角度 重心の動き の両立が難しい と アクター キャラクター

Slide 69

Slide 69 text

69/98 「重心の動き」を優先した際の不具合

Slide 70

Slide 70 text

70/98 「関節の角度」を優先した際の不具合

Slide 71

Slide 71 text

71/98 独自ツール機能解説② モーション優先度の調整!! 複数部位のモーション間で並立できる最適なバランスを見出す 関節角度 重心 重心 関節 角度 足元アップの場合 膝上アップの場合

Slide 72

Slide 72 text

72/98

Slide 73

Slide 73 text

73/98 生きているモーションとは ※実際には別撮りしている箇所が多いため、 ゲーム画面の振り付けと異なる場所があります。 予めご了承ください。 ※ゲーム画面は本来30fpsですが、本映像は60fpsとなっております。 編集画面 完成画面 Shogun 画面の見方 補足 ダンス映像

Slide 74

Slide 74 text

74/98

Slide 75

Slide 75 text

75/98 オフライン編集のまとめ

Slide 76

Slide 76 text

76/98 オフライン編集まとめ リターゲット編集こそが 実質的なクオリティを決定づける作業！ Cygamesの編集ポイント ◆重心の再現 ◆関節の角度 ◆接地/接触

Slide 77

Slide 77 text

77/98 接地 一歩ずつ接地するたびに調整する必要がある。 一歩ずつ残り足が伸びきらないように調整且つ 関節角度を再現する必要がある。 関節角度 本来のアクターの重心に近い軌道になるように 編集する必要がある。 重心 接地 関節角度 重心 接地 オフライン編集まとめ 複数の修正ポイントが干渉し合うと難易度が上がる

Slide 78

Slide 78 text

78/98 Cygamesのアプローチ 独自ツールの導入！ 複数の編集ポイントを干渉し合うことなく 並立させることが可能になる。 部位ごとに複数モーションを保持/選択 シチュエーションに応じて、 各モーションの優先度を調整できる。 モーション優先度の調整

Slide 79

Slide 79 text

79/98 独自ツールの機能解説① 修正前 修正後 アクターのデータより手の部分の モーションのみ取得 部分的な不具合 独自ツール 修正後 反 映 部位ごとに複数モーションを保持/選択

Slide 80

Slide 80 text

80/98 独自ツールの機能解説② モーション優先度の調整!! 関節角度 重心 複数部位のモーション間で並立できる最適なバランスを見出す 重心 関節 角度 足元アップの場合 膝上アップの場合

Slide 81

Slide 81 text

81/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 82

Slide 82 text

82/98 リアルタイムとは リアルタイム (撮影と配信がほぼ同時) セットアップ 撮 影 配 信

Slide 83

Slide 83 text

83/98 キャラライブはセットアップが命!! リアルタイム ラベリング編集【不可】 リターゲット編集【不可】 本番までにブラッシュアップ セットアップが最重要！

Slide 84

Slide 84 text

84/98 Cygamesのアプローチ 独自ツール 手動調整 と のハイブリッドを採用 骨の手動調整 アクター毎にそれぞれ手動で骨を調整。よりアクターの体格に近い 骨を作成し、モーションの再現性を向上させる。 本来リアルタイムのライブでは難しいとされている 体格差により発生するモーションの不具合を自動補正する。 独自ツールによる事前セットアップ 手動 自動

Slide 85

Slide 85 text

85/98 骨の手動調整 肩マーカーの位置 自動計算された骨の位置 ※肩の骨の高さがマーカーとほぼ同じ高さになるように調整した例 手動調整 マーカーデータを基に 関節位置や長さを手動で調整！

Slide 86

Slide 86 text

86/98 独自ツールによる事前セットアップ 独自ツール オフライン編集で使用しているツール を工程を変えて使用！ オフライン 撮 影 編 集 納 品 リアルタイム セットアップ 撮 影 配 信 独自ツール 独自ツール

Slide 87

Slide 87 text

87/98 独自ツールによる自動補正例 めり込み回避 指ポーズ補正 手合わせ

Slide 88

Slide 88 text

88/98 キャラライブはセットアップが命！！ 実際に動画をご覧ください！ リアルタイム

Slide 89

Slide 89 text

89/98

Slide 90

Slide 90 text

90/98

Slide 91

Slide 91 text

91/98

Slide 92

Slide 92 text

92/98 キャラライブ実例紹介！ Special Character Live おこたみMC 一部をご覧ください！ グラブルフェス2023 DAY1

Slide 93

Slide 93 text

93/98

Slide 94

Slide 94 text

94/98 1. モーションキャプチャーとは 2. 社内キャプチャースタジオの紹介 3. チームが目指すモーションの紹介 4. オフライン編集で再現する「生きているモーション」 5. リアルタイムで再現する「生きているモーション」 6. まとめ アジェンダ

Slide 95

Slide 95 text

95/98 「生きているモーション」 キャラクターの意思や感情を感じ取れるモーション 演者さん（アクター）とキャラクターの体格差から発生するモーション の様々な違和感を解消することで実現。 = スタジオが目指す指標

Slide 96

Slide 96 text

96/98 Cygamesのアプローチ 独自開発のツールを導入 同時に成立させるのが難しい複数箇所の編集など、 難易度の高い調整で最大効率を発揮する。 必要に応じて手動調整を採用 最大限クオリティを上げるために手動での調整が 最適な場合は労を惜しまず手動調整を採用している。 クオリティ 効率 と の最大化!! 効率 クオリティ

Slide 97

Slide 97 text

97/98 オフライン編集とリアルタイム オフライン編集の要リターゲット オフライン編集ではリターゲット編集こそ クオリティの要であり、こだわりを持ち多くの 調整を行っている。 リアルタイムはセットアップが命 リアルタイムでは手動での骨調整とツールによる 自動調整を採用し、クオリティの最大化を目指している。

Slide 98

Slide 98 text

98/98