新卒エンジニアがVTuber運⽤と MV制作をエンジョイした話 株式会社CyberV Unityエンジニア 岩崎謙汰 CA BASE CAMP HALLD

⾃⼰紹介 岩崎 謙汰 (イワケン) • CA 新卒⼊社→株式会社CyberV • VTuber開発‧運⽤チーム エンジニアリーダー 関わったキャラ10⼈以上 関わっている動画50本以上 • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる
 チームや組織を作りたい • 今年の⽬標: 業界でVTuber×Unity=イワケンと 呼ばれるようになる @iwaken

私のVTuber歴史 (趣味ベース) • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い • 2018年2⽉ 内定者勉強会でVTuberになってLT • 2018年5⽉ JINS MEME×VTuberがバズる • 2018年5⽉ CyberV初のエンジニア (仕事) • 2018年7⽉ VTuberゼミ⽴ち上げ • 2018年12⽉ アズマリムMV制作チーム (仕事) JINSMEME×VTuberで5000いいね

いくつかVTuberの運⽤例をご紹介

RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜

アズマリムのオリジナル楽曲「⼈類みなセンパイ！」のMV https://www.youtube.com/watch?v=XtlDHnWgGeM

今回の講演で受け取れること VTuber制作の経験がない⽅でも 制作の全体像がイメージできるような話をしたい → いずれ教科書化or書籍化したい (個⼈的願望)
 ■注意点
 Unityをベースとした話になります
 細かい技法の話はしません • どうやったらエモくなるか • どうやったらプレゼンスがあがるか • どうチューニングするか

Today’s Point! •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •ケーススタディ •複数体動かすときはどうする？ •MusicVideo (MV) のときはどうする?
 


. 本講演におけるVTuberの位置づけ . VTuberの構成要素 . VTuberの複数体運⽤について . VTuberのMV制作について

本講演における VTuberの位置づけ

そもそもVTuberとは？ (Wikipediaより) • バーチャルYouTuberは、
 YouTuberとして動画配信‧投稿を⾏う
 コンピュータグラフィックスのキャラクター
 • YouTube以外のサービスを利⽤する際などに
 YouTubeという特定のサービス名を使⽤することを避けるため、
 単に「VTuber」または「バーチャルライバー」と呼称することがある。 キズナアイさん

本講演におけるVTuberの位置づけ • モーションキャプチャ技術等を⽤いて
 ⼈間的な操作、動き、表情を反映している
 バーチャル的な存在 (3Dのものに限定) バーチャル的存在

VTuberの構成要素

VTuberの構成要素 • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?

これから各構成要素の データ取得の⽅法例をご紹介します

全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット: 安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

指の動き • グローブ系: Manus VR等 • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる • リモコン系: HTC Vive Controller等 • 特定の指のパターンしか再現できない • センサー系: Leap Motion等 • 細かい動きまで取れるが、
 センサー範囲を外れると動かない [ ] ManusVRの外⾒ [ ] HTC VIVE Controllerの外⾒

表情 • コントローラー操作 • 指定したい表情に安定して変更できる • 演者の負担が少ない • オペレーターの技量が試される • カメラによるFaceTracking • リアルタイムで演者の表情を表現できる • 実際に可愛いかどうかはキモズム[6]を超える必要がある • 演者への負担が⼤きい [5]コントローラー FaceTrackingの表情変化の例

⼝の動き • LipSync • ⾳に反応して、キャラの⼝の動きを変える • マイクを演者につけることで解決 • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある • カメラによるFaceTracking • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える • カメラで撮るため、演者への負担が⼤きい • 2体同時収録でも、対応可能

物理演算 (髪、スカート) • ⼈間の動きをキャプチャするのではなく、Unity上で演算している • SpringBone系の物理演算が主流 • UnitychanSpringBone • DynamicBone • VRMSpringBone
 左が物理演算なし、右が物理演算あり

VTuberの構成要素まとめ • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?

VTuberの 複数体運⽤について

RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜 • 動画

これから⼀体and複数体収録の データの合流の例をご紹介します

⼀体運⽤の場合 (MVNの例) MVNスーツ MVN制御PC キャラPC モニター マイク⾳声 全⾝ ManusVR 指の動き 全⾝ ⾳声 表情 物理演算 ⼝の動き 映像 Unity

複数体運⽤の場合 (MVN× の例) MVN制御PC キャラPC モニター キャラPC キャラPC サーバーPC ManusVR 全⾝ 全⾝ 表情 物理演算 ⼝の動き 全⾝ + 指 + 髪ス カート → 全てのボーン 表情+⼝のモーフ 映像 ManusVR ManusVR マイク⾳声 マイク⾳声 マイク⾳声 MVNスーツ 全⾝ 指の動き ⾳声データ Unity MVNスーツ MVNスーツ Unity

VTuberのMV制作について

本講演でのMV制作の⽴ち位置 • Music Video (MV) VTuberと曲のイメージを結合して作られた映像作品 • Unityエンジニア視点のMV制作
 →コードが書けないクリエイターでも
 Dの映像表現が制作できるような環境をつくる • TimeLine機能の活⽤ • Cinemachineによる3D的なカメラワーク演出 • PostProcessingによるポスト処理

アズマリムのオリジナル楽曲「⼈類みなセンパイ！」のMV

MVの構成要素 キャラ+背景 • キャラクター (Chara_Layer) • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート) • 背景 (BG_Layer) • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ) → これらをカメラで不整合なく撮る！！！


全体フロー    モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒   収録 Unity 後処理 映像編集 モーションデータ 静⽌画‧動画 準備 企画書作成 絵コンテ作成 ⾹盤表作成 スタジオ Unityによるシステム 演者+モーキャプ機材 静⽌画
 動画 収録時に静⽌画or動画データに出⼒ 本⽇はこのパターンのみ紹介

流れ 収録 Unity 後処理 映像編集 指の動き付きの モーションデータ 動画 準備 静⽌画 モーション収録 • カメラワーク • 表情 + ⼝の動き • 物理演算 • Lighting & 影 • PostProcessing
 → Unityで完結したい！ ⼀発で撮れるように 最⼤の準備をする。 後⽇撮り直しだけは
 絶対にしたくない。 • モーショングラフィックス • Post処理 • 仕上げ

モーション収録フェイズ 収録 Unity 後処理 モーションデータ OptiTrack⽤ スーツ OptiTrack 制御PC キャラ⽤PC 全⾝ ManusVR 指の動き Unity モーション データ(fbx) A. OptiTrack制御PCで
 モーション収録
 (指の動きなし) B. キャラ⽤PCの
 Unity上でモーション収録
 (指の動き有り)[ ]

収録の現場 • ダンスのモーション収録は位置ズレが起きないOptiTrackを使⽤

Unity上後処理フェイズ • 背景⽤の3Dモデルとキャラクターを置く • TimeLine上に乗せるTrack • モーション、曲データ、⼝パク⽤⾳声データ、Cinemachine⽤のカメラ • 表情切り替え、背景切り替え、Skybox切り替え、ライト切り替え • PostProcessingによる処理 (被写体深度、Bloom) TimeLineの画⾯の例 キャラ+背景の例

エンジョイポイント • Unity上でmp で書き出そうとしたが、⾊味が変わってしまったため
 png画像の連番書き出しに
 → その結果⾳声データの⼝パク機能がうまくいかず、
 ほとんど⼿付けで⼝パクをつけていただいた • MVNでモーション保存した時に、上下にガクガクするため、
 Unity内で補正する必要があった • TimeLineの予期せぬバグが多く何度か泣きそうになった • モーションの崩れの修正が⼤変で何度か泣いた

無事⽣み出せてよかった。。。 また次もMVにはチャレンジしたい

まとめ •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •まず構成要素を知る •各ケースで最善の⽅法を追求する •MV制作に関して
 UnityのTimeLineを活⽤し、
 コードが書けないクリエイターでも制作できるシステムを作る

ありがとうございました

ライセンス © UTJ/UCL

画像引⽤リンク [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg [ ] https://manus-vr.com/web/image/ /Glove-los.png [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller- Black_Gallery_ x _ .jpg [6] 『ミライのつくり⽅2020−2045 僕がＶＲに賭けるわけ』(GOROman、星海社、2018年)p. [ ] Copyright (c) Duo.inc Released under the MIT license 
 https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt