新卒エンジニアがVTuber運用とMV制作をエンジョイした話

 新卒エンジニアがVTuber運用とMV制作をエンジョイした話

このスライドは2019年2月22日 サイバーエージェントの社内カンファレンス CA BASE CAMP(https://cabase.cyberagent.group/sessions/Z-02) にて発表したスライです。

以下紹介文
===
本セクションでは、株式会社CyberVの新卒エンジニアがバーチャルYouTuber (以下: VTuber)の開発運用とMusic Video(MV)の制作に取り組んだ際の技術選定や社内外に向けて行ったことについて話します。
主にモーションキャプチャ、複数体運用、Unity上の映像制作の知見について共有できればと思います。
VTuberの制作に興味がある方、Unityを使って面白いことをするのが好きな方と議論できればと思っております。よろしくお願いいたします。

B83abec8cbad9e58b92d84b0d509b73e?s=128

Kenta Iwasaki

February 22, 2019
Tweet

Transcript

  1. 2.

    ⾃⼰紹介 岩崎 謙汰 (イワケン) • CA 新卒⼊社→株式会社CyberV • VTuber開発‧運⽤チーム エンジニアリーダー

    関わったキャラ10⼈以上 関わっている動画50本以上 • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる
 チームや組織を作りたい • 今年の⽬標: 業界でVTuber×Unity=イワケンと 呼ばれるようになる @iwaken
  2. 3.

    私のVTuber歴史 (趣味ベース) • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い • 2018年2⽉ 内定者勉強会でVTuberになってLT • 2018年5⽉

    JINS MEME×VTuberがバズる • 2018年5⽉ CyberV初のエンジニア (仕事) • 2018年7⽉ VTuberゼミ⽴ち上げ • 2018年12⽉ アズマリムMV制作チーム (仕事) JINSMEME×VTuberで5000いいね
  3. 14.

    VTuberの構成要素 • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  4. 16.

    全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  5. 17.

    全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  6. 18.

    全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  7. 19.

    指の動き • グローブ系: Manus VR等 • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる • リモコン系: HTC

    Vive Controller等 • 特定の指のパターンしか再現できない • センサー系: Leap Motion等 • 細かい動きまで取れるが、
 センサー範囲を外れると動かない [ ] ManusVRの外⾒ [ ] HTC VIVE Controllerの外⾒
  8. 20.

    表情 • コントローラー操作 • 指定したい表情に安定して変更できる • 演者の負担が少ない • オペレーターの技量が試される •

    カメラによるFaceTracking • リアルタイムで演者の表情を表現できる • 実際に可愛いかどうかはキモズム[6]を超える必要がある • 演者への負担が⼤きい [5]コントローラー FaceTrackingの表情変化の例
  9. 21.

    ⼝の動き • LipSync • ⾳に反応して、キャラの⼝の動きを変える • マイクを演者につけることで解決 • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある •

    カメラによるFaceTracking • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える • カメラで撮るため、演者への負担が⼤きい • 2体同時収録でも、対応可能
  10. 23.

    VTuberの構成要素まとめ • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  11. 28.

    複数体運⽤の場合 (MVN× の例) MVN制御PC キャラPC モニター キャラPC キャラPC サーバーPC ManusVR

    全⾝ 全⾝ 表情 物理演算 ⼝の動き 全⾝ + 指 + 髪ス カート → 全てのボーン 表情+⼝のモーフ 映像 ManusVR ManusVR マイク⾳声 マイク⾳声 マイク⾳声 MVNスーツ 全⾝ 指の動き ⾳声データ Unity MVNスーツ MVNスーツ Unity
  12. 32.

    MVの構成要素 キャラ+背景 • キャラクター (Chara_Layer) • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き

    • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート) • 背景 (BG_Layer) • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ) → これらをカメラで不整合なく撮る!!!

  13. 33.

    全体フロー    モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒   収録 Unity 後処理 映像編集 モーションデータ 静⽌画‧動画 準備

    企画書作成 絵コンテ作成 ⾹盤表作成 スタジオ Unityによるシステム 演者+モーキャプ機材 静⽌画
 動画 収録時に静⽌画or動画データに出⼒ 本⽇はこのパターンのみ紹介
  14. 34.

    流れ 収録 Unity 後処理 映像編集 指の動き付きの モーションデータ 動画 準備 静⽌画

    モーション収録 • カメラワーク • 表情 + ⼝の動き • 物理演算 • Lighting & 影 • PostProcessing
 → Unityで完結したい! ⼀発で撮れるように 最⼤の準備をする。 後⽇撮り直しだけは
 絶対にしたくない。 • モーショングラフィックス • Post処理 • 仕上げ
  15. 35.

    モーション収録フェイズ 収録 Unity 後処理 モーションデータ OptiTrack⽤ スーツ OptiTrack 制御PC キャラ⽤PC

    全⾝ ManusVR 指の動き Unity モーション データ(fbx) A. OptiTrack制御PCで
 モーション収録
 (指の動きなし) B. キャラ⽤PCの
 Unity上でモーション収録
 (指の動き有り)[ ]
  16. 43.

    画像引⽤リンク [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg [ ]

    https://manus-vr.com/web/image/ /Glove-los.png [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller- Black_Gallery_ x _ .jpg [6] 『ミライのつくり⽅2020−2045 僕がVRに賭けるわけ』(GOROman、星海社、2018年)p. [ ] Copyright (c) Duo.inc Released under the MIT license 
 https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt