新卒エンジニアがVTuber運用とMV制作をエンジョイした話 / VTuber

2016ba6b977a2e6691811fa66d5f4336?s=47 CyberAgent
February 22, 2019

新卒エンジニアがVTuber運用とMV制作をエンジョイした話 / VTuber

サイバーエージェントの技術者(エンジニア・クリエイター)向けカンファレンス『CA BASE CAMP 2019』

新卒エンジニアがVTuber運用とMV制作をエンジョイした話
岩﨑 謙汰

2016ba6b977a2e6691811fa66d5f4336?s=128

CyberAgent

February 22, 2019
Tweet

Transcript

  1. 新卒エンジニアがVTuber運⽤と MV制作をエンジョイした話 株式会社CyberV Unityエンジニア 岩崎謙汰

  2. ⾃⼰紹介 岩崎 謙汰 (イワケン) • CA 新卒⼊社→株式会社CyberV • VTuber開発‧運⽤チーム エンジニアリーダー

    関わったキャラ10⼈以上 関わっている動画50本以上 • 好きなVTuber: 流⽯乃ルキロキ、ケリン • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる
 チームや組織を作りたい • 今年の⽬標: 業界でVTuber×Unity=イワケンと 呼ばれるようになる @iwaken_
  3. 私のVTuber歴史 (趣味ベース) • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い • 2018年2⽉ 内定者勉強会でVTuberになってLT • 2018年5⽉

    JINS MEME×VTuberがバズる • 2018年5⽉ CyberV初のエンジニア (仕事) • 2018年7⽉ VTuberゼミ⽴ち上げ • 2018年12⽉ アズマリムMV制作チーム (仕事) JINSMEME×VTuberで5000いいね
  4. いくつかVTuberの運⽤例をご紹介

  5. RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜 • 動画

  6. アズマリムのオリジナル楽曲「⼈類みなセンパイ!」のMV • 動画

  7. 今回の講演で受け取れること VTuber制作の経験がない⽅でも 制作の全体像がイメージできるような話をしたい → いずれ教科書化or書籍化したい (個⼈的願望)
 ▪注意点
 Unityをベースとした話になります
 細かい技法の話はしません •

    どうやったらエモくなるか • どうやったらプレゼンスがあがるか • どうチューニングするか
  8. Today’s Point! •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •ケーススタディ •複数体動かすときはどうする? •MusicVideo (MV) のときはどうする?
 


  9. . 本講演におけるVTuberの位置づけ . VTuberの構成要素 . VTuberの複数体運⽤について . VTuberのMV制作について

  10. 本講演における VTuberの位置づけ

  11. そもそもVTuberとは? (Wikipediaより) • バーチャルYouTuberは、
 YouTuberとして動画配信‧投稿を⾏う
 コンピュータグラフィックスのキャラクター
 • YouTube以外のサービスを利⽤する際などに
 YouTubeという特定のサービス名を使⽤することを避けるため、
 単に「VTuber」または「バーチャルライバー」と呼称することがある。

    キズナアイさん
  12. 本講演におけるVTuberの位置づけ • モーションキャプチャ技術等を⽤いて
 ⼈間的な操作、動き、表情を反映している
 バーチャル的な存在 (3Dのものに限定) バーチャル的存在

  13. VTuberの構成要素

  14. VTuberの構成要素 • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  15. これから各構成要素の データ取得の⽅法例をご紹介します

  16. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  17. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  18. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  19. 指の動き • グローブ系: Manus VR等 • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる • リモコン系: HTC

    Vive Controller等 • 特定の指のパターンしか再現できない • センサー系: Leap Motion等 • 細かい動きまで取れるが、
 センサー範囲を外れると動かない [ ] ManusVRの外⾒ [ ] HTC VIVE Controllerの外⾒
  20. 表情 • コントローラー操作 • 指定したい表情に安定して変更できる • 演者の負担が少ない • オペレーターの技量が試される •

    カメラによるFaceTracking • リアルタイムで演者の表情を表現できる • 実際に可愛いかどうかはキモズム[6]を超える必要がある • 演者への負担が⼤きい [5]コントローラー FaceTrackingの表情変化の例
  21. ⼝の動き • LipSync • ⾳に反応して、キャラの⼝の動きを変える • マイクを演者につけることで解決 • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある •

    カメラによるFaceTracking • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える • カメラで撮るため、演者への負担が⼤きい • 2体同時収録でも、対応可能
  22. 物理演算 (髪、スカート) • ⼈間の動きをキャプチャするのではなく、Unity上で演算している • SpringBone系の物理演算が主流 • UnitychanSpringBone • DynamicBone

    • VRMSpringBone
 左が物理演算なし、右が物理演算あり
  23. VTuberの構成要素まとめ • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  24. VTuberの 複数体運⽤について

  25. RAGE バーチャルYouTuberGRAND PRIX
 〜 Summer〜 • 動画

  26. これから⼀体and複数体収録の データの合流の例をご紹介します

  27. ⼀体運⽤の場合 (MVNの例) MVNスーツ MVN制御PC キャラPC モニター マイク⾳声 全⾝ ManusVR 指の動き

    全⾝ ⾳声 表情 物理演算 ⼝の動き 映像 Unity
  28. 複数体運⽤の場合 (MVN× の例) MVN制御PC キャラPC モニター キャラPC キャラPC サーバーPC ManusVR

    全⾝ 全⾝ 表情 物理演算 ⼝の動き 全⾝ + 指 + 髪ス カート → 全てのボーン 表情+⼝のモーフ 映像 ManusVR ManusVR マイク⾳声 マイク⾳声 マイク⾳声 MVNスーツ 全⾝ 指の動き ⾳声データ Unity MVNスーツ MVNスーツ Unity
  29. VTuberのMV制作について

  30. 本講演でのMV制作の⽴ち位置 • Music Video (MV) VTuberと曲のイメージを結合して作られた映像作品 • Unityエンジニア視点のMV制作
 →コードが書けないクリエイターでも
 Dの映像表現が制作できるような環境をつくる

    • TimeLine機能の活⽤ • Cinemachineによる3D的なカメラワーク演出 • PostProcessingによるポスト処理
  31. アズマリムのオリジナル楽曲「⼈類みなセンパイ!」のMV • 動画

  32. MVの構成要素 キャラ+背景 • キャラクター (Chara_Layer) • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き

    • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート) • 背景 (BG_Layer) • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ) → これらをカメラで不整合なく撮る!!!

  33. 全体フロー    モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒   収録 Unity 後処理 映像編集 モーションデータ 静⽌画‧動画 準備

    企画書作成 絵コンテ作成 ⾹盤表作成 スタジオ Unityによるシステム 演者+モーキャプ機材 静⽌画
 動画 収録時に静⽌画or動画データに出⼒ 本⽇はこのパターンのみ紹介
  34. 流れ 収録 Unity 後処理 映像編集 指の動き付きの モーションデータ 動画 準備 静⽌画

    モーション収録 • カメラワーク • 表情 + ⼝の動き • 物理演算 • Lighting & 影 • PostProcessing
 → Unityで完結したい! ⼀発で撮れるように 最⼤の準備をする。 後⽇撮り直しだけは
 絶対にしたくない。 • モーショングラフィックス • Post処理 • 仕上げ
  35. モーション収録フェイズ 収録 Unity 後処理 モーションデータ OptiTrack⽤ スーツ OptiTrack 制御PC キャラ⽤PC

    全⾝ ManusVR 指の動き Unity モーション データ(fbx) A. OptiTrack制御PCで
 モーション収録
 (指の動きなし) B. キャラ⽤PCの
 Unity上でモーション収録
 (指の動き有り)[ ]
  36. 収録の現場 • ダンスのモーション収録は位置ズレが起きないOptiTrackを使⽤

  37. Unity上後処理フェイズ • 背景⽤の3Dモデルとキャラクターを置く • TimeLine上に乗せるTrack • モーション、曲データ、⼝パク⽤⾳声データ、Cinemachine⽤のカメラ • 表情切り替え、背景切り替え、Skybox切り替え、ライト切り替え •

    PostProcessingによる処理 (被写体深度、Bloom) TimeLineの画⾯の例 キャラ+背景の例
  38. エンジョイポイント • Unity上でmp で書き出そうとしたが、⾊味が変わってしまったため
 png画像の連番書き出しに
 → その結果⾳声データの⼝パク機能がうまくいかず、
 ほとんど⼿付けで⼝パクをつけていただいた • MVNでモーション保存した時に、上下にガクガクするため、


    Unity内で補正する必要があった • TimeLineの予期せぬバグが多く何度か泣きそうになった • モーションの崩れの修正が⼤変で何度か泣いた
  39. 無事⽣み出せてよかった。。。 また次もMVにはチャレンジしたい

  40. まとめ •VTuberに⼈間らしく動いてもらうために
 いつどこでどのようにデータを取得し、どこで合流させるか •まず構成要素を知る •各ケースで最善の⽅法を追求する •MV制作に関して
 UnityのTimeLineを活⽤し、
 コードが書けないクリエイターでも制作できるシステムを作る

  41. ありがとうございました

  42. ライセンス © UTJ/UCL

  43. 画像引⽤リンク [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg [ ]

    https://manus-vr.com/web/image/ /Glove-los.png [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller- Black_Gallery_ x _ .jpg [6] 『ミライのつくり⽅2020−2045 僕がVRに賭けるわけ』(GOROman、星海社、2018年)p. [ ] Copyright (c) Duo.inc Released under the MIT license 
 https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt