Upgrade to Pro — share decks privately, control downloads, hide ads and more …

新卒エンジニアがVTuber運用とMV制作をエンジョイした話 / VTuber

CyberAgent
February 22, 2019

新卒エンジニアがVTuber運用とMV制作をエンジョイした話 / VTuber

サイバーエージェントの技術者(エンジニア・クリエイター)向けカンファレンス『CA BASE CAMP 2019』

新卒エンジニアがVTuber運用とMV制作をエンジョイした話
岩﨑 謙汰

CyberAgent

February 22, 2019
Tweet

More Decks by CyberAgent

Other Decks in Technology

Transcript

  1. ⾃⼰紹介 岩崎 謙汰 (イワケン) • CA 新卒⼊社→株式会社CyberV • VTuber開発‧運⽤チーム エンジニアリーダー

    関わったキャラ10⼈以上 関わっている動画50本以上 • 好きなVTuber: 流⽯乃ルキロキ、ケリン • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる
 チームや組織を作りたい • 今年の⽬標: 業界でVTuber×Unity=イワケンと 呼ばれるようになる @iwaken_
  2. 私のVTuber歴史 (趣味ベース) • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い • 2018年2⽉ 内定者勉強会でVTuberになってLT • 2018年5⽉

    JINS MEME×VTuberがバズる • 2018年5⽉ CyberV初のエンジニア (仕事) • 2018年7⽉ VTuberゼミ⽴ち上げ • 2018年12⽉ アズマリムMV制作チーム (仕事) JINSMEME×VTuberで5000いいね
  3. VTuberの構成要素 • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  4. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  5. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  6. 全⾝ (モーションキャプチャ) • HMD+IK: HTC Vive+Final IK (5万円~10万円) • メリット:

    安価で使⽤できる。対応しているサービスが多い • デメリット: ゲーム実況やダンス収録などが⼤変 • 慣性式: Perception Neuron, MVN (20万円~400万円) • メリット: スーツ形のため持ち運び可能 • デメリット: 位置ずれや体のめり込みなどが起きる • 光学式: OptiTrack, VICON (3000万円~1億円) • メリット: 位置ずれや体のめり込みなどが発⽣しない • デメリット: スタジオに専⽤カメラを置く必要がある [ ] MVN Linkの例 [ ] OptiTrackの例 ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式
  7. 指の動き • グローブ系: Manus VR等 • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる • リモコン系: HTC

    Vive Controller等 • 特定の指のパターンしか再現できない • センサー系: Leap Motion等 • 細かい動きまで取れるが、
 センサー範囲を外れると動かない [ ] ManusVRの外⾒ [ ] HTC VIVE Controllerの外⾒
  8. 表情 • コントローラー操作 • 指定したい表情に安定して変更できる • 演者の負担が少ない • オペレーターの技量が試される •

    カメラによるFaceTracking • リアルタイムで演者の表情を表現できる • 実際に可愛いかどうかはキモズム[6]を超える必要がある • 演者への負担が⼤きい [5]コントローラー FaceTrackingの表情変化の例
  9. ⼝の動き • LipSync • ⾳に反応して、キャラの⼝の動きを変える • マイクを演者につけることで解決 • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある •

    カメラによるFaceTracking • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える • カメラで撮るため、演者への負担が⼤きい • 2体同時収録でも、対応可能
  10. VTuberの構成要素まとめ • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き • 表情 • ⼝の動き

    • 物理演算 (髪の⽑、スカート)
 → 収録‧複数体収録‧⽣放送‧MV制作
 それぞれのケースでどのように
 これらのデータを取得し、合流させるのか?
  11. 複数体運⽤の場合 (MVN× の例) MVN制御PC キャラPC モニター キャラPC キャラPC サーバーPC ManusVR

    全⾝ 全⾝ 表情 物理演算 ⼝の動き 全⾝ + 指 + 髪ス カート → 全てのボーン 表情+⼝のモーフ 映像 ManusVR ManusVR マイク⾳声 マイク⾳声 マイク⾳声 MVNスーツ 全⾝ 指の動き ⾳声データ Unity MVNスーツ MVNスーツ Unity
  12. MVの構成要素 キャラ+背景 • キャラクター (Chara_Layer) • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜) • 指の関節の動き

    • 表情 • ⼝の動き • 物理演算 (髪の⽑、スカート) • 背景 (BG_Layer) • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ) → これらをカメラで不整合なく撮る!!!

  13. 全体フロー    モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒   収録 Unity 後処理 映像編集 モーションデータ 静⽌画‧動画 準備

    企画書作成 絵コンテ作成 ⾹盤表作成 スタジオ Unityによるシステム 演者+モーキャプ機材 静⽌画
 動画 収録時に静⽌画or動画データに出⼒ 本⽇はこのパターンのみ紹介
  14. 流れ 収録 Unity 後処理 映像編集 指の動き付きの モーションデータ 動画 準備 静⽌画

    モーション収録 • カメラワーク • 表情 + ⼝の動き • 物理演算 • Lighting & 影 • PostProcessing
 → Unityで完結したい! ⼀発で撮れるように 最⼤の準備をする。 後⽇撮り直しだけは
 絶対にしたくない。 • モーショングラフィックス • Post処理 • 仕上げ
  15. モーション収録フェイズ 収録 Unity 後処理 モーションデータ OptiTrack⽤ スーツ OptiTrack 制御PC キャラ⽤PC

    全⾝ ManusVR 指の動き Unity モーション データ(fbx) A. OptiTrack制御PCで
 モーション収録
 (指の動きなし) B. キャラ⽤PCの
 Unity上でモーション収録
 (指の動き有り)[ ]
  16. 画像引⽤リンク [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg [ ]

    https://manus-vr.com/web/image/ /Glove-los.png [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller- Black_Gallery_ x _ .jpg [6] 『ミライのつくり⽅2020−2045 僕がVRに賭けるわけ』(GOROman、星海社、2018年)p. [ ] Copyright (c) Duo.inc Released under the MIT license 
 https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt