Upgrade to Pro — share decks privately, control downloads, hide ads and more …

新卒エンジニアがVTuber運用とMV制作をエンジョイした話

Kenta Iwasaki
February 22, 2019

 新卒エンジニアがVTuber運用とMV制作をエンジョイした話

このスライドは2019年2月22日 サイバーエージェントの社内カンファレンス CA BASE CAMP(https://cabase.cyberagent.group/sessions/Z-02) にて発表したスライです。

以下紹介文
===
本セクションでは、株式会社CyberVの新卒エンジニアがバーチャルYouTuber (以下: VTuber)の開発運用とMusic Video(MV)の制作に取り組んだ際の技術選定や社内外に向けて行ったことについて話します。
主にモーションキャプチャ、複数体運用、Unity上の映像制作の知見について共有できればと思います。
VTuberの制作に興味がある方、Unityを使って面白いことをするのが好きな方と議論できればと思っております。よろしくお願いいたします。

Kenta Iwasaki

February 22, 2019
Tweet

More Decks by Kenta Iwasaki

Other Decks in Technology

Transcript

  1. 新卒エンジニアがVTuber運⽤と
    MV制作をエンジョイした話
    株式会社CyberV Unityエンジニア 岩崎謙汰
    CA BASE CAMP HALLD

    View full-size slide

  2. ⾃⼰紹介 岩崎 謙汰 (イワケン)
    • CA 新卒⼊社→株式会社CyberV
    • VTuber開発‧運⽤チーム エンジニアリーダー
    関わったキャラ10⼈以上 関わっている動画50本以上
    • 価値観: ⾯⽩いコンテンツがガンガン⽣まれる

    チームや組織を作りたい
    • 今年の⽬標: 業界でVTuber×Unity=イワケンと
    呼ばれるようになる
    @iwaken

    View full-size slide

  3. 私のVTuber歴史 (趣味ベース)
    • 2017年11⽉~2018年3⽉ ⾬下カイトくんの制作のお⼿伝い
    • 2018年2⽉ 内定者勉強会でVTuberになってLT
    • 2018年5⽉ JINS MEME×VTuberがバズる
    • 2018年5⽉ CyberV初のエンジニア (仕事)
    • 2018年7⽉ VTuberゼミ⽴ち上げ
    • 2018年12⽉ アズマリムMV制作チーム (仕事)
    JINSMEME×VTuberで5000いいね

    View full-size slide

  4. いくつかVTuberの運⽤例をご紹介

    View full-size slide

  5. RAGE バーチャルYouTuberGRAND PRIX

    〜 Summer〜

    View full-size slide

  6. アズマリムのオリジナル楽曲「⼈類みなセンパイ!」のMV
    https://www.youtube.com/watch?v=XtlDHnWgGeM

    View full-size slide

  7. 今回の講演で受け取れること
    VTuber制作の経験がない⽅でも
    制作の全体像がイメージできるような話をしたい
    → いずれ教科書化or書籍化したい (個⼈的願望)

    ■注意点

    Unityをベースとした話になります

    細かい技法の話はしません
    • どうやったらエモくなるか
    • どうやったらプレゼンスがあがるか
    • どうチューニングするか

    View full-size slide

  8. Today’s Point!
    •VTuberに⼈間らしく動いてもらうために

    いつどこでどのようにデータを取得し、どこで合流させるか
    •ケーススタディ
    •複数体動かすときはどうする?
    •MusicVideo (MV) のときはどうする?


    View full-size slide

  9. . 本講演におけるVTuberの位置づけ
    . VTuberの構成要素
    . VTuberの複数体運⽤について
    . VTuberのMV制作について

    View full-size slide

  10. 本講演における
    VTuberの位置づけ

    View full-size slide

  11. そもそもVTuberとは? (Wikipediaより)
    • バーチャルYouTuberは、

    YouTuberとして動画配信‧投稿を⾏う

    コンピュータグラフィックスのキャラクター

    • YouTube以外のサービスを利⽤する際などに

    YouTubeという特定のサービス名を使⽤することを避けるため、

    単に「VTuber」または「バーチャルライバー」と呼称することがある。
    キズナアイさん

    View full-size slide

  12. 本講演におけるVTuberの位置づけ
    • モーションキャプチャ技術等を⽤いて

    ⼈間的な操作、動き、表情を反映している

    バーチャル的な存在 (3Dのものに限定)
    バーチャル的存在

    View full-size slide

  13. VTuberの構成要素

    View full-size slide

  14. VTuberの構成要素
    • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜)
    • 指の関節の動き
    • 表情
    • ⼝の動き
    • 物理演算 (髪の⽑、スカート)

    → 収録‧複数体収録‧⽣放送‧MV制作

    それぞれのケースでどのように

    これらのデータを取得し、合流させるのか?

    View full-size slide

  15. これから各構成要素の
    データ取得の⽅法例をご紹介します

    View full-size slide

  16. 全⾝ (モーションキャプチャ)
    • HMD+IK: HTC Vive+Final IK (5万円~10万円)
    • メリット: 安価で使⽤できる。対応しているサービスが多い
    • デメリット: ゲーム実況やダンス収録などが⼤変
    • 慣性式: Perception Neuron, MVN (20万円~400万円)
    • メリット: スーツ形のため持ち運び可能
    • デメリット: 位置ずれや体のめり込みなどが起きる
    • 光学式: OptiTrack, VICON (3000万円~1億円)
    • メリット: 位置ずれや体のめり込みなどが発⽣しない
    • デメリット: スタジオに専⽤カメラを置く必要がある
    [ ] MVN Linkの例
    [ ] OptiTrackの例
    ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

    View full-size slide

  17. 全⾝ (モーションキャプチャ)
    • HMD+IK: HTC Vive+Final IK (5万円~10万円)
    • メリット: 安価で使⽤できる。対応しているサービスが多い
    • デメリット: ゲーム実況やダンス収録などが⼤変
    • 慣性式: Perception Neuron, MVN (20万円~400万円)
    • メリット: スーツ形のため持ち運び可能
    • デメリット: 位置ずれや体のめり込みなどが起きる
    • 光学式: OptiTrack, VICON (3000万円~1億円)
    • メリット: 位置ずれや体のめり込みなどが発⽣しない
    • デメリット: スタジオに専⽤カメラを置く必要がある
    [ ] MVN Linkの例
    [ ] OptiTrackの例
    ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

    View full-size slide

  18. 全⾝ (モーションキャプチャ)
    • HMD+IK: HTC Vive+Final IK (5万円~10万円)
    • メリット: 安価で使⽤できる。対応しているサービスが多い
    • デメリット: ゲーム実況やダンス収録などが⼤変
    • 慣性式: Perception Neuron, MVN (20万円~400万円)
    • メリット: スーツ形のため持ち運び可能
    • デメリット: 位置ずれや体のめり込みなどが起きる
    • 光学式: OptiTrack, VICON (3000万円~1億円)
    • メリット: 位置ずれや体のめり込みなどが発⽣しない
    • デメリット: スタジオに専⽤カメラを置く必要がある
    [ ] MVN Linkの例
    [ ] OptiTrackの例
    ざっくり精度⽐較: HMD+IK < 慣性式 < 光学式

    View full-size slide

  19. 指の動き
    • グローブ系: Manus VR等
    • 指の曲げ伸ばしを実際の⼈間の動きに近い形で再現できる
    • リモコン系: HTC Vive Controller等
    • 特定の指のパターンしか再現できない
    • センサー系: Leap Motion等
    • 細かい動きまで取れるが、

    センサー範囲を外れると動かない
    [ ] ManusVRの外⾒
    [ ] HTC VIVE Controllerの外⾒

    View full-size slide

  20. 表情
    • コントローラー操作
    • 指定したい表情に安定して変更できる
    • 演者の負担が少ない
    • オペレーターの技量が試される
    • カメラによるFaceTracking
    • リアルタイムで演者の表情を表現できる
    • 実際に可愛いかどうかはキモズム[6]を超える必要がある
    • 演者への負担が⼤きい
    [5]コントローラー
    FaceTrackingの表情変化の例

    View full-size slide

  21. ⼝の動き
    • LipSync
    • ⾳に反応して、キャラの⼝の動きを変える
    • マイクを演者につけることで解決
    • 2体同時収録だと、隣の⼈の声を拾ってしまうことがある
    • カメラによるFaceTracking
    • 実際の⼝の動きに合わせて、キャラの⼝の動きを変える
    • カメラで撮るため、演者への負担が⼤きい
    • 2体同時収録でも、対応可能

    View full-size slide

  22. 物理演算 (髪、スカート)
    • ⼈間の動きをキャプチャするのではなく、Unity上で演算している
    • SpringBone系の物理演算が主流
    • UnitychanSpringBone
    • DynamicBone
    • VRMSpringBone

    左が物理演算なし、右が物理演算あり

    View full-size slide

  23. VTuberの構成要素まとめ
    • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜)
    • 指の関節の動き
    • 表情
    • ⼝の動き
    • 物理演算 (髪の⽑、スカート)

    → 収録‧複数体収録‧⽣放送‧MV制作

    それぞれのケースでどのように

    これらのデータを取得し、合流させるのか?

    View full-size slide

  24. VTuberの
    複数体運⽤について

    View full-size slide

  25. RAGE バーチャルYouTuberGRAND PRIX

    〜 Summer〜
    • 動画

    View full-size slide

  26. これから⼀体and複数体収録の
    データの合流の例をご紹介します

    View full-size slide

  27. ⼀体運⽤の場合 (MVNの例)
    MVNスーツ MVN制御PC キャラPC モニター
    マイク⾳声
    全⾝
    ManusVR
    指の動き
    全⾝
    ⾳声
    表情
    物理演算
    ⼝の動き
    映像
    Unity

    View full-size slide

  28. 複数体運⽤の場合 (MVN× の例)
    MVN制御PC
    キャラPC
    モニター
    キャラPC
    キャラPC
    サーバーPC
    ManusVR
    全⾝
    全⾝
    表情
    物理演算
    ⼝の動き
    全⾝ + 指 + 髪ス
    カート
    → 全てのボーン
    表情+⼝のモーフ 映像
    ManusVR
    ManusVR
    マイク⾳声
    マイク⾳声
    マイク⾳声
    MVNスーツ
    全⾝
    指の動き
    ⾳声データ Unity
    MVNスーツ
    MVNスーツ
    Unity

    View full-size slide

  29. VTuberのMV制作について

    View full-size slide

  30. 本講演でのMV制作の⽴ち位置
    • Music Video (MV) VTuberと曲のイメージを結合して作られた映像作品
    • Unityエンジニア視点のMV制作

    →コードが書けないクリエイターでも

    Dの映像表現が制作できるような環境をつくる
    • TimeLine機能の活⽤
    • Cinemachineによる3D的なカメラワーク演出
    • PostProcessingによるポスト処理

    View full-size slide

  31. アズマリムのオリジナル楽曲「⼈類みなセンパイ!」のMV

    View full-size slide

  32. MVの構成要素 キャラ+背景
    • キャラクター (Chara_Layer)
    • 全⾝ (⾸、肩、腕、肘、⼿⾸、腰、膝、⾜)
    • 指の関節の動き
    • 表情
    • ⼝の動き
    • 物理演算 (髪の⽑、スカート)
    • 背景 (BG_Layer)
    • キャラ以外の要素 (3Dオブジェクト、空、その他いろいろ)
    → これらをカメラで不整合なく撮る!!!


    View full-size slide

  33. 全体フロー
       モーションデータをUnity上のモデルに流し込み、静⽌画or動画として出⼒

    収録
    Unity
    後処理
    映像編集
    モーションデータ
    静⽌画‧動画
    準備
    企画書作成
    絵コンテ作成
    ⾹盤表作成
    スタジオ
    Unityによるシステム
    演者+モーキャプ機材
    静⽌画

    動画
    収録時に静⽌画or動画データに出⼒
    本⽇はこのパターンのみ紹介

    View full-size slide

  34. 流れ
    収録
    Unity
    後処理
    映像編集
    指の動き付きの
    モーションデータ 動画
    準備
    静⽌画
    モーション収録
    • カメラワーク
    • 表情 + ⼝の動き
    • 物理演算
    • Lighting & 影
    • PostProcessing

    → Unityで完結したい!
    ⼀発で撮れるように
    最⼤の準備をする。
    後⽇撮り直しだけは

    絶対にしたくない。
    • モーショングラフィックス
    • Post処理
    • 仕上げ

    View full-size slide

  35. モーション収録フェイズ
    収録
    Unity
    後処理
    モーションデータ
    OptiTrack⽤
    スーツ
    OptiTrack
    制御PC
    キャラ⽤PC
    全⾝
    ManusVR
    指の動き
    Unity
    モーション
    データ(fbx)
    A. OptiTrack制御PCで

    モーション収録

    (指の動きなし)
    B. キャラ⽤PCの

    Unity上でモーション収録

    (指の動き有り)[ ]

    View full-size slide

  36. 収録の現場
    • ダンスのモーション収録は位置ズレが起きないOptiTrackを使⽤

    View full-size slide

  37. Unity上後処理フェイズ
    • 背景⽤の3Dモデルとキャラクターを置く
    • TimeLine上に乗せるTrack
    • モーション、曲データ、⼝パク⽤⾳声データ、Cinemachine⽤のカメラ
    • 表情切り替え、背景切り替え、Skybox切り替え、ライト切り替え
    • PostProcessingによる処理 (被写体深度、Bloom)
    TimeLineの画⾯の例
    キャラ+背景の例

    View full-size slide

  38. エンジョイポイント
    • Unity上でmp で書き出そうとしたが、⾊味が変わってしまったため

    png画像の連番書き出しに

    → その結果⾳声データの⼝パク機能がうまくいかず、

    ほとんど⼿付けで⼝パクをつけていただいた
    • MVNでモーション保存した時に、上下にガクガクするため、

    Unity内で補正する必要があった
    • TimeLineの予期せぬバグが多く何度か泣きそうになった
    • モーションの崩れの修正が⼤変で何度か泣いた

    View full-size slide

  39. 無事⽣み出せてよかった。。。
    また次もMVにはチャレンジしたい

    View full-size slide

  40. まとめ
    •VTuberに⼈間らしく動いてもらうために

    いつどこでどのようにデータを取得し、どこで合流させるか
    •まず構成要素を知る
    •各ケースで最善の⽅法を追求する
    •MV制作に関して

    UnityのTimeLineを活⽤し、

    コードが書けないクリエイターでも制作できるシステムを作る

    View full-size slide

  41. ありがとうございました

    View full-size slide

  42. ライセンス © UTJ/UCL

    View full-size slide

  43. 画像引⽤リンク
    [ ] http://zeroc .jp/products/files/MVN-BIOMECH-Link.jpg
    [ ] http://www.animationmagazine.net/wordpress/wp-content/uploads/LargeVolumeDancersCropped.jpg
    [ ] https://manus-vr.com/web/image/ /Glove-los.png
    [ ] https://www.vive.com/media/filer_public/ /cf/ cf a f-f f - b - e-d a a /vive-hardware-controllers- .png
    [ ] https://compass-ssl.xbox.com/assets/d /d /d d d -d df- b - ad -f a d.jpg?n=X -Wireless-Controller-
    Black_Gallery_ x _ .jpg
    [6] 『ミライのつくり⽅2020−2045 僕がVRに賭けるわけ』(GOROman、星海社、2018年)p.
    [ ] Copyright (c) Duo.inc Released under the MIT license 

    https://github.com/duo-inc/EasyMotionRecorder/blob/master/LICENSE.txt

    View full-size slide