Upgrade to Pro — share decks privately, control downloads, hide ads and more …

VTuberになるために必要な要素技術

 VTuberになるために必要な要素技術

Keizo Nagamine

October 19, 2019
Tweet

More Decks by Keizo Nagamine

Other Decks in Technology

Transcript

  1. 2019/10/19
    @エンジニアカフェ
    #福岡XR部

    View Slide

  2. 福岡XR部
    XR技術・表現に興味のある人が集まるコミュニティ
    XRの話をしたり遊んだり作ったりする
    Not エンジニア (only) コミュニティ
    XR好きがどんどん増えると嬉しい
    ハッシュタグ: #福岡XR部
    2

    View Slide

  3. VTuberトーク
    3
    “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい
    るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン
    についてなど、参加者からの情報共有やディスカッションを通してVTuber
    について知ることを目的としたイベントです!”

    View Slide

  4. 開催の経緯・意図
    4
    ハッカソンの前にインプットする機会がほしい。
    色々なジャンルの人にハッカソンに参加してもらいたい。
    いきなりハッカソンだと敷居が高い可能性がある。
    → VTuberについて知る機会があると良さそう。
    (運営側も詳しい人が少ないので。。。)

    View Slide

  5. 属性アンケート
    5
    ● エンジニア
    ● デザイナー(3D)
    ● デザイナー(2D)
    ● 声優
    ● サウンド
    ● シナリオ
    ● 動画編集
    ● プロデュース
    ● VTuber大好きマン
    ● VTuberです

    View Slide

  6. もくじ
    6
    ● 『VTuberになるために必要な要素技術』by ながみね
    ● 『VTuber入門以前』 by オノッチ
    ● 『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる
    ● LT x 3名
    ● フリーディスカッション(交流会)

    View Slide

  7. VTuberになるために
    必要な要素技術
    (について僕が知りうる限りのことをがんばって話す)
    ながみね
    @KzoNag

    View Slide

  8. 自己紹介
    ながみね @KzoNag
    主にUnityでXRや展示物やアプリを作るお仕事
    XRの中ではAR/MRの現実寄りが好み
    福岡XR部 幹事
    (VTuberあんまり詳しくない)
    8

    View Slide

  9. 前回のハッカソンの作品
    9
    おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡
    大会、バーチャル審査結果発表

    View Slide

  10. 一刻も早くVTuberになりたい人は

    View Slide

  11. スマホで簡単にVTuberになれるアプリ
    11
    REALITYやカスタムキャストなど
    アバターの作成から配信までアプリ内に完結しているため
    スマホがあれば簡単にVTuberデビューできる

    View Slide

  12. ここから本題

    View Slide

  13. VTuberになるために必要なこと
    13
    ● キャラクターを用意する
    ● 表情をキャラクターに反映する
    ● 体の動きをキャラクターに反映する
    ● キャラクターに声をあてる
    ● ↑をまとめる仕組みを作る
    ● 録画・配信をする
    ● (動画を編集する)
    VTuberハッカソンで
    使用できそうなもの(予定)
    を中心に紹介します

    View Slide

  14. 今日のチャレンジ
    実は、この発表をVTuber風に
    録画しています

    View Slide

  15. キャラクターを用意する

    View Slide

  16. 3D
    16
    ● Vカツ
    ● VRoid
    ● MakeAvatar
    ● Blender

    View Slide

  17. 2D
    17
    ● Live2D

    View Slide

  18. 表情をキャラクターに反映する

    View Slide

  19. 主な実現方法
    19
    ● カメラやデプスセンサーで表情を認識してキャラクターに反映
    ● マイク音声を解析して口の動きに反映

    View Slide

  20. ツール
    20
    ● FaceRig
    ● FaceVTuber
    ● Hitogata

    View Slide

  21. 自作するなら
    21
    ● DLib + OpenCV
    ● ARKit
    ● OVRLipSync

    View Slide

  22. 体の動きをキャラクターに反映する

    View Slide

  23. 主な実現方法
    23
    ● VRデバイスを使う
    ● モーションキャプチャー用のデバイスを使う
    ● カメラ系のデバイスを使う

    View Slide

  24. VRデバイス
    24
    ● HTC VIVE + VIVE Tracker

    View Slide

  25. モーションキャプチャーデバイス
    25
    ● Perception Neuron
    ● Hi5
    ● LeapMotion

    View Slide

  26. カメラデバイス
    26
    ● Azure Kinect
    ● ARKit3
    ● 単眼Webカメラ(VisionPoseなど)

    View Slide

  27. ツール
    27
    ● バーチャルキャスト
    ● バーチャルモーションキャプチャ
    ● Luppet
    ● VRChat

    View Slide

  28. キャラクターに声をあてる

    View Slide

  29. 主な実現方法
    29
    ● 地声
    ● ボイスチェンジャー
    ● 音声合成(テキスト読み上げ)

    View Slide

  30. ボイスチェンジャー
    30
    ● 恋声

    View Slide

  31. 音声合成
    31
    ● VOICEROID
    ● CeVIO

    View Slide

  32. まとめる仕組みを作る

    View Slide

  33. やりたいこと
    33
    ● キャラクターを表示(2D/3D)
    ● モーキャプソフト等と連携してキャラクターをリアルタイムに動かす
    ● 音声の入出力も扱う

    View Slide

  34. ゲームエンジン
    34
    ● Unity
    ● Unreal Engine

    View Slide

  35. 録画・配信をする

    View Slide

  36. やりたいこと
    36
    ● 複数のソフトの画面をまとめる
    →そのときにクロマキーで背景を透過したい
    ● PCの音声とマイク音声をまとめる
    ● 各種サービスへのライブ配信、もしくは素材として録画する

    View Slide

  37. ツール
    37
    ● OBS Studio

    View Slide

  38. 参考文献

    View Slide

  39. 39
    ● 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版)
    ● バーチャルモーションキャプチャーを使ってVtuberになる方法
    ● VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画
    ● 【恋声】変換した声でPCから会話できるようにする方法
    ● バーチャルYouTuberのやり方 #VTuber
    ● #VTuber開発まとめ(2019-07-02)
    ● 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法
    ● CV VTuber Exampleで遊ぶ&プレゼンスを高める
    ● UnityのフルHD映像をOBSで受信する方法

    View Slide

  40. 告知

    View Slide

  41. VTuberハッカソン全国ツアー2019
    【福岡大会】

    View Slide

  42. 前回の様子

    View Slide

  43. おしまい

    View Slide