VTuberになるために必要な要素技術

Transcript

1. 2019/10/19
   @エンジニアカフェ
   #福岡XR部
   

   View Slide

2. 福岡XR部
   XR技術・表現に興味のある人が集まるコミュニティ
   XRの話をしたり遊んだり作ったりする
   Not エンジニア (only) コミュニティ
   XR好きがどんどん増えると嬉しい
   ハッシュタグ： #福岡XR部
   2
   

   View Slide

3. VTuberトーク
   3
   “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい
   るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン
   についてなど、参加者からの情報共有やディスカッションを通してVTuber
   について知ることを目的としたイベントです！”
   

   View Slide

4. 開催の経緯・意図
   4
   ハッカソンの前にインプットする機会がほしい。
   色々なジャンルの人にハッカソンに参加してもらいたい。
   いきなりハッカソンだと敷居が高い可能性がある。
   →　VTuberについて知る機会があると良さそう。
   （運営側も詳しい人が少ないので。。。）
   

   View Slide

5. 属性アンケート
   5
   ● エンジニア
   ● デザイナー（3D）
   ● デザイナー（2D）
   ● 声優
   ● サウンド
   ● シナリオ
   ● 動画編集
   ● プロデュース
   ● VTuber大好きマン
   ● VTuberです
   

   View Slide

6. もくじ
   6
   ● 『VTuberになるために必要な要素技術』by ながみね
   ● 『VTuber入門以前』 by オノッチ
   ● 『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる
   ● LT x 3名
   ● フリーディスカッション（交流会）
   

   View Slide

7. VTuberになるために
   必要な要素技術
   （について僕が知りうる限りのことをがんばって話す）
   ながみね
   @KzoNag
   

   View Slide

8. 自己紹介
   ながみね @KzoNag
   主にUnityでXRや展示物やアプリを作るお仕事
   XRの中ではAR/MRの現実寄りが好み
   福岡XR部 幹事
   （VTuberあんまり詳しくない）
   8
   

   View Slide

9. 前回のハッカソンの作品
   9
   おきゅたんbotが全作品レビュー！ VTuberハッカソン全国ツアー・福岡
   大会、バーチャル審査結果発表
   

   View Slide

10. 一刻も早くVTuberになりたい人は
    

    View Slide

11. スマホで簡単にVTuberになれるアプリ
    11
    REALITYやカスタムキャストなど
    アバターの作成から配信までアプリ内に完結しているため
    スマホがあれば簡単にVTuberデビューできる
    

    View Slide

12. ここから本題
    

    View Slide

13. VTuberになるために必要なこと
    13
    ● キャラクターを用意する
    ● 表情をキャラクターに反映する
    ● 体の動きをキャラクターに反映する
    ● キャラクターに声をあてる
    ● ↑をまとめる仕組みを作る
    ● 録画・配信をする
    ● （動画を編集する）
    VTuberハッカソンで
    使用できそうなもの（予定）
    を中心に紹介します
    

    View Slide

14. 今日のチャレンジ
    実は、この発表をVTuber風に
    録画しています
    

    View Slide

15. キャラクターを用意する
    

    View Slide

16. 3D
    16
    ● Vカツ
    ● VRoid
    ● MakeAvatar
    ● Blender
    

    View Slide

17. 2D
    17
    ● Live2D
    

    View Slide

18. 表情をキャラクターに反映する
    

    View Slide

19. 主な実現方法
    19
    ● カメラやデプスセンサーで表情を認識してキャラクターに反映
    ● マイク音声を解析して口の動きに反映
    

    View Slide

20. ツール
    20
    ● FaceRig
    ● FaceVTuber
    ● Hitogata
    

    View Slide

21. 自作するなら
    21
    ● DLib + OpenCV
    ● ARKit
    ● OVRLipSync
    

    View Slide

22. 体の動きをキャラクターに反映する
    

    View Slide

23. 主な実現方法
    23
    ● VRデバイスを使う
    ● モーションキャプチャー用のデバイスを使う
    ● カメラ系のデバイスを使う
    

    View Slide

24. VRデバイス
    24
    ● HTC VIVE + VIVE Tracker
    

    View Slide

25. モーションキャプチャーデバイス
    25
    ● Perception Neuron
    ● Hi5
    ● LeapMotion
    

    View Slide

26. カメラデバイス
    26
    ● Azure Kinect
    ● ARKit3
    ● 単眼Webカメラ（VisionPoseなど）
    

    View Slide

27. ツール
    27
    ● バーチャルキャスト
    ● バーチャルモーションキャプチャ
    ● Luppet
    ● VRChat
    

    View Slide

28. キャラクターに声をあてる
    

    View Slide

29. 主な実現方法
    29
    ● 地声
    ● ボイスチェンジャー
    ● 音声合成（テキスト読み上げ）
    

    View Slide

30. ボイスチェンジャー
    30
    ● 恋声
    

    View Slide

31. 音声合成
    31
    ● VOICEROID
    ● CeVIO
    

    View Slide

32. まとめる仕組みを作る
    

    View Slide

33. やりたいこと
    33
    ● キャラクターを表示（2D/3D）
    ● モーキャプソフト等と連携してキャラクターをリアルタイムに動かす
    ● 音声の入出力も扱う
    

    View Slide

34. ゲームエンジン
    34
    ● Unity
    ● Unreal Engine
    

    View Slide

35. 録画・配信をする
    

    View Slide

36. やりたいこと
    36
    ● 複数のソフトの画面をまとめる
    →そのときにクロマキーで背景を透過したい
    ● PCの音声とマイク音声をまとめる
    ● 各種サービスへのライブ配信、もしくは素材として録画する
    

    View Slide

37. ツール
    37
    ● OBS Studio
    

    View Slide

38. 参考文献
    

    View Slide

39. 39
    ● 今すぐVTuberになれる！お手軽ツール18選を徹底紹介（2019年最新版）
    ● バーチャルモーションキャプチャーを使ってVtuberになる方法
    ● VTuber必見！「ボイスチャンジャ―の使い方」徹底解説動画
    ● 【恋声】変換した声でPCから会話できるようにする方法
    ● バーチャルYouTuberのやり方 #VTuber
    ● #VTuber開発まとめ（2019-07-02）
    ● 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法
    ● CV VTuber Exampleで遊ぶ&プレゼンスを高める
    ● UnityのフルHD映像をOBSで受信する方法
    

    View Slide

40. 告知
    

    View Slide

41. VTuberハッカソン全国ツアー2019
    【福岡大会】
    

    View Slide

42. 前回の様子
    

    View Slide

43. おしまい
    

    View Slide