VTuberになるために必要な要素技術

Transcript

1. 2019/10/19 @エンジニアカフェ #福岡XR部

2. 福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ： #福岡XR部

   2

3. VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです！”

4. 開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 →　VTuberについて知る機会があると良さそう。 （運営側も詳しい人が少ないので。。。）

5. 属性アンケート 5 • エンジニア • デザイナー（3D） • デザイナー（2D） • 声優

   • サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです

6. もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •

   『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション（交流会）

7. VTuberになるために 必要な要素技術 （について僕が知りうる限りのことをがんばって話す） ながみね @KzoNag

8. 自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 （VTuberあんまり詳しくない） 8

9. 前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー！ VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表

10. 一刻も早くVTuberになりたい人は

11. スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる

12. ここから本題

13. VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる

    • ↑をまとめる仕組みを作る • 録画・配信をする • （動画を編集する） VTuberハッカソンで 使用できそうなもの（予定） を中心に紹介します

14. 今日のチャレンジ 実は、この発表をVTuber風に 録画しています

15. キャラクターを用意する

16. 3D 16 • Vカツ • VRoid • MakeAvatar • Blender

17. 2D 17 • Live2D

18. 表情をキャラクターに反映する

19. 主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映

20. ツール 20 • FaceRig • FaceVTuber • Hitogata

21. 自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync

22. 体の動きをキャラクターに反映する

23. 主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う

24. VRデバイス 24 • HTC VIVE + VIVE Tracker

25. モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion

26. カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ（VisionPoseなど）

27. ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat

28. キャラクターに声をあてる

29. 主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成（テキスト読み上げ）

30. ボイスチェンジャー 30 • 恋声

31. 音声合成 31 • VOICEROID • CeVIO

32. まとめる仕組みを作る

33. やりたいこと 33 • キャラクターを表示（2D/3D） • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う

34. ゲームエンジン 34 • Unity • Unreal Engine

35. 録画・配信をする

36. やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する

37. ツール 37 • OBS Studio

38. 参考文献

39. 39 • 今すぐVTuberになれる！お手軽ツール18選を徹底紹介（2019年最新版） • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見！「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •

    バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ（2019-07-02） • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法

40. 告知

41. VTuberハッカソン全国ツアー2019 【福岡大会】

42. 前回の様子

43. おしまい