VTuberになるために必要な要素技術

Transcript

1. 1.

   2019/10/19 @エンジニアカフェ #福岡XR部

2. 2.

   福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ： #福岡XR部

   2
3. 3.

   VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです！”

4. 4.

   開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 →　VTuberについて知る機会があると良さそう。 （運営側も詳しい人が少ないので。。。）

5. 5.

   属性アンケート 5 • エンジニア • デザイナー（3D） • デザイナー（2D） • 声優

   • サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
6. 6.

   もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •

   『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション（交流会）
7. 7.

   VTuberになるために 必要な要素技術 （について僕が知りうる限りのことをがんばって話す） ながみね @KzoNag

8. 8.

   自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 （VTuberあんまり詳しくない） 8

9. 9.

   前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー！ VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表

10. 10.

    一刻も早くVTuberになりたい人は

11. 11.

    スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる

12. 12.

    ここから本題

13. 13.

    VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる

    • ↑をまとめる仕組みを作る • 録画・配信をする • （動画を編集する） VTuberハッカソンで 使用できそうなもの（予定） を中心に紹介します
14. 14.

    今日のチャレンジ 実は、この発表をVTuber風に 録画しています

15. 15.

    キャラクターを用意する

16. 16.

    3D 16 • Vカツ • VRoid • MakeAvatar • Blender

17. 17.

    2D 17 • Live2D

18. 18.

    表情をキャラクターに反映する

19. 19.

    主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映

20. 20.

    ツール 20 • FaceRig • FaceVTuber • Hitogata

21. 21.

    自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync

22. 22.

    体の動きをキャラクターに反映する

23. 23.

    主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う

24. 24.

    VRデバイス 24 • HTC VIVE + VIVE Tracker

25. 25.

    モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion

26. 26.

    カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ（VisionPoseなど）

27. 27.

    ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat

28. 28.

    キャラクターに声をあてる

29. 29.

    主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成（テキスト読み上げ）

30. 30.

    ボイスチェンジャー 30 • 恋声

31. 31.

    音声合成 31 • VOICEROID • CeVIO

32. 32.

    まとめる仕組みを作る

33. 33.

    やりたいこと 33 • キャラクターを表示（2D/3D） • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う

34. 34.

    ゲームエンジン 34 • Unity • Unreal Engine

35. 35.

    録画・配信をする

36. 36.

    やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する

37. 37.

    ツール 37 • OBS Studio

38. 38.

    参考文献

39. 39.

    39 • 今すぐVTuberになれる！お手軽ツール18選を徹底紹介（2019年最新版） • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見！「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •

    バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ（2019-07-02） • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
40. 40.

    告知

41. 41.

    VTuberハッカソン全国ツアー2019 【福岡大会】

42. 42.

    前回の様子

43. 43.

    おしまい