VTuberになるために必要な要素技術

Transcript

1. 2019/10/19 @エンジニアカフェ #福岡XR部
2. 福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ： #福岡XR部 2
3. VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです！”
4. 開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 →　VTuberについて知る機会があると良さそう。 （運営側も詳しい人が少ないので。。。）
5. 属性アンケート 5 • エンジニア • デザイナー（3D） • デザイナー（2D） • 声優 • サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
6. もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ • 『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション（交流会）
7. VTuberになるために 必要な要素技術 （について僕が知りうる限りのことをがんばって話す） ながみね @KzoNag
8. 自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 （VTuberあんまり詳しくない） 8
9. 前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー！ VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
10. 一刻も早くVTuberになりたい人は
11. スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
12. ここから本題
13. VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる • ↑をまとめる仕組みを作る • 録画・配信をする • （動画を編集する） VTuberハッカソンで 使用できそうなもの（予定） を中心に紹介します
14. 今日のチャレンジ 実は、この発表をVTuber風に 録画しています
15. キャラクターを用意する
16. 3D 16 • Vカツ • VRoid • MakeAvatar • Blender
17. 2D 17 • Live2D
18. 表情をキャラクターに反映する
19. 主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
20. ツール 20 • FaceRig • FaceVTuber • Hitogata
21. 自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
22. 体の動きをキャラクターに反映する
23. 主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
24. VRデバイス 24 • HTC VIVE + VIVE Tracker
25. モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
26. カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ（VisionPoseなど）
27. ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
28. キャラクターに声をあてる
29. 主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成（テキスト読み上げ）
30. ボイスチェンジャー 30 • 恋声
31. 音声合成 31 • VOICEROID • CeVIO
32. まとめる仕組みを作る
33. やりたいこと 33 • キャラクターを表示（2D/3D） • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
34. ゲームエンジン 34 • Unity • Unreal Engine
35. 録画・配信をする
36. やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
37. ツール 37 • OBS Studio
38. 参考文献
39. 39 • 今すぐVTuberになれる！お手軽ツール18選を徹底紹介（2019年最新版） • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見！「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 • バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ（2019-07-02） • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
40. 告知
41. VTuberハッカソン全国ツアー2019 【福岡大会】
42. 前回の様子
43. おしまい