Upgrade to Pro — share decks privately, control downloads, hide ads and more …

VTuberになるために必要な要素技術

 VTuberになるために必要な要素技術

1abc6d5a9efeae182b35d95836ba70e5?s=128

Keizo Nagamine

October 19, 2019
Tweet

Transcript

  1. 2019/10/19 @エンジニアカフェ #福岡XR部

  2. 福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部

    2
  3. VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”

  4. 開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)

  5. 属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優

    • サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
  6. もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •

    『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
  7. VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag

  8. 自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8

  9. 前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表

  10. 一刻も早くVTuberになりたい人は

  11. スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる

  12. ここから本題

  13. VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる

    • ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
  14. 今日のチャレンジ 実は、この発表をVTuber風に 録画しています

  15. キャラクターを用意する

  16. 3D 16 • Vカツ • VRoid • MakeAvatar • Blender

  17. 2D 17 • Live2D

  18. 表情をキャラクターに反映する

  19. 主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映

  20. ツール 20 • FaceRig • FaceVTuber • Hitogata

  21. 自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync

  22. 体の動きをキャラクターに反映する

  23. 主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う

  24. VRデバイス 24 • HTC VIVE + VIVE Tracker

  25. モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion

  26. カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)

  27. ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat

  28. キャラクターに声をあてる

  29. 主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)

  30. ボイスチェンジャー 30 • 恋声

  31. 音声合成 31 • VOICEROID • CeVIO

  32. まとめる仕組みを作る

  33. やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う

  34. ゲームエンジン 34 • Unity • Unreal Engine

  35. 録画・配信をする

  36. やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する

  37. ツール 37 • OBS Studio

  38. 参考文献

  39. 39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •

    バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
  40. 告知

  41. VTuberハッカソン全国ツアー2019 【福岡大会】

  42. 前回の様子

  43. おしまい