Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VTuberになるために必要な要素技術
Search
Keizo Nagamine
October 19, 2019
Technology
0
130
VTuberになるために必要な要素技術
Keizo Nagamine
October 19, 2019
Tweet
Share
More Decks by Keizo Nagamine
See All by Keizo Nagamine
福岡XR部でのHubs活用事例報告っ!
kzonag
0
190
ついに届いたNreal! -サンプルランチャーを作ってみた-
kzonag
0
260
福岡XR部の紹介と最近のオンライン活動
kzonag
0
2.2k
ZoomとHubsの繋げ方
kzonag
0
680
リアルと重ねるVR
kzonag
0
2.6k
PhotonでOculusAvatarを動かす方法
kzonag
0
520
UnityでOculuQuest入門
kzonag
0
1.2k
XRのおさらいと最近ホットな話題
kzonag
0
120
UnityマンがA-Frameさわってみて感じた共通点とか
kzonag
0
690
Other Decks in Technology
See All in Technology
JuniorからSeniorまで: DevOpsエンジニアの成長ロードマップ
yuriemori
0
210
ECS モニタリング手法大整理
yendoooo
1
120
事業価値と Engineering
recruitengineers
PRO
2
230
第4回 関東Kaggler会 [Training LLMs with Limited VRAM]
tascj
12
1.8k
自社製CMSからmicroCMSへのリプレースがプロダクトグロースを加速させた話
nextbeatdev
0
140
モダンフロントエンド 開発研修
recruitengineers
PRO
3
350
Amazon Bedrock AgentCore でプロモーション用動画生成エージェントを開発する
nasuvitz
6
430
新規案件の立ち上げ専門チームから見たAI駆動開発の始め方
shuyakinjo
0
130
マイクロモビリティシェアサービスを支える プラットフォームアーキテクチャ
grimoh
1
240
LLMエージェント時代に適応した開発フロー
hiragram
1
410
[CV勉強会@関東 CVPR2025 読み会] MegaSaM: Accurate, Fast, and Robust Structure and Motion from Casual Dynamic Videos (Li+, CVPR2025)
abemii
0
190
見てわかるテスト駆動開発
recruitengineers
PRO
5
360
Featured
See All Featured
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.8k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
480
A Tale of Four Properties
chriscoyier
160
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
358
30k
Building an army of robots
kneath
306
46k
Optimizing for Happiness
mojombo
379
70k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
The Cost Of JavaScript in 2023
addyosmani
53
8.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
Transcript
2019/10/19 @エンジニアカフェ #福岡XR部
福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部
2
VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”
開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)
属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優
• サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •
『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag
自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8
前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
一刻も早くVTuberになりたい人は
スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
ここから本題
VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる
• ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
今日のチャレンジ 実は、この発表をVTuber風に 録画しています
キャラクターを用意する
3D 16 • Vカツ • VRoid • MakeAvatar • Blender
2D 17 • Live2D
表情をキャラクターに反映する
主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
ツール 20 • FaceRig • FaceVTuber • Hitogata
自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
体の動きをキャラクターに反映する
主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
VRデバイス 24 • HTC VIVE + VIVE Tracker
モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)
ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
キャラクターに声をあてる
主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)
ボイスチェンジャー 30 • 恋声
音声合成 31 • VOICEROID • CeVIO
まとめる仕組みを作る
やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
ゲームエンジン 34 • Unity • Unreal Engine
録画・配信をする
やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
ツール 37 • OBS Studio
参考文献
39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •
バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
告知
VTuberハッカソン全国ツアー2019 【福岡大会】
前回の様子
おしまい