Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VTuberになるために必要な要素技術
Search
Keizo Nagamine
October 19, 2019
Technology
0
120
VTuberになるために必要な要素技術
Keizo Nagamine
October 19, 2019
Tweet
Share
More Decks by Keizo Nagamine
See All by Keizo Nagamine
福岡XR部でのHubs活用事例報告っ!
kzonag
0
180
ついに届いたNreal! -サンプルランチャーを作ってみた-
kzonag
0
250
福岡XR部の紹介と最近のオンライン活動
kzonag
0
2.2k
ZoomとHubsの繋げ方
kzonag
0
680
リアルと重ねるVR
kzonag
0
2.5k
PhotonでOculusAvatarを動かす方法
kzonag
0
510
UnityでOculuQuest入門
kzonag
0
1.1k
XRのおさらいと最近ホットな話題
kzonag
0
120
UnityマンがA-Frameさわってみて感じた共通点とか
kzonag
0
680
Other Decks in Technology
See All in Technology
AIのAIによるAIのための出力評価と改善
chocoyama
2
570
20250625 Snowflake Summit 2025活用事例 レポート / Nowcast Snowflake Summit 2025 Case Study Report
kkuv
1
310
変化する開発、進化する体系時代に適応するソフトウェアエンジニアの知識と考え方(JaSST'25 Kansai)
mizunori
1
230
標準技術と独自システムで作る「つらくない」SaaS アカウント管理 / Effortless SaaS Account Management with Standard Technologies & Custom Systems
yuyatakeyama
3
1.3k
mrubyと micro-ROSが繋ぐロボットの世界
kishima
2
330
rubygem開発で鍛える設計力
joker1007
2
220
エンジニア向け技術スタック情報
kauche
1
270
Witchcraft for Memory
pocke
1
420
~宇宙最速~2025年AWS Summit レポート
satodesu
1
1.9k
AWS Summit Japan 2025 Community Stage - App workflow automation by AWS Step Functions
matsuihidetoshi
1
280
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
210
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
15
5.3k
Featured
See All Featured
Speed Design
sergeychernyshev
32
1k
The Pragmatic Product Professional
lauravandoore
35
6.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
124
52k
KATA
mclloyd
29
14k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.3k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
Making Projects Easy
brettharned
116
6.3k
How to train your dragon (web standard)
notwaldorf
94
6.1k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
The Invisible Side of Design
smashingmag
300
51k
A better future with KSS
kneath
239
17k
Transcript
2019/10/19 @エンジニアカフェ #福岡XR部
福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部
2
VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”
開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)
属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優
• サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •
『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag
自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8
前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
一刻も早くVTuberになりたい人は
スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
ここから本題
VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる
• ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
今日のチャレンジ 実は、この発表をVTuber風に 録画しています
キャラクターを用意する
3D 16 • Vカツ • VRoid • MakeAvatar • Blender
2D 17 • Live2D
表情をキャラクターに反映する
主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
ツール 20 • FaceRig • FaceVTuber • Hitogata
自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
体の動きをキャラクターに反映する
主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
VRデバイス 24 • HTC VIVE + VIVE Tracker
モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)
ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
キャラクターに声をあてる
主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)
ボイスチェンジャー 30 • 恋声
音声合成 31 • VOICEROID • CeVIO
まとめる仕組みを作る
やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
ゲームエンジン 34 • Unity • Unreal Engine
録画・配信をする
やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
ツール 37 • OBS Studio
参考文献
39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •
バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
告知
VTuberハッカソン全国ツアー2019 【福岡大会】
前回の様子
おしまい