Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VTuberになるために必要な要素技術
Search
Keizo Nagamine
October 19, 2019
Technology
0
110
VTuberになるために必要な要素技術
Keizo Nagamine
October 19, 2019
Tweet
Share
More Decks by Keizo Nagamine
See All by Keizo Nagamine
福岡XR部でのHubs活用事例報告っ!
kzonag
0
160
ついに届いたNreal! -サンプルランチャーを作ってみた-
kzonag
0
230
福岡XR部の紹介と最近のオンライン活動
kzonag
0
1.9k
ZoomとHubsの繋げ方
kzonag
0
630
リアルと重ねるVR
kzonag
0
2.2k
PhotonでOculusAvatarを動かす方法
kzonag
0
400
UnityでOculuQuest入門
kzonag
0
1k
XRのおさらいと最近ホットな話題
kzonag
0
110
UnityマンがA-Frameさわってみて感じた共通点とか
kzonag
0
560
Other Decks in Technology
See All in Technology
Python と Snowflake はズッ友だょ!~ Snowflake の Python 関連機能をふりかえる ~
__allllllllez__
1
120
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
5
500
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
440
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
440
複雑な構成要素を持つUIとの向き合い方 〜新・支出グラフでの実例〜 / B43 TECH TALK
nakamuuu
0
140
SIEMを用いて、セキュリティログ分析の可視化と分析を実現し、PDCAサイクルを回してみた
coconala_engineer
0
280
Building Dashboards as a Hobby
egmc
0
100
本当のAWS基礎
toru_kubota
0
510
Kernel MemoryでAzure OpenAI Serviceとお手軽データソース連携
mitsuzono
1
240
20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる
doradora09
0
130
DevOpsDays History and my DevOps story
kawaguti
PRO
9
2.5k
いつか使うかも貯金してたらめちゃめちゃ機能が増えてた話
riyaamemiya
0
110
Featured
See All Featured
Embracing the Ebb and Flow
colly
80
4.1k
Learning to Love Humans: Emotional Interface Design
aarron
267
39k
The Invisible Side of Design
smashingmag
294
49k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Typedesign – Prime Four
hannesfritz
36
2.1k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
Art, The Web, and Tiny UX
lynnandtonic
289
19k
Imperfection Machines: The Place of Print at Facebook
scottboms
260
12k
Happy Clients
brianwarren
92
6.4k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
104
6.6k
The Mythical Team-Month
searls
216
42k
Code Reviewing Like a Champion
maltzj
514
39k
Transcript
2019/10/19 @エンジニアカフェ #福岡XR部
福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部
2
VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”
開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)
属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優
• サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •
『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag
自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8
前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
一刻も早くVTuberになりたい人は
スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
ここから本題
VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる
• ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
今日のチャレンジ 実は、この発表をVTuber風に 録画しています
キャラクターを用意する
3D 16 • Vカツ • VRoid • MakeAvatar • Blender
2D 17 • Live2D
表情をキャラクターに反映する
主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
ツール 20 • FaceRig • FaceVTuber • Hitogata
自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
体の動きをキャラクターに反映する
主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
VRデバイス 24 • HTC VIVE + VIVE Tracker
モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)
ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
キャラクターに声をあてる
主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)
ボイスチェンジャー 30 • 恋声
音声合成 31 • VOICEROID • CeVIO
まとめる仕組みを作る
やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
ゲームエンジン 34 • Unity • Unreal Engine
録画・配信をする
やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
ツール 37 • OBS Studio
参考文献
39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •
バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
告知
VTuberハッカソン全国ツアー2019 【福岡大会】
前回の様子
おしまい