Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VTuberになるために必要な要素技術
Search
Keizo Nagamine
October 19, 2019
Technology
0
120
VTuberになるために必要な要素技術
Keizo Nagamine
October 19, 2019
Tweet
Share
More Decks by Keizo Nagamine
See All by Keizo Nagamine
福岡XR部でのHubs活用事例報告っ!
kzonag
0
170
ついに届いたNreal! -サンプルランチャーを作ってみた-
kzonag
0
240
福岡XR部の紹介と最近のオンライン活動
kzonag
0
1.9k
ZoomとHubsの繋げ方
kzonag
0
640
リアルと重ねるVR
kzonag
0
2.3k
PhotonでOculusAvatarを動かす方法
kzonag
0
420
UnityでOculuQuest入門
kzonag
0
1.1k
XRのおさらいと最近ホットな話題
kzonag
0
110
UnityマンがA-Frameさわってみて感じた共通点とか
kzonag
0
600
Other Decks in Technology
See All in Technology
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
公共領域から学ぶ クラウド移行についてエンジニアが意識していること
kawakawa2222
0
140
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先 / AI Test Lab vol.1
shift_evolve
0
190
Azure AI ことはじめ
tsubakimoto_s
0
130
Git 研修 Advanced【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
200
「我々はどこに向かっているのか」を問い続けるための仕組みづくり / Establishing a System for Continuous Inquiry about where we are
daitasu
0
170
データ分析基盤を作ってみよう~設計編~
nrinetcom
PRO
1
110
Classmethod Odyssey 登壇資料
yamahiro
0
390
開発と事業を繋ぐ!SREのオブザーバビリティ戦略 ~ Developers Summit 2024 Summer ~
leveragestech
0
630
How to Think Like a Performance Engineer
csswizardry
4
590
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
29
2.5k
Six Lessons from altMBA
skipperchong
24
3.2k
GraphQLの誤解/rethinking-graphql
sonatard
59
9.6k
Being A Developer After 40
akosma
72
580k
Git: the NoSQL Database
bkeepers
PRO
423
64k
GitHub's CSS Performance
jonrohan
1026
450k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
24
1.8k
It's Worth the Effort
3n
181
27k
The Power of CSS Pseudo Elements
geoffreycrofte
64
5.2k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
The Mythical Team-Month
searls
217
43k
Gamification - CAS2011
davidbonilla
78
4.9k
Transcript
2019/10/19 @エンジニアカフェ #福岡XR部
福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部
2
VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”
開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)
属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優
• サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •
『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag
自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8
前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
一刻も早くVTuberになりたい人は
スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
ここから本題
VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる
• ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
今日のチャレンジ 実は、この発表をVTuber風に 録画しています
キャラクターを用意する
3D 16 • Vカツ • VRoid • MakeAvatar • Blender
2D 17 • Live2D
表情をキャラクターに反映する
主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
ツール 20 • FaceRig • FaceVTuber • Hitogata
自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
体の動きをキャラクターに反映する
主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
VRデバイス 24 • HTC VIVE + VIVE Tracker
モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)
ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
キャラクターに声をあてる
主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)
ボイスチェンジャー 30 • 恋声
音声合成 31 • VOICEROID • CeVIO
まとめる仕組みを作る
やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
ゲームエンジン 34 • Unity • Unreal Engine
録画・配信をする
やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
ツール 37 • OBS Studio
参考文献
39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •
バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
告知
VTuberハッカソン全国ツアー2019 【福岡大会】
前回の様子
おしまい