Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
VTuberになるために必要な要素技術
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
Keizo Nagamine
October 19, 2019
Technology
140
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
VTuberになるために必要な要素技術
Keizo Nagamine
October 19, 2019
Transcript
43 slides
2019/10/19 @エンジニアカフェ #福岡XR部
福岡XR部 XR技術・表現に興味のある人が集まるコミュニティ XRの話をしたり遊んだり作ったりする Not エンジニア (only) コミュニティ XR好きがどんどん増えると嬉しい ハッシュタグ: #福岡XR部
2
VTuberトーク 3 “VTuberトークは、VTuberがどんなものなのか、どんなふうに作られてい るのか、最近のトレンドや11月16〜17日に開催予定のVTuberハッカソン についてなど、参加者からの情報共有やディスカッションを通してVTuber について知ることを目的としたイベントです!”
開催の経緯・意図 4 ハッカソンの前にインプットする機会がほしい。 色々なジャンルの人にハッカソンに参加してもらいたい。 いきなりハッカソンだと敷居が高い可能性がある。 → VTuberについて知る機会があると良さそう。 (運営側も詳しい人が少ないので。。。)
属性アンケート 5 • エンジニア • デザイナー(3D) • デザイナー(2D) • 声優
• サウンド • シナリオ • 動画編集 • プロデュース • VTuber大好きマン • VTuberです
もくじ 6 • 『VTuberになるために必要な要素技術』by ながみね • 『VTuber入門以前』 by オノッチ •
『バーチャルYoutuber概論』 by ムラサメ@知的好奇心に身をまかせる • LT x 3名 • フリーディスカッション(交流会)
VTuberになるために 必要な要素技術 (について僕が知りうる限りのことをがんばって話す) ながみね @KzoNag
自己紹介 ながみね @KzoNag 主にUnityでXRや展示物やアプリを作るお仕事 XRの中ではAR/MRの現実寄りが好み 福岡XR部 幹事 (VTuberあんまり詳しくない) 8
前回のハッカソンの作品 9 おきゅたんbotが全作品レビュー! VTuberハッカソン全国ツアー・福岡 大会、バーチャル審査結果発表
一刻も早くVTuberになりたい人は
スマホで簡単にVTuberになれるアプリ 11 REALITYやカスタムキャストなど アバターの作成から配信までアプリ内に完結しているため スマホがあれば簡単にVTuberデビューできる
ここから本題
VTuberになるために必要なこと 13 • キャラクターを用意する • 表情をキャラクターに反映する • 体の動きをキャラクターに反映する • キャラクターに声をあてる
• ↑をまとめる仕組みを作る • 録画・配信をする • (動画を編集する) VTuberハッカソンで 使用できそうなもの(予定) を中心に紹介します
今日のチャレンジ 実は、この発表をVTuber風に 録画しています
キャラクターを用意する
3D 16 • Vカツ • VRoid • MakeAvatar • Blender
2D 17 • Live2D
表情をキャラクターに反映する
主な実現方法 19 • カメラやデプスセンサーで表情を認識してキャラクターに反映 • マイク音声を解析して口の動きに反映
ツール 20 • FaceRig • FaceVTuber • Hitogata
自作するなら 21 • DLib + OpenCV • ARKit • OVRLipSync
体の動きをキャラクターに反映する
主な実現方法 23 • VRデバイスを使う • モーションキャプチャー用のデバイスを使う • カメラ系のデバイスを使う
VRデバイス 24 • HTC VIVE + VIVE Tracker
モーションキャプチャーデバイス 25 • Perception Neuron • Hi5 • LeapMotion
カメラデバイス 26 • Azure Kinect • ARKit3 • 単眼Webカメラ(VisionPoseなど)
ツール 27 • バーチャルキャスト • バーチャルモーションキャプチャ • Luppet • VRChat
キャラクターに声をあてる
主な実現方法 29 • 地声 • ボイスチェンジャー • 音声合成(テキスト読み上げ)
ボイスチェンジャー 30 • 恋声
音声合成 31 • VOICEROID • CeVIO
まとめる仕組みを作る
やりたいこと 33 • キャラクターを表示(2D/3D) • モーキャプソフト等と連携してキャラクターをリアルタイムに動かす • 音声の入出力も扱う
ゲームエンジン 34 • Unity • Unreal Engine
録画・配信をする
やりたいこと 36 • 複数のソフトの画面をまとめる →そのときにクロマキーで背景を透過したい • PCの音声とマイク音声をまとめる • 各種サービスへのライブ配信、もしくは素材として録画する
ツール 37 • OBS Studio
参考文献
39 • 今すぐVTuberになれる!お手軽ツール18選を徹底紹介(2019年最新版) • バーチャルモーションキャプチャーを使ってVtuberになる方法 • VTuber必見!「ボイスチャンジャ―の使い方」徹底解説動画 • 【恋声】変換した声でPCから会話できるようにする方法 •
バーチャルYouTuberのやり方 #VTuber • #VTuber開発まとめ(2019-07-02) • 【初心者向け】UnityとLive2Dで拡張しやすいVTuber配信システムを作る方法 • CV VTuber Exampleで遊ぶ&プレゼンスを高める • UnityのフルHD映像をOBSで受信する方法
告知
VTuberハッカソン全国ツアー2019 【福岡大会】
前回の様子
おしまい
More Decks by Keizo Nagamine
See All by Keizo Nagamine
福岡XR部でのHubs活用事例報告っ!
kzonag
0
220
ついに届いたNreal! -サンプルランチャーを作ってみた-
kzonag
0
290
福岡XR部の紹介と最近のオンライン活動
kzonag
0
2.4k
ZoomとHubsの繋げ方
kzonag
0
720
リアルと重ねるVR
kzonag
0
2.8k
PhotonでOculusAvatarを動かす方法
kzonag
0
580
UnityでOculuQuest入門
kzonag
0
1.2k
XRのおさらいと最近ホットな話題
kzonag
0
140
UnityマンがA-Frameさわってみて感じた共通点とか
kzonag
0
750
Other Decks in Technology
See All in Technology
これからのデータエンジニアの役割について考える / Rethinking the Role of Data Engineers in the AI Era
okiyuki99
1
530
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
350
Sonnetだけで業務はまわる?
kintotechdev
1
140
速くなった開発の効果をどう推し量るのか
bulbulpaul
0
130
おうち環境でも「なるべく止めたくない!」 ― おうち環境の機器冗長化の理想と現実
yuutosi
1
580
Shared Signals Framework 仕様解説
oidfj
0
480
SSFの現在地 ― CAEP/RISCからAI Identityへ
oidfj
0
470
「AIチャットからもできないの?」と言われたら ~業務アプリをMCP対応するときの認証・認可の勘所
oidfj
0
370
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
16
27k
コピーオンライト型ファイルシステムと ランダム書き込み
sat
PRO
2
120
Claude Codeで新規事業を伸ばせるか? Zennの試行錯誤の記録
wadayusuke
2
240
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
450
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
The Organizational Zoo: Understanding Human Behavior Agility Through Metaphoric Constructive Conversations (based on the works of Arthur Shelley, Ph.D)
kimpetersen
PRO
0
540
VelocityConf: Rendering Performance Case Studies
addyosmani
331
25k
Docker and Python
trallard
47
4.3k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
Claude Code のすすめ
schroneko
67
230k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
350
Building Flexible Design Systems
yeseniaperezcruz
330
41k
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k
GraphQLとの向き合い方2022年版
quramy
50
15k
The Anti-SEO Checklist Checklist. Pubcon Cyber Week
ryanjones
0
300
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
60k