Slide 1

Slide 1 text

REALITY「なりたい自分で、生きていく」 リアルタイムライブでVTuberが活躍する 舞台を作る現場の1年 株式会社Wright Flyer Live Entertainment Presence Technology Group グリー株式会社 GREE VR Studio Lab 本講演の質問は Responで受付中

Slide 2

Slide 2 text

本日の講演内容 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) 白井暁彦 博士(工学) GREE VR Studio Lab Director 現場とバーチャルをつなぐ コミュニケーター 所属 本日の担当 名前

Slide 3

Slide 3 text

WFLE PT と GREE VR Studio Lab プロダクション事業 研究開発部門 ・長期スパンR&D ・知財創出 ・アライアンス 新技術の調査選定 ・国際展開 SIGGRAPH等でデモイベント ・普及啓蒙事業 ボイチェンサービス 「転声こえうらない」 など… ソリューション事業 プロダクションチーム ソリューション事業部 VTuber技術 → 他産業展開 プラットフォーム事業 プラットフォーム事業部 Presence Technology Group BizDev&Marketing チーム プラットフォーム開発 VTuberコンテンツ制作 マーケティング支援 WFLE所属VTuberの支援 連 携

Slide 4

Slide 4 text

リアルタイムモーキャプ 3Dアセットを活用した番組 ライブ配信 Voice Record & Lip Sync Motion Capture Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth でやっていること Presence Technology Group = VTuberのみなさんのプレゼンスを技術で支える集団

Slide 5

Slide 5 text

より生放送でお届け たかはし やすかわ はしもと わたなべ / Sara

Slide 6

Slide 6 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前

Slide 7

Slide 7 text

歌番組 バラエティ ゲーム実況 数字で振り返るREALITY Studioの1年 数々のREALITY公式番組が誕生

Slide 8

Slide 8 text

数字で振り返るREALITY Studioの1年 音楽番組の総視聴時間 40,000時間以上

Slide 9

Slide 9 text

数字で振り返るREALITY Studioの1年 ゲーム実況番組の総視聴コメント数 246,357件

Slide 10

Slide 10 text

数字で振り返るREALITY Studioの1年 1年間の生配信回数は 400回以上!

Slide 11

Slide 11 text

1年間の収録回数は 200回以上! 数字で振り返るREALITY Studioの1年

Slide 12

Slide 12 text

数字で振り返るREALITY Studioの1年 1年間の出演者数 100名以上!

Slide 13

Slide 13 text

数字で振り返るREALITY Studioの1年 同時出演者数 8名以上

Slide 14

Slide 14 text

数字で振り返るREALITY Studioの1年 ギフトの最高熱量 秒間最大89個!

Slide 15

Slide 15 text

2018年 1月 6月 12月 要件定義 プライオリティ プリプロ 本開発 毎日生配信の運用 REALITY リリース REALITY Avatar リリース 数字で振り返るREALITY Studioの1年 開発スケジュール(2018)

Slide 16

Slide 16 text

2019年 1月 6月 12月 毎日生配信の運用 数字で振り返るREALITY Studioの1年 開発スケジュール(2019) 生番組の開発と運用 VRM対応 ソリューション事業開始 アバター出演

Slide 17

Slide 17 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前

Slide 18

Slide 18 text

スタジオのシステム REALITY Studio Tokyo エントランス 控え室

Slide 19

Slide 19 text

● 1部屋最大4人の共演が可能 ● 全身キャプチャー ○ MVN Xsens ○ Orion ● フェイスキャプチャー ○ iPhone X ○ 特殊表情コントローラー ● フィンガーキャプチャー ○ グローブ ○ ゲームコントローラー ● ギフト専用タブレット端末 ● 複数の可動式大型モニター ● マイク ● イヤモニ ● 防音 ● 空調 ● アクターサポート機材多数 スタジオのシステム REALITY Studio Tokyo キャプチャールーム

Slide 20

Slide 20 text

● ディーリングデスク ○ 強固なモニターアーム ○ 整えられたエアフローと配線ダクト ● PC ○ UE4(Core i9 9900K + RTX2080 SLI) ○ カメラプレビュー ○ 映像配信&合成(OBS) ○ サイマル配信(Wirecast) ○ 出演者支援(カンペ、ギフト) ● 音響 ○ デジタルミキサー(01V96i) ○ 効果音卓 ● 27インチモニター 8枚 ● 収録用機材 ○ 高画質録画 ○ パラ録音 スタジオのシステム REALITY Studio Tokyo コントロールルーム

Slide 21

Slide 21 text

スタジオのシステム REALITY Studio Roppongi キャプチャールーム コントロールルーム

Slide 22

Slide 22 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) たかはし WFLE Presence Technology Group エンジニア キャプチャーシステムの検証と 現場導入、ライブソフトの開発 所属 担当 名前

Slide 23

Slide 23 text

各要件 検証項目 単独配信(基本動作) 棒立ち、椅子に座る、揺れもの、手(指)の表現、背をそらす、前かがみ、 ジャンプ、胡坐をかく、手を振る、腕の可動域、腕組み 添い寝配信 仰向け、うつ伏せ、横向き コラボ配信 手をつなぐ、タッチ、ハグ ゲーム配信 椅子に座る、ゲーム機を触る ダンス配信 ジャンプ、回転 モーキャプで何をしたいか?何ができるか? モーキャプスタジオとしての1年

Slide 24

Slide 24 text

取り扱っているモーキャプシステム モーキャプスタジオとしての1年 スタジオ立ち上げ時~ 2018年末~ 最近 デバイス 【VIVE トラッカー】 HTC社などから販売されてい る光学式デバイス。価格も手 頃で市販されている。VR デバ イスなので応用もしやすい。 【Xsens MVN Link】 ゼロシーセブン社などから販 売されている慣性式モーショ ンキャプチャーシステム。慣 性式であるにも関わらず磁場 の影響を受けない。 【Vicon Vero】 クレッセント社などから販売 されている非常に有名な光学 式モーションキャプチャーシ ステムの 1 つ。 ソフトウェア 【IKinema Orion】 IKinema 社などから販売され ているモーションキャプチャ ーシステム。価格が手頃。 【MVN Animate Pro】 Xsens MVN のソフトウェア。 【Shogun】 Vicon のソフトウェア。

Slide 25

Slide 25 text

方式 良い点 課題 光学式 ● 絶対座標を計測できる ● 誤差は蓄積しない ● 反射物や遮蔽物の影響を受ける 慣性式 ● 反射物や遮蔽物の影響を受けない ● 絶対座標を正確に計測できない ● 誤差が蓄積する ● 磁気センサーを用いる場合、磁気 の影響を受ける キャプチャー方式の特徴 モーキャプスタジオとしての1年

Slide 26

Slide 26 text

機材コスト 安定性 モーション品質 スケーラビリティ 安い △ △ △ 高い ○ ○ ◎ 高い ◎ ◎ ○ モーキャプシステムの比較 モーキャプスタジオとしての1年

Slide 27

Slide 27 text

良い点 課題 ● 機材は安い ● 絶対座標を取得できる ● モーキャプ以外の用途 ● 反射物や遮蔽物にすごく弱い ● 電波干渉(2.4GHz帯)に弱い ● バッテリーが少し足りない ● キャリブレーションが厳しい ● デバイスが大きい ● データレートが高くない ● SteamVR に依存している ● スケールし辛い VIVE トラッカー + IKinema Orion モーキャプスタジオとしての1年 ● 遮蔽物を置かない ● 光拡散フィルムで反射を防ぐ ● USB ケーブルで有線接続する ● キャリブレーションは直立より A ポーズに近 い形の方が認識しやすい 対策

Slide 28

Slide 28 text

Xsens モーキャプスタジオとしての1年 良い点 課題 ● センサーが 17 個 ● データレートが高め ● キャリブレーションは簡単 ● 非常にスケールしやすい ● バッテリーが約 10 時間 ● 機材は高い ● 位置ずれがおきる ● 座りや静止姿勢に弱い ● 電波干渉(2.4GHz/5.0GHz帯)に弱い ● LAN ケーブルで PC に直接つなぐ ● 高性能な Wi-Fi ルーターで 5GHz を使う ● 位置ずれは VIVE トラッカーで補正している 対策

Slide 29

Slide 29 text

Vicon モーキャプスタジオとしての1年 良い点 課題 ● 絶対座標を取得できる ● マーカーが 53 個もあある ● データレートが高め ● キャリブレーションが簡単ですごく安定 ● 電波の影響を全く受けない ● バッテリー不要 ● 多少隠れてもうまく補正してくれる ● スケールができる ● 機材が高い ● 遮蔽物はない方が良い ● 反射物には弱い ● 難易度が高い、まさにプロ仕様 ● 遮蔽物を置かない ● 反射物は光拡散フィルムで反射 を防ぐ 対策

Slide 30

Slide 30 text

全身キャプチャーはミドルウェア ● 短期間で高品質 ● 長期運用を見据える IKinema LiveAction ● IKinema の製品は多くのゲーム会 社な映画会社などに導入された実 績あり ● IKinema Orion, Xsens, OptiTrack, Vicon などに対応 Xsens MVN VIVE トラッカー x8 IKinema Orion ミドルウェアとしてIKinema LiveActionを採用 モーキャプスタジオとしての1年 Vicon Vero Live Action MVN Animate Pro Shogun

Slide 31

Slide 31 text

IKinema LiveAction設定の流れ モーキャプスタジオとしての1年 クリーニングパイプラインは色々あるが相性が 悪かったので使用していない リターゲティングのみ 1.Skeleton から IKINEMA Rig を生成 2.不要なボーンを削除 3.モーキャプソフトの送信元を入力し、 アクター情報を取り込む 6.Hips, Spine3, Head, LeftFoot, RightFoot にコンストレイントを設定 7.アクターに動いてもらい、動きが良く なるまでスケルトンを調整する 4.モーキャプソフトの送信元を入力し、 アクター情報を取り込む 5.ボーンのマッピングを設定する

Slide 32

Slide 32 text

● VR Studioで実績あり(PCやPS4) ● アニメ調のキャラクター制作実績 ● 社内の豊富なツール ゲームエンジンの選定 モーキャプスタジオとしての1年 ● IKinema LiveActionに対応 ● 機能が豊富で先行している ● WFSで本格的に取り組む

Slide 33

Slide 33 text

フェイスキャプチャーは iOS ARKit ● 特徴としては、BlendShapeで簡潔に実現可能 使い方 ● ヘルメット(MOCAP Design カスタム品) ○ ざまざまな姿勢でキャプチャーできる、ただし装着者 への負担が大きい ● カメラ用三脚 ○ 装着者の負担が低い、ただしキャプチャー可能なエリ アが限られる、サポート担当が頑張る ● 間接撮影(ヘルメット+軽量カメラ) ○ 様々な姿勢でキャプチャーでき装着者への負担も小さ く光学式システムへの影響もないが遅延は大きくなる、 小さくなるよう工夫しているところ フェイスキャプチャー モーキャプスタジオとしての1年

Slide 34

Slide 34 text

● アニメーションカーブに値を代入 ● ゲームパッドで操作 ○ 安定した動作 ○ 機材の調達が容易 ● 指のキャプチャー ○ VR グローブの開発もの ■ StretchSense社のセンサー ■ Raspberry Pi ○ 人の手は千差万別 ■ 小さな手にどう対応するか フィンガーキャプチャー モーキャプスタジオとしての1年

Slide 35

Slide 35 text

VRMインポート モーキャプスタジオとしての1年 1. ボーン名と階層構造の修正 2. ギフトロケーターの追加 5. フェイシャル セットアップ 3. フィンガー セットアップ 4. iKinemaRig セットアップ 7. マテリアルのコンバート 基本表情 特殊表情 視線制御 6. 揺れもの セットアップ アウトライン テクスチャ 色味、明度 シェーディング スキニング ボーン

Slide 36

Slide 36 text

VRMインポート REALITYの出演に必要なモデルはコンバートが必要 松・竹・梅の3段階のグレード分け モーキャプスタジオとしての1年

Slide 37

Slide 37 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) やすかわ WFLE Presence Technology Group エンジニア 番組企画の実現性担当 ライブソフトの開発 所属 担当 名前

Slide 38

Slide 38 text

音楽番組の開発 ぶいおんの構成

Slide 39

Slide 39 text

音楽番組の開発 ぶいおんの構成 番組企画は以下の通り ● トーク+ライブ 2部構成の音楽番組 ● 『トーク → ライブ → トーク』と、ゲストがステージ間を移動する ● ライブではカメラレール・クレーンが使えること

Slide 40

Slide 40 text

音楽番組の開発 ぶいおんの構成 トーク ライブ 既存システムの改造 新規作成

Slide 41

Slide 41 text

音楽番組の開発 ぶいおんの構成 クリアしなければいけない問題 ● 設計が全く違うステージ間をキャラクターが移動 ● 10個で設計されているカメラを32個に大拡張 ● プレビューを見ながらスイッチング ● FPS操作しか出来ないカメラにレール移動を追加

Slide 42

Slide 42 text

音楽番組の開発 ぶいおんの構成 2スタジオで同時キャプチャ+同時番組再生 トーク ライブ 2番組を同時に撮 影し、切り替えて 1つの番組に構成

Slide 43

Slide 43 text

音楽番組の開発 ぶいおんのシステム 10個で設計されているカメラを32個に大拡張 数字キー(10個) USBキーボード ボタンがいっぱい(64個↑) AKAI Fire(USB MIDIパッド) PCで使える多数ボタンを持つデバイスを探すと、MIDIパッドor鍵盤に行きつきます

Slide 44

Slide 44 text

音楽番組の開発 ぶいおんのシステム ※外部アプリから使えるならコレを使いたい https://jp.newtek.com/products/control-surfaces/ TriCaster TC1LPコントロールパネル

Slide 45

Slide 45 text

音楽番組の開発 ぶいおんのシステム プレビューを見ながらスイッチング プレビュー専用機 レンダリング専用機 1台のPCで32カメラの レンダリングは 負荷が高すぎる ボタン入力 カメラ切り替え信号

Slide 46

Slide 46 text

音楽番組の開発 ぶいおんのシステム プレビュー側をチューニング ● カリングを最低限の距離に縮小 ● ライティング無し ● ポストエフェクトを削除 ● SceneCapture2Dのレンダリング先を低解像度に

Slide 47

Slide 47 text

音楽番組の開発 ぶいおんのシステム ステージMAP上にカメラレール用 のシーケンスを設置 詳細パラメーター を編集 ● レール番号 ● 初期位置 ● 速度 ● ループ設定 ● 自動注視目標 ● オフセット カメラレールと自動キャラ追従カメラ

Slide 48

Slide 48 text

音楽番組の開発 ぶいおんのシステム

Slide 49

Slide 49 text

演出は特効マンの手動操作による力技 ● 出演者毎・歌毎に演出が変わるので、 毎回シーケンスに落とすのは無理 ● 速度も曲で変わる 音楽番組の開発 ぶいおんのシステム 2軸+ボタンの コントローラーで 頑張って!

Slide 50

Slide 50 text

演出は特効マンの手動操作による力技 ● 特効マンによって熟成された秘伝のコントローラー 音楽番組の開発 ぶいおんのシステム

Slide 51

Slide 51 text

音楽番組の開発 ぶいおんのシステム 背景スクリーン ● Blackmagic Designキャプチャ+UE4向 けのPluginを使用 ● ループバック・VJ・ビデオ素材など を映像素材として入力

Slide 52

Slide 52 text

音楽番組の開発 ぶいおんのシステム 映像入力について Roland V1-HD 絵素材 VJ BMD DeckLink 1080p59.94に統一

Slide 53

Slide 53 text

音楽番組の開発 ぶいおんのシステム キャプチャ活用事例 2Dと3Dの同時出演(ステージ内ビルボード) ©2017 Ichikara Inc.

Slide 54

Slide 54 text

音楽番組の開発 ぶいおんのシステム Realityアバターと出演者で ツーショット撮影タイム DIVE機能とキャラクターの入退場 本来は管理ダッシュボードから 入退出させる設計 MIDIパッドで入退場可能に

Slide 55

Slide 55 text

音楽番組の開発 F>>VRの構成 ©2017 Ichikara Inc.

Slide 56

Slide 56 text

音楽番組の開発 F>>VRの構成 F>>VRはカラオケをメインとした音楽番組 ● カラオケルーム内でゲストがキャッキャウフフする ● ホストはスタッフルームからカメラでそれを見る ● ホストがカラオケルームまで移動するシーンがある ● 座りから立って移動してステージで歌うを繰り返す

Slide 57

Slide 57 text

音楽番組の開発 F>>VRのシステム テーブル モニタ モニタ モニタ 小上がりステージ 目線 目線 目線 バーチャル空間内 キャプチャエリア内 キャプチャエリア設計と同時にステージを設計

Slide 58

Slide 58 text

音楽番組の開発 F>>VRのシステム アーティストによるステージ提案 スタッフルーム カラオケルーム

Slide 59

Slide 59 text

音楽番組の開発 F>>VRのシステム スタジオ内の導線設計 モニタ 演者 正面 4m 4m モニタ モニタ PGM/カンペ PGM モ ニ タ モニタ 演者 正面 4m 4m 移動演 技用に 80cm 確保 PGM/カンペ PGM/カンペ

Slide 60

Slide 60 text

音楽番組の開発 F>>VRのシステム 現実のキャプチャ位置を仮想空間内の位置に合わせる モニタ 演者正 面 4m 4m モニタ 演者正 面 4m 4m モニタ モニタ モ ニ タ

Slide 61

Slide 61 text

180度振り返ってからスタンバイ カラオケルーム側の番組でキャラクターを 表示するとドアの所に立っている状態に 音楽番組の開発 F>>VRのシステム ステージ内のキャラ位置をオフセットして移動を表現 モニタ 4m 4m 立ち上がって左に2歩移動したのち、 キャラクターを非表示に モニタ 演者 正面 4m 4m 移動演 技用に 80cm確 保

Slide 62

Slide 62 text

音楽番組の開発 F>>VRのシステム OSC経由でのコントロール TouchOSCを使用 マイク装着時はフィンガーキャプチャ の上書き処理を行っている 番組コントロールの装着物

Slide 63

Slide 63 text

音楽番組の開発 F>>VRのシステム ギフトで埋もれてしまう問題について 想定していた以上にギフトが降ってきたため、 部屋がギフトで埋まってしまう事故が発生 カメラの前にカプセルコリジョンを追加 ギフトにのみ反応するコリジョン設定 FOVに合わせて長さが変化

Slide 64

Slide 64 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーションキャプチャー 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) はしもと WFLE Presence Technology Group 番組ディレクター REALITY Studioの番組制作 制作テクニカルディレクション 所属 担当 名前

Slide 65

Slide 65 text

音声収録と映像配信 REALITY Studioの配信機材構成

Slide 66

Slide 66 text

音声収録と映像配信 REALITY Studioの配信機材構成 ©2017 Ichikara Inc.

Slide 67

Slide 67 text

音声収録と映像配信 REALITY Studioの配信機材構成

Slide 68

Slide 68 text

音声収録と映像配信 REALITY STUDIOの配信機材構成

Slide 69

Slide 69 text

音声収録と映像配信 REALITY STUDIOの配信機材構成

Slide 70

Slide 70 text

音声収録と映像配信 REALITY Studioのマイク周り https://www.shure.co.jp/products/microphones/sm35 主に単一指向性のヘッドセットマイクを使用

Slide 71

Slide 71 text

音声収録と映像配信 ピンマイクを使わない理由 - スタジオ内のノイズ源が多い - カメラがないので絵うつりを気にしなくてよい REALITY Studioのマイク周り

Slide 72

Slide 72 text

音声収録と映像配信 ハンドマイクを使わない理由 - 口元が隠れるためフェイシャルトラッキングに干渉する。 REALITY Studioのミキサー周り - 認識出来ず

Slide 73

Slide 73 text

音声収録と映像配信 - YAMAHA製のデジタルミキサー(o1v96i) を使用 REALITY Studioのミキサー周り

Slide 74

Slide 74 text

音声収録と映像配信 REALITY Studioのミキサー周り メリット デメリット アナログミキサー 安い! わかりやすい! ・機能が少ない ・やりたいことが増えると外部コン ソールが増えていき場所が塞がる DAW デジタル・オーディオ・ワークステ ーション (プロツールスなど) プラグインが豊富! ・直感的な対応が難しい ・放送系・配信系の方々が生放送で あまり使っていない デジタルミキサー ・放送系、配信系の方々が生放送で よく使っている→依頼先が豊富 ・ある程度の加工ができる。 ・高い ・素人の習熟が難しい

Slide 75

Slide 75 text

音声収録と映像配信 REALITY STUDIOの音量管理 OBS (ライブ配信するためのソフト) フリー・オープンソース Youlean LOUDNESS METER 2 (ラウドネス測定プラグイン)

Slide 76

Slide 76 text

音声収録と映像配信 REALITY Studioの音量管理 2018年11月配信番組の音量感(ラウドネス)を計測 → 大きくばらつきが見受けられた 音量感の観測 最大値 -11 LUFS (音割れ多数あり) 最小値 -40 LUFS (小さすぎ) ※地上波テレビの基準は-24±2LUFS

Slide 77

Slide 77 text

音声収録と映像配信 REALITY Studioの音量管理 12/8 配信の番組にてテスト運用を行った結果 - 数値 - -18.2LUFS - 目標であった-20±2LUFSにおさまる - 感想 - 特段問題ない むしろ普段より聞きやすい - 直前までYoutubeでDA PUMPのUSAを聞いていたが、 スマホのボリュームを変えることなく番組が聞けた テスト運用結果

Slide 78

Slide 78 text

音声収録と映像配信 選定のポリシー 運用しているオペレーター、 番組視聴者がストレスを感じないこと

Slide 79

Slide 79 text

音声収録と映像配信 リアルイベント対応 ©2017 Ichikara Inc.

Slide 80

Slide 80 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) はしもと WFLE Presence Technology Group 番組ディレクター REALITY Studioの番組制作 制作テクニカルディレクション 所属 担当 名前

Slide 81

Slide 81 text

番組制作とディレクション VTuberの番組作りの特色 ■通常の番組 出演者がいて カメラとマイクがあれば成立はする。

Slide 82

Slide 82 text

番組制作とディレクション VTuberの番組作りの特色 ■通常の番組のざっくりスケジュール 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. 出演者打ち合わせ 5. リハーサル 6. なおし 7. 本番

Slide 83

Slide 83 text

番組制作とディレクション VTuberの番組作りの特色 フルトラッキングの VTuberの番組 は 工程が多く大変

Slide 84

Slide 84 text

番組制作とディレクション VTuberの番組作りの特色 キャリブレーション × モデルチェック

Slide 85

Slide 85 text

番組制作とディレクション VTuberの番組作りの特色 -キャリブレーション- 出演者の身体情報を キャプチャーのシステム に読み込ませること

Slide 86

Slide 86 text

番組制作とディレクション VTuberの番組作りの特色 -モデルチェック- キャプチャーシステムから UE4にデータを持ってきて キャラクターに合わせた際に 意図したように キャラクターが動くように 3Dモデルを調整すること

Slide 87

Slide 87 text

番組制作とディレクション VTuberの番組作りの特色 スーツ装着 キャリブレーション モデルチェック :15分 :15分 :15分〜∞ 15分 + 15分 + 15~∞分 = 45分〜∞

Slide 88

Slide 88 text

番組制作とディレクション VTuberの番組作りの特色 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. スーツの装着 5. キャリブレーション 6. モデルチェック 7. リハーサル 8. 出演者は休憩 制作技術は直し 9. 本番前の再キャリブレーション 10.本番 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. 出演者打ち合わせ 5. リハーサル 6. なおし 7. 本番

Slide 89

Slide 89 text

番組制作とディレクション VTuberの番組作りの特色 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. スーツの装着 5. キャリブレーション 6. モデルチェック 7. リハーサル 8. 出演者は休憩 制作技術は直し 9. 本番前の再キャリブレーション 10.本番 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. 出演者打ち合わせ 5. リハーサル 6. なおし 7. 本番 並行作業しないと 間に合わない 演出と制作兼任は 難しい!

Slide 90

Slide 90 text

番組制作とディレクション VTuberの番組作りの特色 REALITY Studioの場合、演出とは別のポジションである フロアディレクターが担っていること ● 技打ち ● キャリブレーション ● 本番時のトラブルシューティング ※映像制作でいうフロアディレクターはスタジオの演出進行だが、 REALITY Studioの場合、舞台監督の役割に近い

Slide 91

Slide 91 text

VTuberの番組演出 番組制作とディレクション VTuberの番組で面白いところ - キャラクターがそのままバラエティができること - リアクションができるところ →なので、 できるだけ生のリアクションが出るような番組になるように 意識している

Slide 92

Slide 92 text

生放送でハプニングのタネをおいておき、リアクションの効果を最大化する。 番組制作とディレクション VTuberの番組作りの1例 VTRを全部見せないで リアクションを最後にとっておく。 コメントやギフトの リアクションを見る。 ©2017 Ichikara Inc.

Slide 93

Slide 93 text

番組制作とディレクション まとめると ©2017 Ichikara Inc. ●制作進行はかっちりと ●演出は余白をもって

Slide 94

Slide 94 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前

Slide 95

Slide 95 text

オペレーション開発と教育 REALITY Studio オペレーション

Slide 96

Slide 96 text

オペレーション開発と教育 REALITY Studio オペレーション

Slide 97

Slide 97 text

オペレーション開発と教育 スタジオ内観のアップデート:初期

Slide 98

Slide 98 text

オペレーション開発と教育 スタジオ内観のアップデート:中期

Slide 99

Slide 99 text

オペレーション開発と教育 スタジオ内観のアップデート:後期

Slide 100

Slide 100 text

オペレーション開発と教育 スタジオ内観のアップデート:完成

Slide 101

Slide 101 text

初期 費用 6ヶ月 コスト 12ヶ月 コスト オペレーション開発と教育 モーションキャプチャーの運用コストイメージ ※地代家賃を含まず、2人共演、毎日生放送を行う前提 ケースバイケース

Slide 102

Slide 102 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) しらいはかせ GREE VR Studio Lab Director 特許取得・学術研究・国際 普及展開活動・社会実装 所属 担当 名前

Slide 103

Slide 103 text

出演者へのリスペクト まずは自分でやってみるの大事

Slide 104

Slide 104 text

(5分)出演者へのリスペクト 「出演者さん」に選ばれるスタジオ 遠慮はNG 配慮はOK お 出 迎 え お 見 送 り 打 ち 合 わ せ 装 着 リハーサル 脱 替 本番 収録・配信スタジオルーム スタジオ待機エリア・控室 着 替 スタジオ待機エリア・控室 挨拶(第一印象) 挨拶・雰囲気作り・演者目線での会話・身体表現 挨拶(最終印象) 応対 フロー ● 応対と対応の違い 応対=相手となって受け答えに応じる 対応=状況に応じて処置、行動すること ● 挨拶や自己紹介は自分から!何度でもOK! 自身の役割、名前を覚えてもらう。笑顔は忘れずに ● 楽しい会話は待ち時間の軽減にも アプローチとして質問する際は理由付けする。 質問にて状況やニーズの把握、深堀り、意思確認する 挨拶 a) 笑顔を欠かさない b) 大きくはっきりとワントーン高い声で c) 相手の目を見る d) 自ら進んで挨拶 コミュニ ケーション a) 名前で呼ぶ b) アイコンタクト c) ジェスチャーで共通認識を持たせる d) 感謝の気持ち、共感の言葉を伝える e) 相手に寄り添ったヒアリング

Slide 105

Slide 105 text

出演者へのリスペクト バーチャル化するための入り口 ルミナテキスタイル アバターサイネージ

Slide 106

Slide 106 text

出演者へのリスペクト 共演者が集うてぇてぇ空間

Slide 107

Slide 107 text

出演者へのリスペクト スタジオの外でも活動できる手段を提供

Slide 108

Slide 108 text

もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前

Slide 109

Slide 109 text

なりたい自分になれる場所 アプリで作ったアバターで出演可能

Slide 110

Slide 110 text

なりたい自分になれる場所 推しのVTuberと同じ空間にいられる

Slide 111

Slide 111 text

質疑応答(Respon) 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発 5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon)

Slide 112

Slide 112 text

公式番組は「REALITY Studio」で視聴できます