Upgrade to Pro — share decks privately, control downloads, hide ads and more …

REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年

gree_tech
September 13, 2019

 REALITY「なりたい自分で、生きていく」リアルタイムライブでVTuberが活躍する舞台を作る現場の1年

CEDEC2019で発表された資料です
https://cedec.cesa.or.jp/2019/session/detail/s5c9df84045dd1

gree_tech

September 13, 2019
Tweet

More Decks by gree_tech

Other Decks in Technology

Transcript

  1. 本日の講演内容 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) 白井暁彦 博士(工学) GREE VR Studio Lab Director 現場とバーチャルをつなぐ コミュニケーター 所属 本日の担当 名前
  2. WFLE PT と GREE VR Studio Lab プロダクション事業 研究開発部門 ・長期スパンR&D

    ・知財創出 ・アライアンス 新技術の調査選定 ・国際展開 SIGGRAPH等でデモイベント ・普及啓蒙事業 ボイチェンサービス 「転声こえうらない」 など… ソリューション事業 プロダクションチーム ソリューション事業部 VTuber技術 → 他産業展開 プラットフォーム事業 プラットフォーム事業部 Presence Technology Group BizDev&Marketing チーム プラットフォーム開発 VTuberコンテンツ制作 マーケティング支援 WFLE所属VTuberの支援 連 携
  3. リアルタイムモーキャプ 3Dアセットを活用した番組 ライブ配信 Voice Record & Lip Sync Motion Capture

    Finger Capture Hair & Accessary Face Capture & Blend Shape Body & Cloth でやっていること Presence Technology Group = VTuberのみなさんのプレゼンスを技術で支える集団
  4. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前
  5. 2018年 1月 6月 12月 要件定義 プライオリティ プリプロ 本開発 毎日生配信の運用 REALITY

    リリース REALITY Avatar リリース 数字で振り返るREALITY Studioの1年 開発スケジュール(2018)
  6. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前
  7. • 1部屋最大4人の共演が可能 • 全身キャプチャー ◦ MVN Xsens ◦ Orion •

    フェイスキャプチャー ◦ iPhone X ◦ 特殊表情コントローラー • フィンガーキャプチャー ◦ グローブ ◦ ゲームコントローラー • ギフト専用タブレット端末 • 複数の可動式大型モニター • マイク • イヤモニ • 防音 • 空調 • アクターサポート機材多数 スタジオのシステム REALITY Studio Tokyo キャプチャールーム
  8. • ディーリングデスク ◦ 強固なモニターアーム ◦ 整えられたエアフローと配線ダクト • PC ◦ UE4(Core

    i9 9900K + RTX2080 SLI) ◦ カメラプレビュー ◦ 映像配信&合成(OBS) ◦ サイマル配信(Wirecast) ◦ 出演者支援(カンペ、ギフト) • 音響 ◦ デジタルミキサー(01V96i) ◦ 効果音卓 • 27インチモニター 8枚 • 収録用機材 ◦ 高画質録画 ◦ パラ録音 スタジオのシステム REALITY Studio Tokyo コントロールルーム
  9. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) たかはし WFLE Presence Technology Group エンジニア キャプチャーシステムの検証と 現場導入、ライブソフトの開発 所属 担当 名前
  10. 取り扱っているモーキャプシステム モーキャプスタジオとしての1年 スタジオ立ち上げ時~ 2018年末~ 最近 デバイス 【VIVE トラッカー】 HTC社などから販売されてい る光学式デバイス。価格も手

    頃で市販されている。VR デバ イスなので応用もしやすい。 【Xsens MVN Link】 ゼロシーセブン社などから販 売されている慣性式モーショ ンキャプチャーシステム。慣 性式であるにも関わらず磁場 の影響を受けない。 【Vicon Vero】 クレッセント社などから販売 されている非常に有名な光学 式モーションキャプチャーシ ステムの 1 つ。 ソフトウェア 【IKinema Orion】 IKinema 社などから販売され ているモーションキャプチャ ーシステム。価格が手頃。 【MVN Animate Pro】 Xsens MVN のソフトウェア。 【Shogun】 Vicon のソフトウェア。
  11. 方式 良い点 課題 光学式 • 絶対座標を計測できる • 誤差は蓄積しない • 反射物や遮蔽物の影響を受ける

    慣性式 • 反射物や遮蔽物の影響を受けない • 絶対座標を正確に計測できない • 誤差が蓄積する • 磁気センサーを用いる場合、磁気 の影響を受ける キャプチャー方式の特徴 モーキャプスタジオとしての1年
  12. 機材コスト 安定性 モーション品質 スケーラビリティ 安い △ △ △ 高い ◦

    ◦ ◎ 高い ◎ ◎ ◦ モーキャプシステムの比較 モーキャプスタジオとしての1年
  13. 良い点 課題 • 機材は安い • 絶対座標を取得できる • モーキャプ以外の用途 • 反射物や遮蔽物にすごく弱い

    • 電波干渉(2.4GHz帯)に弱い • バッテリーが少し足りない • キャリブレーションが厳しい • デバイスが大きい • データレートが高くない • SteamVR に依存している • スケールし辛い VIVE トラッカー + IKinema Orion モーキャプスタジオとしての1年 • 遮蔽物を置かない • 光拡散フィルムで反射を防ぐ • USB ケーブルで有線接続する • キャリブレーションは直立より A ポーズに近 い形の方が認識しやすい 対策
  14. Xsens モーキャプスタジオとしての1年 良い点 課題 • センサーが 17 個 • データレートが高め

    • キャリブレーションは簡単 • 非常にスケールしやすい • バッテリーが約 10 時間 • 機材は高い • 位置ずれがおきる • 座りや静止姿勢に弱い • 電波干渉(2.4GHz/5.0GHz帯)に弱い • LAN ケーブルで PC に直接つなぐ • 高性能な Wi-Fi ルーターで 5GHz を使う • 位置ずれは VIVE トラッカーで補正している 対策
  15. Vicon モーキャプスタジオとしての1年 良い点 課題 • 絶対座標を取得できる • マーカーが 53 個もあある

    • データレートが高め • キャリブレーションが簡単ですごく安定 • 電波の影響を全く受けない • バッテリー不要 • 多少隠れてもうまく補正してくれる • スケールができる • 機材が高い • 遮蔽物はない方が良い • 反射物には弱い • 難易度が高い、まさにプロ仕様 • 遮蔽物を置かない • 反射物は光拡散フィルムで反射 を防ぐ 対策
  16. 全身キャプチャーはミドルウェア • 短期間で高品質 • 長期運用を見据える IKinema LiveAction • IKinema の製品は多くのゲーム会

    社な映画会社などに導入された実 績あり • IKinema Orion, Xsens, OptiTrack, Vicon などに対応 Xsens MVN VIVE トラッカー x8 IKinema Orion ミドルウェアとしてIKinema LiveActionを採用 モーキャプスタジオとしての1年 Vicon Vero Live Action MVN Animate Pro Shogun
  17. IKinema LiveAction設定の流れ モーキャプスタジオとしての1年 クリーニングパイプラインは色々あるが相性が 悪かったので使用していない リターゲティングのみ 1.Skeleton から IKINEMA Rig

    を生成 2.不要なボーンを削除 3.モーキャプソフトの送信元を入力し、 アクター情報を取り込む 6.Hips, Spine3, Head, LeftFoot, RightFoot にコンストレイントを設定 7.アクターに動いてもらい、動きが良く なるまでスケルトンを調整する 4.モーキャプソフトの送信元を入力し、 アクター情報を取り込む 5.ボーンのマッピングを設定する
  18. フェイスキャプチャーは iOS ARKit • 特徴としては、BlendShapeで簡潔に実現可能 使い方 • ヘルメット(MOCAP Design カスタム品)

    ◦ ざまざまな姿勢でキャプチャーできる、ただし装着者 への負担が大きい • カメラ用三脚 ◦ 装着者の負担が低い、ただしキャプチャー可能なエリ アが限られる、サポート担当が頑張る • 間接撮影(ヘルメット+軽量カメラ) ◦ 様々な姿勢でキャプチャーでき装着者への負担も小さ く光学式システムへの影響もないが遅延は大きくなる、 小さくなるよう工夫しているところ フェイスキャプチャー モーキャプスタジオとしての1年
  19. • アニメーションカーブに値を代入 • ゲームパッドで操作 ◦ 安定した動作 ◦ 機材の調達が容易 • 指のキャプチャー

    ◦ VR グローブの開発もの ▪ StretchSense社のセンサー ▪ Raspberry Pi ◦ 人の手は千差万別 ▪ 小さな手にどう対応するか フィンガーキャプチャー モーキャプスタジオとしての1年
  20. VRMインポート モーキャプスタジオとしての1年 1. ボーン名と階層構造の修正 2. ギフトロケーターの追加 5. フェイシャル セットアップ 3.

    フィンガー セットアップ 4. iKinemaRig セットアップ 7. マテリアルのコンバート 基本表情 特殊表情 視線制御 6. 揺れもの セットアップ アウトライン テクスチャ 色味、明度 シェーディング スキニング ボーン
  21. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) やすかわ WFLE Presence Technology Group エンジニア 番組企画の実現性担当 ライブソフトの開発 所属 担当 名前
  22. 音楽番組の開発 ぶいおんの構成 番組企画は以下の通り • トーク+ライブ 2部構成の音楽番組 • 『トーク → ライブ

    → トーク』と、ゲストがステージ間を移動する • ライブではカメラレール・クレーンが使えること
  23. 音楽番組の開発 ぶいおんのシステム ステージMAP上にカメラレール用 のシーケンスを設置 詳細パラメーター を編集 • レール番号 • 初期位置

    • 速度 • ループ設定 • 自動注視目標 • オフセット カメラレールと自動キャラ追従カメラ
  24. 音楽番組の開発 F>>VRのシステム テーブル モニタ モニタ モニタ 小上がりステージ 目線 目線 目線

    バーチャル空間内 キャプチャエリア内 キャプチャエリア設計と同時にステージを設計
  25. 音楽番組の開発 F>>VRのシステム スタジオ内の導線設計 モニタ 演者 正面 4m 4m モニタ モニタ

    PGM/カンペ PGM モ ニ タ モニタ 演者 正面 4m 4m 移動演 技用に 80cm 確保 PGM/カンペ PGM/カンペ
  26. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーションキャプチャー 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) はしもと WFLE Presence Technology Group 番組ディレクター REALITY Studioの番組制作 制作テクニカルディレクション 所属 担当 名前
  27. 音声収録と映像配信 REALITY Studioのミキサー周り メリット デメリット アナログミキサー 安い! わかりやすい! ・機能が少ない ・やりたいことが増えると外部コン

    ソールが増えていき場所が塞がる DAW デジタル・オーディオ・ワークステ ーション (プロツールスなど) プラグインが豊富! ・直感的な対応が難しい ・放送系・配信系の方々が生放送で あまり使っていない デジタルミキサー ・放送系、配信系の方々が生放送で よく使っている→依頼先が豊富 ・ある程度の加工ができる。 ・高い ・素人の習熟が難しい
  28. 音声収録と映像配信 REALITY Studioの音量管理 12/8 配信の番組にてテスト運用を行った結果 - 数値 - -18.2LUFS -

    目標であった-20±2LUFSにおさまる - 感想 - 特段問題ない むしろ普段より聞きやすい - 直前までYoutubeでDA PUMPのUSAを聞いていたが、 スマホのボリュームを変えることなく番組が聞けた テスト運用結果
  29. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) はしもと WFLE Presence Technology Group 番組ディレクター REALITY Studioの番組制作 制作テクニカルディレクション 所属 担当 名前
  30. 番組制作とディレクション VTuberの番組作りの特色 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. スーツの装着

    5. キャリブレーション 6. モデルチェック 7. リハーサル 8. 出演者は休憩 制作技術は直し 9. 本番前の再キャリブレーション 10.本番 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. 出演者打ち合わせ 5. リハーサル 6. なおし 7. 本番
  31. 番組制作とディレクション VTuberの番組作りの特色 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. スーツの装着

    5. キャリブレーション 6. モデルチェック 7. リハーサル 8. 出演者は休憩 制作技術は直し 9. 本番前の再キャリブレーション 10.本番 1. 技術打ち合わせ 2. 機材仕込み 3. テクニカルリハーサル 4. 出演者打ち合わせ 5. リハーサル 6. なおし 7. 本番 並行作業しないと 間に合わない 演出と制作兼任は 難しい!
  32. 番組制作とディレクション VTuberの番組作りの特色 REALITY Studioの場合、演出とは別のポジションである フロアディレクターが担っていること • 技打ち • キャリブレーション •

    本番時のトラブルシューティング ※映像制作でいうフロアディレクターはスタジオの演出進行だが、 REALITY Studioの場合、舞台監督の役割に近い
  33. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前
  34. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) しらいはかせ GREE VR Studio Lab Director 特許取得・学術研究・国際 普及展開活動・社会実装 所属 担当 名前
  35. (5分)出演者へのリスペクト 「出演者さん」に選ばれるスタジオ 遠慮はNG 配慮はOK お 出 迎 え お 見

    送 り 打 ち 合 わ せ 装 着 リハーサル 脱 替 本番 収録・配信スタジオルーム スタジオ待機エリア・控室 着 替 スタジオ待機エリア・控室 挨拶(第一印象) 挨拶・雰囲気作り・演者目線での会話・身体表現 挨拶(最終印象) 応対 フロー • 応対と対応の違い 応対=相手となって受け答えに応じる 対応=状況に応じて処置、行動すること • 挨拶や自己紹介は自分から!何度でもOK! 自身の役割、名前を覚えてもらう。笑顔は忘れずに • 楽しい会話は待ち時間の軽減にも アプローチとして質問する際は理由付けする。 質問にて状況やニーズの把握、深堀り、意思確認する 挨拶 a) 笑顔を欠かさない b) 大きくはっきりとワントーン高い声で c) 相手の目を見る d) 自ら進んで挨拶 コミュニ ケーション a) 名前で呼ぶ b) アイコンタクト c) ジェスチャーで共通認識を持たせる d) 感謝の気持ち、共感の言葉を伝える e) 相手に寄り添ったヒアリング
  36. もくじ 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon) わたなべ / Sara WFLE Presence Technology Group シニアマネージャー スタジオの統括 アバター表現拡張 所属 担当 名前
  37. 質疑応答(Respon) 1. 数字で振り返るREALITY Studioの1年 2. スタジオのシステムの概要 3. モーキャプスタジオとしての1年 4. 音楽番組の開発

    5. 音声収録と映像配信 6. 番組制作とディレクション 7. オペレーション開発と教育 8. 出演者へのリスペクト 9. なりたい自分になれる場所 10. 質疑応答(Respon)