UnityRenderStreamingを使って サーバー側でQuilt映像をレンダリングする

LookingGlass向けにクラウドレンダリングのシステムを構築できるか、UnityRenderStreamingの仕組みを使って簡単にサーバー側レンダリングが行えないかを検証しました

Transcript

1. @blkcatman
 
 第5回 Looking Glass勉強会 #るきべん
 UnityRenderStreamingを使って
 サーバー側でQuilt映像をレンダリングする

2. 以前のLookingGlass関連の活動 以前、開発ボードのJetson Nano上でLookingGlassを使うハックを行っていた
 • NvidiaのGPUが積まれているボードの中でも当時は最安(1万円前後)
 • ArmLinux向けにLookingGlassのプリセットを読み込む処理を書く
 • その他もろもろを工夫
 【DoMCN東京出張企画】Looking Glass ミートアップの
 LTで発表・展示

3. LookingGlassの仕組みのおさらい、Quilt映像について 3Dモデルを多方向からレンダリング、レンダリングしたものを1枚の画像として 中間出力し、その画像をエンコードしてLookingGlassで見ると立体的に見える
 3Dモデル
 Quilt映像化
 エンコード
 (最終出力)
 実機表示
 © UTJ/UCL
4. LookingGlassの仕組みのおさらい、Quilt映像について 3Dモデルを多方向からレンダリング、レンダリングしたものを1枚の画像として 中間出力し、その画像をエンコードしてLookingGlassで見ると立体的に見える
 3Dモデル
 Quilt映像化
 エンコード
 (最終出力)
 実機表示
 PCパワーが
 かなり必要
 © UTJ/UCL
5. LookingGlassの課題 リアルタイムでの映像レンダリングはハイスペックのパソコンが必要
 • 視点数や映像解像度の増加に応じてハイパワーGPUが必須
 • LookingGlass Portraitよりも大きいPCを持ち運ぶのはさすがに・・・
 NUCや汎用の小型コンピュータボード(※1)を使う方法も限界がある
 どうすればよいか？
 ※1 Jetsonシリーズなど、安価なPC

6. 最近気になっているテーマ：クラウドレンダリング 主要クラウドで5G基地局内のサーバー(MEC)を使えるサービスを知る(今更)
 • サーバー・クライアントの構成比率が1:1というリッチなゲーム向けの構成とし ても使える
 • NvidiaのCloudXRも1:1のベースで運用することを前提としている
 • 使う時だけサーバー建てれば安く収まるんじゃないか？
 リモートレンダリング使ってLookingGlassのQuilt映像作れないか？
 時は変わって・・・
 脱線

7. 参考：CloudXRについて • Nvidiaが提供する、SteamVRのHMDを仮想化、リモート端末側でVRゲームを 配信するフレームワーク。映像や入力の遅延を感じにくい
 • Oculus Air Linkをさらにマルチプラットフォーム対応にしたイメージ

8. リモートレンダリングをどう実現するか リモートレンダリングのシステムをどう作るか
 • UnityでレンダリングしたQuilt映像を動画ストリームにエンコード
 • エンコードした動画を配信システムに載せる
 • クライアント側でQuilt映像を受信
 • 受信した映像をLookingGlass用にエンコードする
 UnityRenderStreamingを使えば簡単に作れそう
 システム作るのめんどい

9. UnityRenderStreamingのメリット クラウドレンダリングを行うための仕組みが大体そろっている
 • ゲーム画面はライブラリが自動的にエンコードされる
 • 映像の送受信にWebRTCクライアントが使える
 ◦ MediaChannel
 ◦ DataChannel
 ◦ 伝送経路上の問題は大体ICE(STUN/TURN)サーバーの仕組みで解決できる
 • 公式がサンプルでWebブラウザアプリを用意されている
 ◦ ブラウザアプリは開発しやすく、手間が減る
 映像・音声の送受信
 コントローラー入力
 Webカメラ入力に近い
 イメージで扱える

10. Web App LookingGlassのリモートレンダリング概要図 Holoplay Capture (Holoplay SDK) quiltRT (RenderTexture) Camera Camera Camera レンダリングサーバー（Unity）
 Unity RenderStreaming WebRTC Client Signaling Server Web Server クライアント
 (Webブラウザ)
 WebRTC Client 描画エンジン (WebGL) Camera
11. サンプル(ベースはBroadcast.unity)のHierarchyの構造 RenderStreaming本体
 配信に使用されるカメラ
 Holoplay CaptureのPrefab
 ※Quiltの映像のオーバーライド先になる

12. 変更したインスペクタの設定など(RenderStreaming) Web Browser Input Channel Receiverと Camera Streamerのコンポーネントの みをアタッチ
 Signaling Typeを HttpSignaling に変更
 URLを http://localhost に変更
 ※サーバー仕様によって変更する
 実際はWebSocketを使うケースのほうが多い
 ※映像を送るだけだったらCamera Streamerのみで良い
 将来的にブラウザ側の入力を受けたいのでこの2種を設定
13. 変更したインスペクタの設定など(Render Streaming Camera) Culling Maskを Nothingに変更
 カスタムスクリプト(※後述)をアタッチ Holoplay CaptureのGameObjectをアタッチ
 Streaming Sizeを
 任意のサイズに変更
 ※このカメラの映像はQuilt映像で上書きされるので
 オブジェクトの描画そのものを切っている

14. 変更したインスペクタの設定など(Holoplay Capture) Quiltのサイズを配信したい画像サイズに調整
 視点数を調整

15. カスタムスクリプト(QuiltGrabber.cs)の中身 Graphics.Blit()を使って
 カメラ(Render Streaming Camera)の映像を
 Quilt画像のRenderTextureで上書き

16. クライアント側のWebアプリについて • コード整理できてないので、後日記事でフォローします
 ※実は一番時間がかかってるかも
17. クライアント側のWebアプリ画面 (Quilt映像表示)
 レンダリングサーバー側の Unity画面

18. LTまでにできたこと、今後やること 〇できたこと
 • 多視点の映像をリアルタイムレンダリング、Quilt動画をクライアント側に送信
 • WebアプリとしてWebブラウザ上でQuilt映像を見れるようになった
 
 ！今後やること
 • WebアプリにHoloplay.jsを仕込んで実際にLookingGlassPortraitで見てみる
 • AWS WavelengthやAzure Edge Zoneなどの低遅延コンピューティング環境で 試す

19. 2K以上の解像度での安定動作が難しい • ハードウェアエンコード有効時、解像度を2Kより大きくするとランタイムエラー を吐いてUnityごとクラッシュすることがある(4Kに設定するとよく落ちる)
 • PCスペックが足りない？(2060Superを使っているがもっと強いGPUが必要？)
 • ソフトウェアエンコードだと4Kもレンダリングできるが、映像がカクカクで実用的 でない

20. 他、残課題など • 送られる映像のビットレートが低い？固定化する仕組みがないか
 調べたい
 
 • 動画のFPS数を60fpsに固定する方法など

21. 今後やること、試したいこと • とりあえずはWebアプリでHoloplay.jsを動作して、LookingGlassPortrait実機で 見れるようにするまで持っていく予定
 • UnityRenderStreaming の仕組みそのものは理解しているが、実装部分を理 解しておらずブラックボックスなので、ソースコードを分解・解明したい※
 ※com.unity.webrtcのパッケージの上にUnityRenderStreamingが実装されているのでC#のソースで読める
 
 • UnityRenderStreaming が Version3.1 からAndroidビルドが可能になるので、 Android端末をクライアント環境としてリモートレンダリングを試してみたい