MR Dev Days Japan 前夜祭 - Azure Remote Rendering のご紹介

2020/12/15(火) 19:00~
MR Dev Days Japan 前夜祭
登壇時に使用した資料となります。

#MRDevDaysJP #MixedReality
#HoloLens #AzureRemoteRendering

1. Azure Remote Rendering Overview - 概要紹介 神 戸 デ ジ タ ル ・ ラ ボ 堀 尾 風 仁 / F u t o H o r i o M R D e v D a y s J a p a n 前 夜 祭 クラウド上のつよつよサーバーでつよつよレンダリング！HoloLens 2 で 1 億ポリゴンのオブジェクトがぬるぬる動く パ ブ リ ッ ク プ レ ビ ュ ー
2. 堀 尾 風 仁 株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ 新 事 業 創 造 係 M R 班 長 コ ミ ュ ニ テ ィ 運 営 ・ A R K O B E ・ A z u r e T e c h L a b . M i c r o s o f t M V P f o r W i n d o w s D e v e l o p m e n t ( 2 0 2 0 - 2 0 2 1 ) Twitter アカウント @Futo_Horio
3. 高品質な対話型3Dコンテンツをクラウドでレンダリング、ローカルにストリームする Azure サービス Azure Remote Rendering 概要 https://azure.microsoft.com/ja-jp/services/remote-rendering/ ※ 2020年4月7日に Public Preview としてリリース
4. ローカル処理 クラウド処理 : Azure Remote Rendering 3DCGをローカルで処理 ( 端末のスペックに依存する ) HoloLens 2 の場合 Snapdragon 850 ( SoC ) に含まれる Adreno 630 ( GPU ) で処理 Azure の高性能 GPU でレンダリング処理実行、結果を HoloLens 2 にストリーミング ① ③ ② 【 処理フロー 】 ① セッションリクエスト ( 初回は、Azure VM 起動 ) ② 対象の3DCGをクラウドリソースにてレンダリング処理 ③ レンダリング結果を HoloLens 2 にストリーム ※約20万ポリゴン程度 最大数億ポリゴン Azure Remote Rendering 概要
5. 利用プラン ― シーン内のポリゴン数によって2つのプランが準備されている Standard Remote Rendering Premium Remote Rendering 最大 2000万 ポリゴン 8 TFLOP ( 毎秒8兆回演算可 ) 最大 数億 ポリゴン 40 TFLOP ( 毎秒40兆回浮動小数点演算 )
6. サポートされる3Dモデル形式 アセット変換 FBX, GLTF ファイルを リモートレンダリング用に変換する 仕組み ( モデルごとに1回必要 ) ・FBX ( Fi lmbox ) ・GLTF/GLB ( G L T r a n s m i s s i o n F o r m a t ) バ ー ジ ョ ン 2 0 1 1 ～ 2 0 2 0 バ ー ジ ョ ン 2 . x サーバー上のレンダラーは、FBX や GLTF などのソースモデル形式を直接扱うことはできません。 そのため3Dモデルを専用のバイナリ形式 ( ArrAsset ) に変換する必要があります。
7. Azure Remote Rendering デモ ( Standard : 1870万ポリゴン )
8. シ ス テ ム 要 求 仕 様 : ネ ッ ト ワ ー ク 環 境 ( ※ 重 要 ) https://docs.microsoft.com/ja-jp/azure/remote-rendering/reference/network-requirements ― Azure Remote Rendering を シングルセッション で使用する場合 • Download : 40 Mbps • Upload : 5 Mbps ネットワークの状態が悪いと、接続が切断されたり、ホログラムが揺れたり、飛ぶなどの遅延が発生します。 Wifi使用時は、2.4-GHz 帯 よりも 5-GHz 帯 の方が良い結果が得られる ようです。 その他、Wifiの電波強度、同帯域内での競合トラフィックの有無等を確認した上で 利用を検討するのが良さそうです。 検証環境 ( 自宅 )
9. 公式サンプル (GitHub) https://github.com/Azure/azure-remote-rendering/tree/master/Unity/AzureRemoteRenderingShowcase ソースコードは、GitHub 上に公開されています。
10. カスタムモデル(3D)を ARRで動かすまでの流れ ご紹介します
11. カスタム3Dモデルを ARR で動かすまで(1) まず FBX, GLTF/GLB の3Dモデルを準備します https://github.com/KhronosGroup/glTF-Sample-Models/tree/master/2.0/DamagedHelmet Gltf フォーマットを開発したクロノスグループのサンプルデータ ( 非商用 ) GitHub から クローンする
12. カスタム3Dモデルを ARR で動かすまで(2) https://docs.microsoft.com/ja-jp/azure/remote-rendering/quickstarts/convert-model モ デ ル 変 換 方 法 (3) API呼び出しによる変換 C# , C++ から API を呼び出す方法 GUI ベースで 3Dモデル をアップロード、コンバート&レンダリングできるツールを使う方法 公式のユーティリティスクリプト (Conversion.ps1) を用いて変換を行う方法 (1) Azure Remote Rendering Asset Tool (ARRT) での変換 (2) PowerShell スクリプトを用いた変換
13. カスタム3Dモデルを ARR で動かす方法(3) ARRT は GUIベースで3Dモデルのアップロードや変換、レンダリングまで検証を行えるツール https://github.com/Azure/azure-remote-rendering-asset-tool
14. Azure Remote Rendering Asset Tool (ARRT) 対応OS : Windows のみ ・Visual Studio 2017 & 2019 ・Qt 5.13.1 以降 ・CMake バージョン 3.16 ・NuGet ・HEVC グラフィックドライバー (PCでARRを動かす場合) 最新バージョン：v1.4.014380001-7eeb1b75
15. Azure Storage account 認証情報の入力 ・Blob 名 ・Blob エンドポイント Azure Remote Rendering account 認証情報の入力 ・アカウントID ・プライマリーキー ※ 選択できるリージョンは4つのみ (West US, East US, Southeast Asia, West Europe ) ① 認証情報を入力
16. ② glTFフォルダをアップロード ※ アップロード先の Blob コンテナも指定すること
17. ③ glTFファイルを変換 (Convert) 入力する3Dモデルを指定して、変換を開始
18. ④ 3Dモデル変換完了 リモートレンダリング用のバイナリ形式のデータ (ArrAsset) に変換完了 ※ 今回使用したサンプルデータだと20秒くらい
19. ⑤ ARRセッション開始 Start Session ボタンを押下し、ARRセッションを開始します ※ 初回セッション開始時は約1~2分程度
20. ⑥ モデルデータの読み込み Load ボタンを押下し、カスタムモデルの読み込みを開始 ※ サンプルモデルだと、約20秒前後で読み込み可能
21. ⑦ ARR を使用したカスタムモデルの描画 (動画)
22. ① 東日本リージョンの追加設定 (Japan East) ② ARR認証情報 (アカウントID, プライマリーキー) ③ ストレージアカウント認証情報 ・ストレージ名 ・コンテナ名 ・ストレージアカウントID ⑧ ARR Showcase (公式サンプル) 使用時
23. 詳しい設定手順は... (ホロラボさんのブログに載ってました) https://blog.hololab.co.jp/entry/2020/12/07/105742
24. 2020/12/15 現在、以下10個のリージョンでサービスが提供されています ※物理的に最も近いリージョンの使用を推奨 (※ネットワーク待機時間増加によりホログラムが不安定に) サービスが提供されているリージョン https://docs.microsoft.com/ja-jp/azure/remote-rendering/reference/regions
25. 利用プランと価格 利 用 プ ラ ン 利 用 料 金 概 要 Standard Remote Rendering Premium Remote Rendering Asset Conversion 487.2 円 / 時間 1,948.8 円 / 時間 100 トランザクション無料 / 月 84 円 / 1アセット変換 最大 2000万 ポリゴン 8 TFLOP ( 毎秒8兆回演算可 ) 最大 数億 ポリゴン 40 TFLOP ( 毎秒40兆回浮動小数点演算 ) FBX, GLTF ファイルをリモートレンダリング用に 変換する仕組み ( モデルごとに1回必要 ) 東日本 / Japan East 使用リージョン https://azure.microsoft.com/ja-jp/pricing/details/remote-rendering/
26. 明日の見どころ : MR Dev Days Japan 明日午後3時45分~午後4時10分に 日本マイクロソフト 鈴木敦史さんの Azure Remote Rendering 解説セッションがあります！
27. まとめ : Azure Remote Rendering (ARR) ・とにかく公式サンプルの3DCGが高精細 ( エンジンの泥汚れまで再現可能 ) ・任意の3Dデータも気軽に Azure Remote Rendering で確認することができた 感想 注意すべきポイント ・使用リージョンによって料金に差があるので、利用前に事前チェックを行う ・Remote Rendering は部分時間課金なので、セッション管理 (削除) をこまめに行う ・ネットワーク環境がUXのカギになるので、使用する環境の事前チェックを行う ・セッションスタートからCG表示までに3~5分弱かかる場合があるので注意する (初回起動時)
28. Thanks 明日の MR Dev Days Japan 楽しみましょう！ #MRDevDaysJP Twitter アカウント @Futo_Horio