MR Dev Days Japan 前夜祭 - Azure Remote Rendering のご紹介

2020/12/15(火) 19:00~
MR Dev Days Japan 前夜祭
登壇時に使用した資料となります。

#MRDevDaysJP #MixedReality
#HoloLens #AzureRemoteRendering

Transcript

1. Azure Remote Rendering
   Overview - 概要紹介
   神 戸 デ ジ タ ル ・ ラ ボ
   堀 尾 風 仁 / F u t o H o r i o
   M R D e v D a y s J a p a n 前 夜 祭
   クラウド上のつよつよサーバーでつよつよレンダリング！HoloLens 2 で 1 億ポリゴンのオブジェクトがぬるぬる動く
   パ ブ リ ッ ク プ レ ビ ュ ー
   

   View Slide

2. 堀 尾 風 仁
   株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ
   新 事 業 創 造 係 M R 班 長
   コ ミ ュ ニ テ ィ 運 営
   ・ A R K O B E
   ・ A z u r e T e c h L a b .
   M i c r o s o f t M V P
   f o r W i n d o w s D e v e l o p m e n t
   ( 2 0 2 0 - 2 0 2 1 )
   Twitter アカウント
   @Futo_Horio
   

   View Slide

3. 高品質な対話型3Dコンテンツをクラウドでレンダリング、ローカルにストリームする Azure サービス
   Azure Remote Rendering 概要
   https://azure.microsoft.com/ja-jp/services/remote-rendering/
   ※ 2020年4月7日に
   Public Preview としてリリース
   

   View Slide

4. ローカル処理 クラウド処理 : Azure Remote Rendering
   3DCGをローカルで処理
   ( 端末のスペックに依存する )
   HoloLens 2 の場合
   Snapdragon 850 ( SoC ) に含まれる
   Adreno 630 ( GPU ) で処理
   Azure の高性能 GPU でレンダリング処理実行、結果を HoloLens 2 にストリーミング
   ①
   ③
   ②
   【 処理フロー 】
   ① セッションリクエスト ( 初回は、Azure VM 起動 )
   ② 対象の3DCGをクラウドリソースにてレンダリング処理
   ③ レンダリング結果を HoloLens 2 にストリーム
   ※約20万ポリゴン程度 最大数億ポリゴン
   Azure Remote Rendering 概要
   

   View Slide

5. 利用プラン ― シーン内のポリゴン数によって2つのプランが準備されている
   Standard Remote Rendering Premium Remote Rendering
   最大 2000万 ポリゴン
   8 TFLOP ( 毎秒8兆回演算可 )
   最大 数億 ポリゴン
   40 TFLOP ( 毎秒40兆回浮動小数点演算 )
   

   View Slide

6. サポートされる3Dモデル形式
   アセット変換
   FBX, GLTF ファイルを
   リモートレンダリング用に変換する
   仕組み ( モデルごとに1回必要 )
   ・FBX ( Fi lmbox )
   ・GLTF/GLB
   ( G L T r a n s m i s s i o n F o r m a t )
   バ ー ジ ョ ン 2 0 1 1 ～ 2 0 2 0
   バ ー ジ ョ ン 2 . x
   サーバー上のレンダラーは、FBX や GLTF などのソースモデル形式を直接扱うことはできません。
   そのため3Dモデルを専用のバイナリ形式 ( ArrAsset ) に変換する必要があります。
   

   View Slide

7. Azure Remote Rendering デモ ( Standard : 1870万ポリゴン )
   

   View Slide

8. シ ス テ ム 要 求 仕 様 : ネ ッ ト ワ ー ク 環 境 ( ※ 重 要 )
   https://docs.microsoft.com/ja-jp/azure/remote-rendering/reference/network-requirements
   ― Azure Remote Rendering を シングルセッション で使用する場合
   • Download : 40 Mbps
   • Upload : 5 Mbps
   ネットワークの状態が悪いと、接続が切断されたり、ホログラムが揺れたり、飛ぶなどの遅延が発生します。
   Wifi使用時は、2.4-GHz 帯 よりも 5-GHz 帯 の方が良い結果が得られる ようです。
   その他、Wifiの電波強度、同帯域内での競合トラフィックの有無等を確認した上で
   利用を検討するのが良さそうです。
   検証環境 ( 自宅 )
   

   View Slide

9. 公式サンプル (GitHub)
   https://github.com/Azure/azure-remote-rendering/tree/master/Unity/AzureRemoteRenderingShowcase
   ソースコードは、GitHub 上に公開されています。
   

   View Slide

10. カスタムモデル(3D)を
    ARRで動かすまでの流れ
    ご紹介します
    

    View Slide

11. カスタム3Dモデルを ARR で動かすまで(1)
    まず FBX, GLTF/GLB の3Dモデルを準備します
    https://github.com/KhronosGroup/glTF-Sample-Models/tree/master/2.0/DamagedHelmet
    Gltf フォーマットを開発したクロノスグループのサンプルデータ ( 非商用 )
    GitHub から
    クローンする
    

    View Slide

12. カスタム3Dモデルを ARR で動かすまで(2)
    https://docs.microsoft.com/ja-jp/azure/remote-rendering/quickstarts/convert-model
    モ デ ル 変 換 方 法
    (3) API呼び出しによる変換
    C# , C++ から API を呼び出す方法
    GUI ベースで 3Dモデル をアップロード、コンバート&レンダリングできるツールを使う方法
    公式のユーティリティスクリプト (Conversion.ps1) を用いて変換を行う方法
    (1) Azure Remote Rendering Asset Tool (ARRT) での変換
    (2) PowerShell スクリプトを用いた変換
    

    View Slide

13. カスタム3Dモデルを ARR で動かす方法(3)
    ARRT は GUIベースで3Dモデルのアップロードや変換、レンダリングまで検証を行えるツール
    https://github.com/Azure/azure-remote-rendering-asset-tool
    

    View Slide

14. Azure Remote Rendering Asset Tool (ARRT)
    対応OS : Windows のみ
    ・Visual Studio 2017 & 2019
    ・Qt 5.13.1 以降
    ・CMake バージョン 3.16
    ・NuGet
    ・HEVC グラフィックドライバー
    (PCでARRを動かす場合)
    最新バージョン：v1.4.014380001-7eeb1b75
    

    View Slide

15. Azure Storage account 認証情報の入力
    ・Blob 名
    ・Blob エンドポイント
    Azure Remote Rendering account 認証情報の入力
    ・アカウントID
    ・プライマリーキー
    ※ 選択できるリージョンは4つのみ (West US, East US, Southeast Asia, West Europe )
    ① 認証情報を入力
    

    View Slide

16. ② glTFフォルダをアップロード
    ※ アップロード先の Blob コンテナも指定すること
    

    View Slide

17. ③ glTFファイルを変換 (Convert)
    入力する3Dモデルを指定して、変換を開始
    

    View Slide

18. ④ 3Dモデル変換完了
    リモートレンダリング用のバイナリ形式のデータ (ArrAsset) に変換完了
    ※ 今回使用したサンプルデータだと20秒くらい
    

    View Slide

19. ⑤ ARRセッション開始
    Start Session ボタンを押下し、ARRセッションを開始します
    ※ 初回セッション開始時は約1~2分程度
    

    View Slide

20. ⑥ モデルデータの読み込み
    Load ボタンを押下し、カスタムモデルの読み込みを開始
    ※ サンプルモデルだと、約20秒前後で読み込み可能
    

    View Slide

21. ⑦ ARR を使用したカスタムモデルの描画 (動画)
    

    View Slide

22. ① 東日本リージョンの追加設定 (Japan East)
    ② ARR認証情報 (アカウントID, プライマリーキー)
    ③ ストレージアカウント認証情報
    ・ストレージ名
    ・コンテナ名
    ・ストレージアカウントID
    ⑧ ARR Showcase (公式サンプル) 使用時
    

    View Slide

23. 詳しい設定手順は... (ホロラボさんのブログに載ってました)
    https://blog.hololab.co.jp/entry/2020/12/07/105742
    

    View Slide

24. 2020/12/15 現在、以下10個のリージョンでサービスが提供されています
    ※物理的に最も近いリージョンの使用を推奨 (※ネットワーク待機時間増加によりホログラムが不安定に)
    サービスが提供されているリージョン
    https://docs.microsoft.com/ja-jp/azure/remote-rendering/reference/regions
    

    View Slide

25. 利用プランと価格
    利 用 プ ラ ン 利 用 料 金 概 要
    Standard Remote Rendering
    Premium Remote Rendering
    Asset Conversion
    487.2 円 / 時間
    1,948.8 円 / 時間
    100 トランザクション無料 / 月
    84 円 / 1アセット変換
    最大 2000万 ポリゴン
    8 TFLOP ( 毎秒8兆回演算可 )
    最大 数億 ポリゴン
    40 TFLOP ( 毎秒40兆回浮動小数点演算 )
    FBX, GLTF ファイルをリモートレンダリング用に
    変換する仕組み ( モデルごとに1回必要 )
    東日本 / Japan East
    使用リージョン
    https://azure.microsoft.com/ja-jp/pricing/details/remote-rendering/
    

    View Slide

26. 明日の見どころ : MR Dev Days Japan
    明日午後3時45分~午後4時10分に
    日本マイクロソフト 鈴木敦史さんの
    Azure Remote Rendering
    解説セッションがあります！
    

    View Slide

27. まとめ : Azure Remote Rendering (ARR)
    ・とにかく公式サンプルの3DCGが高精細 ( エンジンの泥汚れまで再現可能 )
    ・任意の3Dデータも気軽に Azure Remote Rendering で確認することができた
    感想
    注意すべきポイント
    ・使用リージョンによって料金に差があるので、利用前に事前チェックを行う
    ・Remote Rendering は部分時間課金なので、セッション管理 (削除) をこまめに行う
    ・ネットワーク環境がUXのカギになるので、使用する環境の事前チェックを行う
    ・セッションスタートからCG表示までに3~5分弱かかる場合があるので注意する (初回起動時)
    

    View Slide

28. Thanks
    明日の MR Dev Days Japan 楽しみましょう！
    #MRDevDaysJP
    Twitter アカウント
    @Futo_Horio
    

    View Slide