Azure Remote Rendering Recap - サービス概要と活用事例

Microsoft Ignite Recap
Community Day

14:15~14:45
Mixed Reality チーム
Azure Remote Rendering について

---
追記 : 4/23(金) 19:00～
Kobe HoloLens ミートアップ vol.4
― Ignite 座談会で再公演させていただきました。

Transcript

1. Azure Remote Rendering Recap
   – サービス概要 と 活用事例
   神 戸 デ ジ タ ル ・ ラ ボ
   新 事 業 創 造 係 堀 尾 風 仁
   K o b e H o l o L e n s ミ ー ト ア ッ プ v o l . 4
   ク ラ ウ ド で 高 品 質 な 3 D コ ン テ ン ツ を レ ン ダ リ ン グ し て く れ る サ ー ビ ス
   https://azure.microsoft.com/ja-jp/services/remote-rendering/
   

   View Slide

2. 堀 尾 風 仁
   株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ
   新 事 業 創 造 係 M R 班
   コ ミ ュ ニ テ ィ 運 営
   ・ A R K O B E
   ・ A z u r e T e c h L a b .
   M i c r o s o f t M V P
   f o r W i n d o w s D e v e l o p m e n t
   ( 2 0 2 0 - 2 0 2 1 )
   Twitter アカウント
   @Futo_Horio
   

   View Slide

3. Azure Remote Rendering が GA (一般提供開始) に
   高品質・高精細な 3Dコンテンツ をクラウドでレンダリング、ローカルにストリームする Azure サービス
   ( 引用元 : Microsoft 公式ドキュメント – Azure Remote Rendering )
   2020/4
   Public Preview
   2021/3
   GA (一般提供開始)
   2020/12上旬
   東日本リージョン追加
   Bugfix, API 仕様変更
   処理改善 etc..
   

   View Slide

4. そもそも HoloLens 2 で扱える 3DCG のポリゴン数は !?
   ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering )
   HoloLens 2 (ローカル) で処理できるポリゴン数は 25万ポリゴン程度 / 1シーンあたり
   引用元 ( 右図 )
   http://www.lix.polytechnique.fr/~maks/Verona_MPAM/TD/TD2/
   ポ リ ゴ ン と は
   3つ以上の頂点を結んで
   定義した多角形の面
   ポリゴン数が多いほど、
   高精度・高精細な再現が可能
   左) ポリゴン数 多い
   右) ポリゴン数 少ない
   

   View Slide

5. Azure Remote Rendering ワークフロー
   既存の 3Dモデル (FBX, GLTB) を Azure Remote Rendering を使ってレンダリングするまでの流れ
   ① モデルのアップロード (Blob Storage)
   ② サーバーへリクエストを送信
   ③ サーバーからアプリへビデオストリーム
   ④ ローカルとリモートのレンダリング内容を統合
   3Dモデルは FBX, Gltf (GLB) のみ対応
   ※各モデル1回、専用のバイナリ形式 (ArrAsset) へ変換 が必要
   セッションを確立 (時間単位課金) 、モデルデータの読み込み
   Azure から HoloLens 2 へレンダリング結果をストリーム
   リモートレンダリングの処理にローカルの処理をマージ
   ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering )
   

   View Slide

6. グラフで見る : Azure Remote Rendering の性能
   ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering )
   圧 倒 的 な パ フ ォ ー マ ン ス
   Azure クラウドリソースを使って
   最大数億ポリゴンのレンダリング処理が可能に
   1. Standard ARR (スタンダード)
   2. Premium ARR (プレミア)
   (上限) 約 2000万 ポリゴン
   (上限) 約
   数億ポリゴン
   

   View Slide

7. Azure Remote Rendering SDK
   ( 引用元 : GitHub – Azure/azure-remote-rendering )
   Azure Remote Rendering の SDK は GitHub 上に公開されています ( 最新バージョン : v1.0.2 )
   Unity
   NativeCpp
   Scripts
   Tools
   リポジトリ内のフォルダ構造
   リモートレンダリングを操作
   するための補助ユーティリティ
   ネイティブ C++ からサービスを
   使用するためのサンプルプロジェクト
   Unity からサービスを
   使用するためのサンプル
   レンダリングサーバー起動、
   3Dモデル変換等のPowerShell
   スクリプト群
   

   View Slide

8. Sample – ARR Showcase ( Unity )
   SDK 内に含まれる ショーケースアプリ を動画でご紹介したいと思います。
   ( 動画 : Azure/azure-remote-rendering /Unity/Showcase アプリ動作時の様子 )
   1870万ポリゴンを軽々とレンダリング
   

   View Slide

9. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局
   ( 引用元 : Satya Nadella Keynote )
   ミネソタ州の橋梁 (きょうりょう) は 2万を超え、
   すべてを検査するのは非常に時間を消費
   3社によるパートナーシップにより、ミネソタ州 (米国中西部の北) の橋梁検査を Reimagine (再考) した事例
   

   View Slide

10. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局
    ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens )
    ①ドローンを作った写真撮影 ②フォトグラメトリの作成 (3D) ③ HoloLens 2 で検査作業を代替
    ソリューション導入効果
    時間の経過に伴う変化 (亀裂、ひび割れ) の影響を正確なジオメトリーを使って確認。
    複数の作業員のコラボレーションが可能になった。( アノテーションの付与 )
    

    View Slide

11. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局
    ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens )
    橋梁(橋)の検査エンジニアの1960年代と2013年の作業風景の比較
    2013年
    1960年代
    

    View Slide

12. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局
    ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens )
    3社による提携で、ミネソタ州 (米国中西部の北) の橋梁検査を Reimagine (再考) した事例
    2013年
    1960年代
    50年前とほぼ同様の手法で点検作業を実施
    橋梁(橋)の検査エンジニアはロープ一本で橋の外側に降り、検査を行っていた
    課題
    (1) 橋梁の検査エンジニアのほとんどは検査箇所以外を確認することが難しい
    (2) 近距離で撮影された写真・伝聞を元に修理・交換の判断をしなければいけない
    (3) 複数人で協力して現場作業を行うことは物理的に困難である
    etc ..
    橋梁全体の状態把握、情報共有、共同作業に課題がある
    

    View Slide

13. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局
    ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens )
    橋梁の亀裂まで厳密に
    見ることができ、
    長さだけでなく、
    亀裂の幅も測定可能
    図1 ) 橋梁のフォトグラメトリデータ
    図2 ) 亀裂 (原寸大) の様子
    年間約4億円 (400万ドル) の工数削減に成功。
    橋の修理に予算を再分配することが可能に。
    結果
    

    View Slide

14. Azure Remote Rendering Asset Tool (ARRT)
    GUI を用いて既存の 3D モデルの変換、レンダリングの検証を行えるデスクトップアプリ (Windows)
    ( 引用元 : Microsoft 公式ドキュメント – Azure Remote Rendering Asset Tool )
    主 要 な 特 徴
    ・ 3 D モ デ ル の ア ッ プ ロ ー ド
    ・ 3 D モ デ ル の 変 換
    ・ セ ッ シ ョ ン の 作 成 、 管 理
    ・ 3 D モ デ ル の プ レ ビ ュ ー
    ・ マ テ リ ア ル の 変 更
    e t c . .
    

    View Slide

15. 参考文献
    （１）Microsoft Ignite 2021 Keynote (13:30～)
    （２）活用事例 – Reimagine bridge inspection with Azure Remote Rendering and HoloLens (YouTube)
    （３）開発者向け docs - Azure Remote Rendering 公式ドキュメント
    （４）公式SDK – Azure Remote Rendering
    （５）Intro to Azure Mixed Reality Services: Azure Remote Rendering ( MR Dev Days 2020 )
    https://myignite.microsoft.com/sessions/5f16199c-9aae-40f2-a7ba-157a477faefd?source=sessions
    https://www.youtube.com/watch?v=Ayz9BSAGO1k
    https://docs.microsoft.com/en-us/azure/remote-rendering/
    https://github.com/Azure/azure-remote-rendering
    https://channel9.msdn.com/Shows/Mixed-Reality/Intro-to-Azure-Mixed-Reality-Services-Azure-Remote-Rendering
    

    View Slide

16. 東日本リージョンの追加メリット (ホロラボさんブログより抜粋)
    ブログ@HoloLabInc : Azure Remote Rendering に東日本リージョンが追加されました
    https://blog.hololab.co.jp/entry/2020/12/07/105742
    Network roundtrip とは
    HoloLensの情報をサーバーに送る
    → サーバーでレンダリング処理を行う
    → レンダリング結果をHoloLensに戻す までの時間
    

    View Slide

17. Thanks
    ご清聴いただきありがとうございました
    #MSIgniteJP
    Twitter アカウント
    @Futo_Horio
    

    View Slide