Azure Remote Rendering Recap - サービス概要と活用事例

Microsoft Ignite Recap
Community Day

14:15~14:45
Mixed Reality チーム
Azure Remote Rendering について

---
追記 : 4/23(金) 19:00～
Kobe HoloLens ミートアップ vol.4
― Ignite 座談会で再公演させていただきました。

Transcript

1. Azure Remote Rendering Recap – サービス概要 と 活用事例 神 戸 デ ジ タ ル ・ ラ ボ 新 事 業 創 造 係 堀 尾 風 仁 K o b e H o l o L e n s ミ ー ト ア ッ プ v o l . 4 ク ラ ウ ド で 高 品 質 な 3 D コ ン テ ン ツ を レ ン ダ リ ン グ し て く れ る サ ー ビ ス https://azure.microsoft.com/ja-jp/services/remote-rendering/
2. 堀 尾 風 仁 株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ 新 事 業 創 造 係 M R 班 コ ミ ュ ニ テ ィ 運 営 ・ A R K O B E ・ A z u r e T e c h L a b . M i c r o s o f t M V P f o r W i n d o w s D e v e l o p m e n t ( 2 0 2 0 - 2 0 2 1 ) Twitter アカウント @Futo_Horio
3. Azure Remote Rendering が GA (一般提供開始) に 高品質・高精細な 3Dコンテンツ をクラウドでレンダリング、ローカルにストリームする Azure サービス ( 引用元 : Microsoft 公式ドキュメント – Azure Remote Rendering ) 2020/4 Public Preview 2021/3 GA (一般提供開始) 2020/12上旬 東日本リージョン追加 Bugfix, API 仕様変更 処理改善 etc..
4. そもそも HoloLens 2 で扱える 3DCG のポリゴン数は !? ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering ) HoloLens 2 (ローカル) で処理できるポリゴン数は 25万ポリゴン程度 / 1シーンあたり 引用元 ( 右図 ) http://www.lix.polytechnique.fr/~maks/Verona_MPAM/TD/TD2/ ポ リ ゴ ン と は 3つ以上の頂点を結んで 定義した多角形の面 ポリゴン数が多いほど、 高精度・高精細な再現が可能 左) ポリゴン数 多い 右) ポリゴン数 少ない
5. Azure Remote Rendering ワークフロー 既存の 3Dモデル (FBX, GLTB) を Azure Remote Rendering を使ってレンダリングするまでの流れ ① モデルのアップロード (Blob Storage) ② サーバーへリクエストを送信 ③ サーバーからアプリへビデオストリーム ④ ローカルとリモートのレンダリング内容を統合 3Dモデルは FBX, Gltf (GLB) のみ対応 ※各モデル1回、専用のバイナリ形式 (ArrAsset) へ変換 が必要 セッションを確立 (時間単位課金) 、モデルデータの読み込み Azure から HoloLens 2 へレンダリング結果をストリーム リモートレンダリングの処理にローカルの処理をマージ ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering )
6. グラフで見る : Azure Remote Rendering の性能 ( 引用元 : Intro to Azure Mixed Reality Services : Azure Remote Rendering ) 圧 倒 的 な パ フ ォ ー マ ン ス Azure クラウドリソースを使って 最大数億ポリゴンのレンダリング処理が可能に 1. Standard ARR (スタンダード) 2. Premium ARR (プレミア) (上限) 約 2000万 ポリゴン (上限) 約 数億ポリゴン
7. Azure Remote Rendering SDK ( 引用元 : GitHub – Azure/azure-remote-rendering ) Azure Remote Rendering の SDK は GitHub 上に公開されています ( 最新バージョン : v1.0.2 ) Unity NativeCpp Scripts Tools リポジトリ内のフォルダ構造 リモートレンダリングを操作 するための補助ユーティリティ ネイティブ C++ からサービスを 使用するためのサンプルプロジェクト Unity からサービスを 使用するためのサンプル レンダリングサーバー起動、 3Dモデル変換等のPowerShell スクリプト群
8. Sample – ARR Showcase ( Unity ) SDK 内に含まれる ショーケースアプリ を動画でご紹介したいと思います。 ( 動画 : Azure/azure-remote-rendering /Unity/Showcase アプリ動作時の様子 ) 1870万ポリゴンを軽々とレンダリング
9. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局 ( 引用元 : Satya Nadella Keynote ) ミネソタ州の橋梁 (きょうりょう) は 2万を超え、 すべてを検査するのは非常に時間を消費 3社によるパートナーシップにより、ミネソタ州 (米国中西部の北) の橋梁検査を Reimagine (再考) した事例
10. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局 ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens ) ①ドローンを作った写真撮影 ②フォトグラメトリの作成 (3D) ③ HoloLens 2 で検査作業を代替 ソリューション導入効果 時間の経過に伴う変化 (亀裂、ひび割れ) の影響を正確なジオメトリーを使って確認。 複数の作業員のコラボレーションが可能になった。( アノテーションの付与 )
11. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局 ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens ) 橋梁(橋)の検査エンジニアの1960年代と2013年の作業風景の比較 2013年 1960年代
12. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局 ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens ) 3社による提携で、ミネソタ州 (米国中西部の北) の橋梁検査を Reimagine (再考) した事例 2013年 1960年代 50年前とほぼ同様の手法で点検作業を実施 橋梁(橋)の検査エンジニアはロープ一本で橋の外側に降り、検査を行っていた 課題 (1) 橋梁の検査エンジニアのほとんどは検査箇所以外を確認することが難しい (2) 近距離で撮影された写真・伝聞を元に修理・交換の判断をしなければいけない (3) 複数人で協力して現場作業を行うことは物理的に困難である etc .. 橋梁全体の状態把握、情報共有、共同作業に課題がある
13. 活用事例 : Bentley, Collins Engineers, ミネソタ運輸局 ( 引用元 : Reimagine bridge inspection with Azure Remote Rendering and HoloLens ) 橋梁の亀裂まで厳密に 見ることができ、 長さだけでなく、 亀裂の幅も測定可能 図1 ) 橋梁のフォトグラメトリデータ 図2 ) 亀裂 (原寸大) の様子 年間約4億円 (400万ドル) の工数削減に成功。 橋の修理に予算を再分配することが可能に。 結果
14. Azure Remote Rendering Asset Tool (ARRT) GUI を用いて既存の 3D モデルの変換、レンダリングの検証を行えるデスクトップアプリ (Windows) ( 引用元 : Microsoft 公式ドキュメント – Azure Remote Rendering Asset Tool ) 主 要 な 特 徴 ・ 3 D モ デ ル の ア ッ プ ロ ー ド ・ 3 D モ デ ル の 変 換 ・ セ ッ シ ョ ン の 作 成 、 管 理 ・ 3 D モ デ ル の プ レ ビ ュ ー ・ マ テ リ ア ル の 変 更 e t c . .
15. 参考文献 （１）Microsoft Ignite 2021 Keynote (13:30～) （２）活用事例 – Reimagine bridge inspection with Azure Remote Rendering and HoloLens (YouTube) （３）開発者向け docs - Azure Remote Rendering 公式ドキュメント （４）公式SDK – Azure Remote Rendering （５）Intro to Azure Mixed Reality Services: Azure Remote Rendering ( MR Dev Days 2020 ) https://myignite.microsoft.com/sessions/5f16199c-9aae-40f2-a7ba-157a477faefd?source=sessions https://www.youtube.com/watch?v=Ayz9BSAGO1k https://docs.microsoft.com/en-us/azure/remote-rendering/ https://github.com/Azure/azure-remote-rendering https://channel9.msdn.com/Shows/Mixed-Reality/Intro-to-Azure-Mixed-Reality-Services-Azure-Remote-Rendering
16. 東日本リージョンの追加メリット (ホロラボさんブログより抜粋) ブログ@HoloLabInc : Azure Remote Rendering に東日本リージョンが追加されました https://blog.hololab.co.jp/entry/2020/12/07/105742 Network roundtrip とは HoloLensの情報をサーバーに送る → サーバーでレンダリング処理を行う → レンダリング結果をHoloLensに戻す までの時間
17. Thanks ご清聴いただきありがとうございました #MSIgniteJP Twitter アカウント @Futo_Horio