XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

by HoloLab

Slide 1

Slide 1 text

ホロラボでのHoloLens 2アプリ開発事例紹介 2021年11月@XR Kaigi 2021 株式会社ホロラボ中村薫

Slide 2

Slide 2 text

株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム/アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円取締役 5名従業員 45名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. All rights reserved

Slide 3

Slide 3 text

自己紹介 – ホロラボ代表取締役 CEO 中村薫 Copyright© HoloLab Inc. All rights reserved ・株式会社ホロラボ代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 著作・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など来歴・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Facebook改めMetaと、Microsoftのメタバース • ２つのメタバース Copyright© HoloLab Inc. All rights reserved https://www.facebook.com/watch/live/?ref=watch_permalink&v=561535698440683 https://myignite.microsoft.com/sessions/0b9fdcde-480b-4b5a-a189-81ebdfa11f75?source=sessions

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

mixpaceによるデータ変換 • mixpace(ミクスペース)により、Revitなどのファイルをアップロードするだけで、 HoloLensやiPadで利用可能 Web ブラウザ Azure ADで管理された ID・パスワードでログインクラウド 3DCAD/BIMデータ変換変換済3Dデータ管理 mixpaceアプリ HoloLens 2 iPad 3DCAD/BIMデータアップロード変換済3Dモデルダウンロード Microsoft Azure GLB Copyright© HoloLab Inc. All rights reserved

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

mixpace - BIM 360 連携 • 建設業の場合はBIM 360がデータのハブになるため、BIM 360と連携することで日常業務の延長としてAR/MRの利用が可能になる • BIM 360から直接変換することで、変換ファイルの間違いをなくす • Revitファイルを編集なしに、そのままHoloLensまで持ち込む Copyright© HoloLab Inc. All rights reserved 日常業務の中での Revitデータのパブリッシュ日常業務の延長での AR/MR活用変換 Autodesk Revit Autodesk BIM 360

Slide 15

Slide 15 text

データ変換工程の比較 Autodesk Revit ファイル Revitなどのファイル(rvt)を手動でアップロード AR/MR 活用従来 Autodesk BIM 360 Revitなどのファイル(rvt)を手動でダウンロード BIM 360より mixpace対応データを直接取り込み BIM 360 連携 Autodesk BIM 360 AR/MR 活用 Copyright© HoloLab Inc. All rights reserved

Slide 16

Slide 16 text

mixpace - BIM 360 連携の特長 • BIM 360で管理されているBIMデータをダウンロードすることなく、直接mixpaceに取り込みAR/MR活用可能 • mixpaceからアクセスできるフォルダはBIM 360上の権限が引き継がれ、 mixpaceで再度BIM 360へのアクセス権限設定は不要 • BIM 360から直接データを取り込み変換した場合は、 mixpaceの変換回数(100回/月)にはカウントされない • Revitファイルで設定されたビューを個別に取り込み可能 • 用途ごとにビューを設定して使い分ける • 複数のファイル、ビューを一括で取り込み可能 • mixpace Remote Renderingオプションとの併用で、ビル一棟もまるごとBIM 360から直接取り込んでHoloLensで表示可能 Copyright© HoloLab Inc. All rights reserved

Slide 17

Slide 17 text

Slide 18

Slide 18 text

mixpace Remote Rendering(mRR) • HoloLens 2単体では難しかった100万～1億ポリゴンクラスの3Dモデルの表示が可能になりました • mixpaceを通すことで、3D CAD/BIMファイルからAzure Remote Renderingまでシームレスに連携 mixpace mRRアプリアップロードレンダリング PC • ハイポリゴン3Dモデルの AR/MR表示 HoloLens 2 データ変換 (ボタン操作) Azure Remote Rendering クラウド Copyright© HoloLab Inc. All rights reserved Microsoft Azure GLB https://prtimes.jp/main/html/rd/p/000000047.000023638.html

Slide 19

Slide 19 text

Slide 20

Slide 20 text

HoloLensで取り扱い可能な3Dモデルのポリゴン数 • Azure Remote Renderingを利用することで、より大きなモデルが表示可能 Copyright© HoloLab Inc. All rights reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体でのレンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後

Slide 21

Slide 21 text

HoloLensで取り扱い可能な3Dモデルのポリゴン数 Copyright© HoloLab Inc. All rights reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体でのレンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後建築構造 + 設備 1000万ポリゴン土木橋梁 3000万ポリゴン

Slide 22

Slide 22 text

mixpace Remote Rendering(mRR) • ローカルレンダリングとリモートレンダリングの比較 • 目的に合わせた使い分け Copyright© HoloLab Inc. All rights reserved ローカルレンダリングメリット・ネットワーク不要でHoloLens単体にて利用可能・事前ダウンロードしたモデルのオフラインモードでの利用デメリット・表示可能なポリゴン数に制限リモートレンダリングメリット・表示可能なポリゴン数が無制限デメリット・現場に高速なネットワーク回線が必要・表示、閲覧(レンダリング)に対してコストが発生

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

• 設計情報確認、検査記録作成といった施工管理業務を効率化 • 仕上げ検査業務における効果を確認 • 従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮施工管理業務アプリ「holonica™」 Copyright© HoloLab Inc. All rights reserved https://www.obayashi.co.jp/news/detail/news20210419_2.html Pilot

Slide 27

Slide 27 text

施工管理業務アプリ「holonica™」 • 仕上げ検査業務において、従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮 Copyright© HoloLab Inc. All rights reserved 検査箇所の確認紙図面に記入検査箇所に付箋でしるし是正箇所の確認紙図面に記入是正箇所の付箋を除去検査業務是正確認業務従来の紙図面 holonica™ 検査箇所の確認 holonica™ に記録是正箇所の確認 holonica™ に記録 Pilot

Slide 28

Slide 28 text

Slide 29

Slide 29 text

BIMデータをそのままAR化 • BIM 360 + mixpace + Azure Remote Renderingを活用し、 Revitデータを加工することなくHoloLens 2まで持ち込む • HoloLens 2のレンダリング性能 • ローカルレンダリング → 約30万ポリゴン • リモートレンダリング → 1億ポリゴン以上 • Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手順と比較して80%の時間を短縮 • 1棟丸ごとHoloLens 2に持ち込み可能 Copyright© HoloLab Inc. All rights reserved PoC

Slide 30

Slide 30 text

BIM 360からシームレスなAR活用 • Autodesk BIM 360からデータを取り込むことで、日常業務の延長にAR活用を置く Copyright© HoloLab Inc. All rights reserved Azure Remote Rendering Autodesk Revit ファイル • 手動アップロードリモートレンダリング Azure Remote Rendering リモートレンダリング Autodesk BIM 360 Autodesk Revit Publish 現在改善2 日常業務自動変換 PoC Autodesk Revit ファイル • データ調整 • 手動アップロードローカルレンダリング従来改善1

Slide 31

Slide 31 text

• Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手順と比較して80%の時間を短縮 BIMデータをそのままAR化 Copyright© HoloLab Inc. All rights reserved PoC 現場データの受領と確認内容のヒアリング Revitデータ処理 MRデータ変換 HoloLensでのデータ確認現場での利用良い状態まで繰り返す現場での利用 MRデータ変換 (日常業務中) 従来現在改善2 日常業務現場利用準備現場利用

Slide 32

Slide 32 text

Slide 33

Slide 33 text

mixpace を利用した試行 • 目的 • 大和ハウス工業株式会社では、デジタルコンストラクションの一環として、XR技術を活用した設計・施工・維持管理業務の効率化、高品質化に取り組んでいます。 • 今回の試行では、設計業務への活用を前提とし、mixpaceを活用した設計情報の確認手法について以下の検証を行いました。 • 位置合わせの精度確認 • 設計変更内容の比較確認 • リモートレンダリングによる大容量モデルの確認 • mixpaceの期待値 • BIMモデルからMRモデルへの変換の容易さ（BIM360との連携により操作性が向上している） • 位置合わせの正確性、操作性の向上 • マテリアル表現の向上 • 手順 • BIM 360 → mixpace → Azure Remote Rendering Copyright© HoloLab Inc. All rights reserved PoC

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

遠隔臨場およびCIMデータの活用 • 2021年4月に開所した「関東DX・i-Construction人材育成センター」に mixpaceおよびmixpace Remote Renderingを提供 • BIM/CIM活用やICT施工普及促進、データ・デジタル技術の知識習熟等の人材育成 • Microsoft Dynamics 365 Remote Assistとの併用で遠隔臨場をデモ • mixpace Remote Renderingで鉄筋入りの橋梁データ表示をデモ Copyright© HoloLab Inc. All rights reserved PoC

Slide 40

Slide 40 text

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Slide 43

Slide 43 text

協力会社と配筋作業の打ち合わせ「CIMモデルをmixpaceでMR用に変換し、タブレット端末の画面を通して現場の鉄筋を見ます。すると実物の鉄筋と、鉄筋のCIMモデルが重なって見えるので、配筋が設計通りでないところは一目でわかります」 Copyright© HoloLab Inc. All rights reserved https://ken-it.world/success/2021/09/construction-dx-in-jdc-corp.html 「建設ITワールド」の記事より引用

Slide 44

Slide 44 text

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Slide 47

Slide 47 text

Slide 48

Slide 48 text

Slide 49

Slide 49 text

Slide 50

Slide 50 text

Slide 51

Slide 51 text

コンシューマー向けARクラウドの試行 • 株式会社NTTドコモのARクラウドサービスの開発支援 • VPS (Visual Positioning System)を使ったCPS(Cyber-Physical Space)を繋ぐプラットフォームサービスの試作開発 (R&D段階) • クロスプラットフォーム • VPSによる外部位置補正 • docomo Open House 2020 • 試作コンテンツ展示 • docomo Open House 2021 • オーサリングツール発表 • 大規模VPS実装 Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000026.000023638.html https://docomo-openhouse.jp/2021/ (要登録) PoC

Slide 52

Slide 52 text

コンシューマー向けARクラウドの試行 • 森ビル株式会社のヴィーナスフォートでARクラウドの実証実験 • 広大なエリアにおいて数cm単位での位置合わせ精度のマーカレスAR体験 • コンテンツは独自開発のオーサリングツールを利用し、多層的なAR空間レイヤーを設定可能で、ヴィーナスフォートを訪れるユーザー属性に応じてパーソナライズされた情報・広告・コンテンツの提供が可能 • ARにより拡張されたショッピング体験を共有、共体験の実現を目指す Copyright© HoloLab Inc. All rights reserved PoC

Slide 53

Slide 53 text

Slide 54

Slide 54 text

Slide 55

Slide 55 text

公開実証実験 2021年7月 Copyright© HoloLab Inc. All rights reserved 東京MX「建物生かした仮想空間お台場の商業施設でXR実験」 https://youtu.be/DCCE_G1vNxs ■7月版Update 1) VR対応 BLK360による高精細スキャン 2) Linking ～ IoT連携 - 人感センサー「密」検知 - トイレ利用状況 (スイッチ) - みまもりタグ - 連携ナビ延べ300名以上の方に体験頂きました PoC

Slide 56

Slide 56 text

Slide 57

Slide 57 text

ホロラボのMRパッケージシリーズ名称 mixpace (リンク) toMap HOLO- COMMUNICATION (リンク) TechniCapture (リンク) 手放しマニュアル (リンク) HoloRemote イメージ概要・3Dデータ活用支援・デジタルツイン基盤・PLATEAU互換・3Dコミュニケーション・技能継承支援・手指、視線、音声の記録・オフライン動作・現場作業支援・マニュアルのAR化・オフライン動作・リアルタイムコミュニケーション・映像と音声と空間指示シナリオ・シミュレーション・デザイン&試作・販売支援・データ重畳・3D可視化・GIS対応・各種シミュレーション・リッチなコミュニケーション・リモート支援 (空間伝送) ・ガイド&タスクマネジメント・トレーニング・ガイド&タスクマネジメント・トレーニング・遠隔支援、遠隔臨場価格 (税別) 1,164,000円／年間 (SB C&S様より販売) 未定 (開発中、デモ可能) ・システム利用ライセンス・開発ライセンス９００，０００円／ワンタイム ※5台まで 900，000円／ワンタイム ※10台まで 900，000円／年間 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/service/

Slide 58

Slide 58 text

Slide 59

Slide 59 text

Slide 60

Slide 60 text

Slide 61

Slide 61 text

Slide 62

Slide 62 text

Slide 63

Slide 63 text

手放しマニュアル～MR手順書 • マニュアルを空間に表示して、MRデバイス着用者の作業支援 Copyright© HoloLab Inc. All rights reserved ・HoloLens 2着用者の周辺にマニュアルをMR表示・テキスト・画像・動画に対応・目線操作により進行完全フリーハンド・Excelによるオーサリング・ユーザーログの出力 https://youtu.be/4rByM20iNLM

Slide 64

Slide 64 text

Slide 65

Slide 65 text

Slide 66

Slide 66 text

Slide 67

Slide 67 text

Slide 68

Slide 68 text

Slide 69

Slide 69 text

Slide 70

Slide 70 text

toMap - PLATEAU互換デジタルツインサービス • 株式会社アナザーブレインにより開発され、2021年3月に発表 • 国土交通省が推進する PLATEAU プロジェクトと可能な限り互換性を保つ 3D都市モデルプラットフォームサービス • PLATEAUで提供される様々なオープンデータに対応しつつ、セキュアにGIS/2D/3Dのプライベートデータを一緒に扱うことが出来る Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000001.000077007.html