XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

ホロラボでのHoloLens 2アプリ
開発事例紹介
2021年11月@XR Kaigi 2021
株式会社ホロラボ中村薫

View Slide

株式会社ホロラボ
事業内容
HoloLensやWindows MRなどxR技術やセンサー技術に関する
・システム/アプリケーションの企画開発
・調査研究
・普及啓発活動
設立 2017/01/18
住所東京都品川区西五反田2-25-1 インテックス五反田ビル3F
資本金 96,940,000円
取締役 5名
従業員 45名
Web https://hololab.co.jp/
会社概要
Copyright© HoloLab Inc. All rights reserved

View Slide

自己紹介 – ホロラボ代表取締役 CEO 中村薫
・株式会社ホロラボ代表取締役 CEO (2017 - )
・XRコンソーシアム理事 (2020 - )
・Microsoft Regional Director (2020 - 2022)
・Microsoft MVP for Windows Development(2016 - 2022)
・Microsoft MVP for Kinect for Windows (2014 - 2016)
・Microsoft MVP for Visual Studio ALM(2012 - 2014)
著作
・HoloLens 2 入門 (2020 日経BP)
・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム)
など
来歴
・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に
Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。
センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。
・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから
2017年、ホロラボの設立に至る。

View Slide

とりまく環境

View Slide

Facebook改めMetaと、Microsoftのメタバース
• ２つのメタバース
https://www.facebook.com/watch/live/?ref=watch_permalink&v=561535698440683
https://myignite.microsoft.com/sessions/0b9fdcde-480b-4b5a-a189-81ebdfa11f75?source=sessions

View Slide

いま置かれている状況
• AR,MRのアプリをどのように使うか。から
• 利用シーンの中でアプリをどのように使い続けるか。へ
• そのためにどう開発するか。
アプリをどのように
使うか
利用シーンの中でアプリを
どのように使い続けるか
使い続けるために、どう開発するか

View Slide

mixpace

View Slide

mixpace
BIM 360連携、Remote Rendering

View Slide

mixpaceによるデータ変換
• mixpace(ミクスペース)により、Revitなどのファイルをアップロードするだけで、
HoloLensやiPadで利用可能
Web ブラウザ
Azure ADで管理された
ID・パスワードで
ログイン
クラウド
3DCAD/BIMデータ変換
変換済3Dデータ管理
mixpaceアプリ
HoloLens 2
iPad
3DCAD/BIMデータ
アップロード
変換済3Dモデル
ダウンロード
Microsoft Azure
GLB

View Slide

mixpaceによるデータ変換
Autodesk BIM ３６０
mixpace Webアプリ
mixpace リモートレンダリング
ローカルレンダリング

View Slide

Autodesk BIM 360連携

View Slide

Autodesk BIM 360連携
• BIM 360のデータを直接mixpaceに取り込むことが可能になりました
https://prtimes.jp/main/html/rd/p/000000057.000023638.html

View Slide

mixpace - BIM 360 連携
• 建設業の場合はBIM 360がデータのハブになるため、BIM 360と
連携することで日常業務の延長としてAR/MRの利用が可能になる
• BIM 360から直接変換することで、変換ファイルの間違いをなくす
• Revitファイルを編集なしに、そのままHoloLensまで持ち込む
日常業務の中での
Revitデータのパブリッシュ
日常業務の延長での
AR/MR活用
変換
Autodesk Revit Autodesk BIM 360

View Slide

データ変換工程の比較
Autodesk
Revit
ファイル
Revitなどの
ファイル(rvt)を
手動でアップロード
AR/MR
活用
従来
Autodesk
BIM 360
Revitなどの
ファイル(rvt)を
手動でダウンロード
BIM 360より
mixpace対応データを
直接取り込み
BIM 360
連携
Autodesk
BIM 360
AR/MR
活用

View Slide

mixpace - BIM 360 連携の特長
• BIM 360で管理されているBIMデータをダウンロードすることなく、
直接mixpaceに取り込みAR/MR活用可能
• mixpaceからアクセスできるフォルダはBIM 360上の権限が引き継がれ、
mixpaceで再度BIM 360へのアクセス権限設定は不要
• BIM 360から直接データを取り込み変換した場合は、
mixpaceの変換回数(100回/月)にはカウントされない
• Revitファイルで設定されたビューを個別に取り込み可能
• 用途ごとにビューを設定して使い分ける
• 複数のファイル、ビューを一括で取り込み可能
• mixpace Remote Renderingオプションとの併用で、
ビル一棟もまるごとBIM 360から直接取り込んでHoloLensで表示可能

View Slide

mixpace Remote Rendering

View Slide

mixpace Remote Rendering(mRR)
• HoloLens 2単体では難しかった100万～1億ポリゴンクラスの3Dモデルの表示が可能になりました
• mixpaceを通すことで、3D CAD/BIMファイルからAzure Remote Renderingまでシームレスに連携
mixpace mRRアプリ
アップロードレンダリング
PC
• ハイポリゴン3Dモデルの
AR/MR表示
HoloLens 2
データ変換
(ボタン操作)
Azure
Remote Rendering
クラウド
Microsoft Azure
GLB

View Slide

HoloLensで取り扱い可能な3Dモデルのポリゴン数
• HoloLens単体では30万ポリゴンほどが快適に利用できるポリゴン数
30万ポリゴン前後
HoloLens単体での
レンダリング
建築構造 + 設備
1000万ポリゴン
土木橋梁
3000万ポリゴン

View Slide

• Azure Remote Renderingを利用することで、より大きなモデルが表示可能
2000万ポリゴン未満 2000万ポリゴン以上
レンダリング
Azure Remote Rendering
Standard
Premium

View Slide

2000万ポリゴン未満 2000万ポリゴン以上
レンダリング
Standard
Premium
建築構造 + 設備
1000万ポリゴン
土木橋梁
3000万ポリゴン

View Slide

mixpace Remote Rendering(mRR)
• ローカルレンダリングとリモートレンダリングの比較
• 目的に合わせた使い分け
メリット
・ネットワーク不要でHoloLens単体にて利用可能
・事前ダウンロードしたモデルのオフラインモードでの利用
デメリット
・表示可能なポリゴン数に制限
リモートレンダリング
メリット
・表示可能なポリゴン数が無制限
デメリット
・現場に高速なネットワーク回線が必要
・表示、閲覧(レンダリング)に対してコストが発生

View Slide

mixpaceによるBIMデータ活用
Autodesk BIM ３６０
mixpace Webアプリ
mixpace リモートレンダリング

View Slide

mixpace/建築・土木ドメイン事例

View Slide

株式会社大林組

View Slide

• 設計情報確認、検査記録作成といった施工管理業務を効率化
• 仕上げ検査業務における効果を確認
• 従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮
施工管理業務アプリ「holonica™」
https://www.obayashi.co.jp/news/detail/news20210419_2.html
Pilot

View Slide

施工管理業務アプリ「holonica™」
• 仕上げ検査業務において、従来の紙図面を使った仕上げ検査と比較して
約30％の時間を短縮
検査箇所の
確認
紙図面に
記入
検査箇所に
付箋でしるし
是正箇所の
確認
紙図面に
記入
是正箇所の
付箋を除去
検査業務是正確認業務
従来の
紙図面
holonica™
検査箇所の
確認
holonica™
に記録
是正箇所の
確認
holonica™
に記録
Pilot

View Slide

東急建設株式会社

View Slide

BIMデータをそのままAR化
• BIM 360 + mixpace + Azure Remote Renderingを活用し、
Revitデータを加工することなくHoloLens 2まで持ち込む
• HoloLens 2のレンダリング性能
• ローカルレンダリング → 約30万ポリゴン
• リモートレンダリング → 1億ポリゴン以上
• Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手
順と比較して80%の時間を短縮
• 1棟丸ごとHoloLens 2に持ち込み可能
PoC

View Slide

BIM 360からシームレスなAR活用
• Autodesk BIM 360からデータを取り込むことで、
日常業務の延長にAR活用を置く
Autodesk Revit ファイル
• 手動アップロード
Azure Remote Rendering リモートレンダリング
Autodesk BIM 360
Autodesk Revit
Publish
現在
改善2
日常業務
自動変換
PoC
Autodesk Revit ファイル
• データ調整
• 手動アップロードローカルレンダリング
従来
改善1

View Slide

• Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手
順と比較して80%の時間を短縮
BIMデータをそのままAR化
PoC
現場データの受領と
確認内容のヒアリング
Revitデータ処理 MRデータ変換
HoloLensでの
データ確認
現場での利用
良い状態まで繰り返す
現場での利用
MRデータ変換
(日常業務中)
従来
現在
改善2
日常業務現場利用準備現場利用

View Slide

大和ハウス工業株式会社

View Slide

mixpace を利用した試行
• 目的
• 大和ハウス工業株式会社では、デジタルコンストラクションの一環として、XR技術を活用した設
計・施工・維持管理業務の効率化、高品質化に取り組んでいます。
• 今回の試行では、設計業務への活用を前提とし、mixpaceを活用した設計情報の確認手法に
ついて以下の検証を行いました。
• 位置合わせの精度確認
• 設計変更内容の比較確認
• リモートレンダリングによる大容量モデルの確認
• mixpaceの期待値
• BIMモデルからMRモデルへの変換の容易さ（BIM360との連携により操作性が向上している）
• 位置合わせの正確性、操作性の向上
• マテリアル表現の向上
• 手順
• BIM 360 → mixpace → Azure Remote Rendering
PoC

View Slide

HoloLensでのリモートレンダリングの様子
PoC

View Slide

ワークフロー
Azure Remote Rendering HoloLens
Autodesk BIM 360
Autodesk Revit
パブリッシュ変換変換
iPad
PoC
Microsoft Teamsで遠隔コミュニケーションを取りながら

View Slide

株式会社竹中工務店

View Slide

mxipaceの利用試行
• 株式会社竹中工務店全店のHoloLens有識者を中心に、mixpaceの
利用シナリオについて試行、情報共有、展開の検討を行っていただいています
PoC

View Slide

国土交通省関東地方整備局

View Slide

遠隔臨場およびCIMデータの活用
• 2021年4月に開所した「関東DX・i-Construction人材育成センター」に
mixpaceおよびmixpace Remote Renderingを提供
• BIM/CIM活用やICT施工普及促進、データ・デジタル技術の知識習熟等の人材育成
• Microsoft Dynamics 365 Remote Assistとの併用で遠隔臨場をデモ
• mixpace Remote Renderingで鉄筋入りの橋梁データ表示をデモ
PoC

View Slide

遠隔臨場
• mixpaceで表示した埋設物をMicrosoft Dynamics 365 Remote Assist
と併用して遠隔臨場をデモ
• 移動が難しい状況での遠隔業務に活用
PoC

View Slide

CIMデータの活用
• Navisworksファイルをmixpace経由でAzure Remote Renderingするデモ
• 鉄筋入りの橋梁データをHoloLens 2にて表示
• 約3200万ポリゴン、HoloLens 2の表示性能は約30万ポリゴン
PoC

View Slide

日本国土開発株式会社

View Slide

協力会社と配筋作業の打ち合わせ
「CIMモデルをmixpaceでMR用に変換し、タブレット端末の画面を通して現場
の鉄筋を見ます。すると実物の鉄筋と、鉄筋のCIMモデルが重なって見えるので、
配筋が設計通りでないところは一目でわかります」
https://ken-it.world/success/2021/09/construction-dx-in-jdc-corp.html
「建設ITワールド」の記事より引用

View Slide

建築ドメインでの取り組み

View Slide

鹿島建設株式会社

View Slide

BIMデータを活用した避難シミュレーションの技術支援

View Slide

大成建設株式会社

View Slide

LifeCycleOSパートナーとしての取り組み
https://www.aiiot.taisei-techsolu.jp/ceatec2021/lcos/index.html

View Slide

コンシューマー向け事例

View Slide

株式会社NTTドコモ

View Slide

コンシューマー向けARクラウドの試行
• 株式会社NTTドコモのARクラウドサービスの開発支援
• VPS (Visual Positioning System)を使ったCPS(Cyber-Physical Space)を繋ぐ
プラットフォームサービスの試作開発 (R&D段階)
• クロスプラットフォーム
• VPSによる外部位置補正
• docomo Open House 2020
• 試作コンテンツ展示
• docomo Open House 2021
• オーサリングツール発表
• 大規模VPS実装
https://docomo-openhouse.jp/2021/ (要登録)
PoC

View Slide

コンシューマー向けARクラウドの試行
• 森ビル株式会社のヴィーナスフォートでARクラウドの実証実験
• 広大なエリアにおいて数cm単位での位置合わせ精度のマーカレスAR体験
• コンテンツは独自開発のオーサリングツールを利用し、多層的なAR空間レイヤーを設定
可能で、ヴィーナスフォートを訪れるユーザー属性に応じてパーソナライズされた情報・
広告・コンテンツの提供が可能
• ARにより拡張されたショッピング体験を共有、共体験の実現を目指す
PoC

View Slide

パーソナライズされた広告
PoC

View Slide

複数人でのARゲーム
PoC

View Slide

公開実証実験 2021年7月
東京MX「建物生かした仮想空間お台場の商業施設でXR実験」
https://youtu.be/DCCE_G1vNxs
■7月版Update
1) VR対応
BLK360による
高精細スキャン
2) Linking ～ IoT連携
- 人感センサー「密」検知
- トイレ利用状況 (スイッチ)
- みまもりタグ
- 連携ナビ
延べ300名以上の方に
体験頂きました
PoC

View Slide

TechniCapture(テクニキャプチャ)
手放しマニュアル
HoloRemote
toMap

View Slide

ホロラボのMRパッケージシリーズ
名称
mixpace
(リンク)
toMap
HOLO-
COMMUNICATION
(リンク)
TechniCapture
(リンク)
(リンク)
HoloRemote
イメージ
概要・3Dデータ活用支援・デジタルツイン基盤
・PLATEAU互換
・3Dコミュニケーション・技能継承支援
・手指、視線、音声の記録
・オフライン動作
・現場作業支援
・マニュアルのAR化
・オフライン動作
・リアルタイムコミュニケー
ション
・映像と音声と空間指示
シナリオ・シミュレーション
・デザイン&試作
・販売支援
・データ重畳
・3D可視化
・GIS対応
・各種シミュレーション
・リッチなコミュニケーション
・リモート支援 (空間伝送)
・ガイド&タスクマネジメント
・トレーニング
・ガイド&タスクマネジメント
・トレーニング
・遠隔支援、遠隔臨場
価格
(税別)
1,164,000円／年間
(SB C&S様より販売)
未定 (開発中、デモ可能) ・システム利用ライセンス
・開発ライセンス
９００，０００円／ワンタイム
※5台まで
900，000円／ワンタイム
※10台まで
900，000円／年間
https://hololab.co.jp/service/

View Slide

TechniCapture ～技術継承

View Slide

TechniCapture ～技術継承
• 作業者の手、指、頭の動きと、視線、音声を空間記録して再生します
・HoloLens 2着用者の
手・指・頭の動き、
目線を3Dで空間記録
・記録したモーション、
目線や音声は空間で再生
・記録する空間の
基準点を設定可能
https://youtu.be/vy3tgmOvnVI

View Slide

TechniDataVisualizer(PCアプリでの動作閲覧・比較)
• TechniCaptureで記録した動きをPCアプリにて取り込み閲覧が可能です
• 2人のデータを取り込むことで比較閲覧が可能です
• 初学者とベテラン
• 初学者のトレーニング開始と終了時
• など

View Slide

データフローとワークフロー
TechniCapture
で記録
TechniCapture
PCアプリ
で比較
TechniCaptureで
記録したCSVを分析
(お客様内)
計画立案
計画 → 実施 → 比較
での業務改善サイクルを実施
■ データフロー ■ ワークフロー

View Slide

手放しマニュアル～MR手順書

View Slide

手放しマニュアル～MR手順書
• マニュアルを空間に表示して、MRデバイス着用者の作業支援
・HoloLens 2着用者の周辺に
マニュアルをMR表示
・テキスト・画像・動画に対応
・目線操作により進行
完全フリーハンド
・Excelによるオーサリング
・ユーザーログの出力
https://youtu.be/4rByM20iNLM

View Slide

手放しエディター for HoloLens/PC
• 手放しマニュアルのマニュアルをHoloLensで作成する

View Slide

データフローとワークフロー
で業務
ユーザーログ
で作業分析
計画立案
計画 → 実施 → 分析
での業務改善サイクルを実施
手放しエディターで
マニュアル整備
■ データフロー ■ ワークフロー

View Slide

HoloRemote ～遠隔支援

View Slide

• HoloLens 2カメラ映像を遠隔地のPCから参照＋音声通話
HoloRemote - 遠隔支援システム
・HoloLens 2とPCの間で
遠隔通信(映像・音声)
・PC側はブラウザ動作
インストール不要
※要インターネット接続
・1契約あたり最大5接続まで
・遠隔地映像に
PCから書き込み可能

View Slide

新機能: マスク処理
• 見せたい場所(見せたくない場所)を指定してカメラ映像を配信

View Slide

toMap

View Slide

toMap - PLATEAU互換デジタルツインサービス
• 株式会社アナザーブレインにより開発され、2021年3月に発表
• 国土交通省が推進する PLATEAU プロジェクトと可能な限り互換性を保つ
3D都市モデルプラットフォームサービス
• PLATEAUで提供される様々なオープンデータに対応しつつ、
セキュアにGIS/2D/3Dのプライベートデータを一緒に扱うことが出来る

View Slide

熱海伊豆山の例：toMap Web公開
https://atami.tomap.app/

View Slide

toMapで出来ること
CG表示点群CG表示
リアルタイム座標
https://www.youtube.com/watch?v=QqxU98GHb98
ハザードマップ表示
PLATEAUデータ互換
iPhone LiDARデータ対応

View Slide

CityGML
• PLATEAUなどで使用されているCityGML形式のモデルをUnityに取り込む
https://twitter.com/tarukosu/status/1417710982206418944

View Slide

技術試行

View Slide

トヨタ自動車株式会社

View Slide

Microsoft Meshのコンセプトを独自に実装
• 人のリアルタイム3次元転送、アバター転送と、車のリモートレンダリング
を統合
https://learning.unity3d.jp/7756/
PoC

View Slide

Microsoft Meshのコンセプトを独自に実装
動画提供: トヨタ自動車株式会社栢野浩一様
https://learning.unity3d.jp/7756/
PoC

View Slide

配信PC
点群
システム構成
PoC
リアルタイム3次元転送側
受信側
Azure
Remote Rendering
Azure Kinect
• Azure Kinect、音声データの同期
• Azure Remote Renderingの同期
アバター転送側
配信PC
関節情報
Azure Kinect

View Slide

Varjo XR-1活用試行
• 概要
• HoloLensの光学シースルーに対して、XR-1のビデオシースルーの試行
• それぞれの特長を検証する
• ドライブシミュレーターや運転時のシミュレーションなどを試行
PoC

View Slide

Varjo XR-1の車載環境の構築
• 車内でのXR-1(当時)の利用
動画提供: トヨタ自動車株式会社栢野浩一様
開発協力: ビジュアライズビジョン株式会社
PoC

View Slide

3Dデータ活用
デジタルトランスフォーメーション

View Slide

3Dデータの活用
• 課題
• どこでどのように使うか、イメージが難しい
• すべての3Dデータがある訳ではない

View Slide

ワークフローからのシナリオ作成支援
• データ活用のために、
• どんなデータが必要か
• どんな業務に適用するのか
• から整理を行う
データの活用
どんなデータが必要か
(データ整理)
どんな業務に必要か
(業務整理)

View Slide

3Dデータの作成支援・内製支援
• レーザースキャン撮影(点群)
• VPSに転用、CAD/BIM化
• フォトグラメトリ撮影(CGモデル)
• CAD/BIM作成
レーザースキャン撮影(点群)
フォトグラメトリ(点群、CGモデル) フォトグラメトリ(点群、CGモデル) BIM

View Slide

いま置かれている状況
• AR、VR、MRのアプリをどのように使うか。から
• 利用シーンの中でアプリをどのように使い続けるか。へ
• そのためにどう開発するか。
アプリをどのように
使うか
利用シーンの中でアプリを
どのように使い続けるか
使い続けるために、どう開発するか

View Slide

https://hololab.co.jp/#contact

View Slide

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

HoloLab

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR Kaigi 2021

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR Kaigi 2021

HoloLab

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021