XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

HoloLensの業務利用最前線 2019/12/04@XR Kaigi 株式会社ホロラボ代表取締役 CEO 中村薫 [email protected]

株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム/アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所
東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円取締役 5名従業員 26名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2

このセッションのゴール •HoloLens 2での事例を知ることができる •HoloLens 2のより詳細な特長を知ることができる Copyright© HoloLab Inc. 2019 All
rights reserved 4

Mixed Reality (MR) MR(Mixed Reality) 6 https://en.wikipedia.org/wiki/Mixed_reality Real Environment Augmented
Reality (AR) Virtual Environment Augmented Virtuality (AV) Copyright© HoloLab Inc. 2019 All rights reserved

AR/VR/MR 7 Real world Computer generated Virtual Reality (VR) Augmented
Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)

AR/VR/MR 13 Real world Computer generated Virtual Reality (VR) Augmented
Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)

RealとVirtualの度合いによる変化 14 Real world Compute generated Augmented Virtuality (AV) Augmented
Reality (AR) Real Mixed Reality(MR) Virtual Reality (VR) Copyright© HoloLab Inc. 2019 All rights reserved

概要 • デバイス • HoloLensに取り組む顧客が多かった • Magic Leap Oneの案件が出てきた •
業種 • 製造業の顧客が増えた • 建設業はPoCからPilotフェーズへの移行が進んだ • 期間が延びた(2018年度 ~6ヵ月、2019年度 ~12ヵ月) Copyright© HoloLab Inc. 2019 All rights reserved 16 Envisioning PoC Pilot Deploy Rollout 学ぶ機会概念実証顧客ネットワーク内での実証実導入 PCのように自由に使える状態

利用デバイスの割合 Copyright© HoloLab Inc. 2019 All rights reserved 17 2018年
全51案件 2019年全73案件 21件(41.2%) 21件(41.2%) 9件(17.6%) 49件(67.1%) 8件(11%) 4件(5.5%) 12件(16.4%)

顧客業種の割合 Copyright© HoloLab Inc. 2019 All rights reserved 18 21件(41.2%)
6件(11.8%) 1件(2%) 11件(21.6%) 12件(23.5%) 2018年全51案件 2019年全73案件 10件(13.7%) 11件(15.1%) 8件(11%) 11件(15.7%) 33件(45.2%)

作業確認モレ防止(MR x AI) Copyright© HoloLab Inc. 2019 All rights reserved
26 試行中

機械学習モデルを作成してのエラー推定 Copyright© HoloLab Inc. 2019 All rights reserved 28 試行中
動画提供:トヨタ自動車株式会社

de:code 2019展示アプリの HoloLens 2化とSpectatorView Copyright© HoloLab Inc. 2019 All rights
reserved 29

HoloLens 2の主観視点 Copyright© HoloLab Inc. 2019 All rights reserved 30
試行中動画提供:トヨタ自動車株式会社

Spectator Viewによる第三者視点 Copyright© HoloLab Inc. 2019 All rights reserved 31
試行中動画提供:トヨタ自動車株式会社

変遷 Copyright© HoloLab Inc. 2019 All rights reserved 32 2019/1
~ 2019/3 PoC部分開発 • MR+AI 2019/5 de:codeデモアプリとして統合 ~ 2019/11 • HoloLens 2版 • SpectaroView対応試行中

目的 • MHI-MME過給機のコンセプト→メンテナンスのしやすさ • 社内だけでなくメンテナンス業者も触れるとこがポイント • メンテナンスマニュアル、メンテナンス動画の拡充をしている • その延長としてARのマニュアルを作り、より正確に作業を理解してもらう •
これによって作業の間違いを減らす • トレーニングをオンサイトでもできるように • 海外のメンテナンス業者が日本で集合研修したあと、現地に戻ってからの棚卸 • 海外に持っていくのは大変 Copyright© HoloLab Inc. 2019 All rights reserved 35

~ 2019/3 PoC部分開発・分解項目の一部分 2019/5 HoloLens 2ポーティングテスト ~ 2019/11 HoloLens 2版 • 分解項目全体試行中

フォトグラメトリの試行 Copyright© HoloLab Inc. 2019 All rights reserved 38 MET過給機
アプリケーション化 3D CADデータからCGを作成フォトグラメトリ写真から3D CGを作成アプリケーション化 ※MHI様にて試行 ※写真とモデルはイメージです

HoloLens 2への期待値 • トレーニングに留まらず、軽量化、装着性を踏まえると、実作業での活用が目標にはなります Copyright© HoloLab Inc. 2019 All
rights reserved 39

構成 Copyright© HoloLab Inc. 2019 All rights reserved 43 同じ位置で同じ状況を共有する
Azure Spatial Anchors iPad/Android HoloLens 2

~ 2019/3 PoC開発 • 点検項目の一部分 ~ 2019/11 PoC開発 • HoloLens 2対応 • SpectaorView対応 2019/6 トレーニングテスト試行中

トレーニングテスト時の感想(HoloLens 1) • 良い点 • 作業の流れをいつでも訓練できる • 紙のマニュアルで分かりづらい場所の動きが理解しやすい • 座学よりわかりやすい
• 紙の手順書では掘り出せなかった暗黙知がいろいろ出てくる • 改善点 • 手を動かすことによって工具を動かしたい • 長時間の使用は重くて疲れる Copyright© HoloLab Inc. 2019 All rights reserved 46

HoloLens 2への期待 • まず、視野の広さ、容量の大きさ、操作感には非常に期待しています。 • 今までよりも没入感が向上し、使用出来なかった容量のデータが扱えることや、iPhoneのように説明が不要な操作感が普及に繋がると考えます。 • また、今後の期待値として精度（個体差等の改善含む）の向上、
外部環境（炎天下、雨天等）での利用が可能となる事、普及のためのコスト低減に期待しております。 Copyright© HoloLab Inc. 2019 All rights reserved 51

顧客における課題の共通項 • 生産性向上 • 労働人口の減少 • 労働者の高齢化 • 教育時間の減少 •
などなど Copyright© HoloLab Inc. 2019 All rights reserved 53

ブロック要素 • 顧客担当の変更 • 社内ネットワークへの導入 • セキュリティ要件 • MDM(Mobile Device
Management) Copyright© HoloLab Inc. 2019 All rights reserved 55

概要 • 2019年11月7日に出荷開始(日本含む) • 買い切りモデルで$3,500/38万3800円(税抜) Copyright© HoloLab Inc. 2019 All
rights reserved 58

特長 • 表示エリア面積2倍 • 16:9から3:2になったため、縦の伸びが大きい • かぶりやすさ3倍 • 数千人の頭のデータを取得し構造を作成、ユーザーテストの結果HoloLens 2の
方がかぶりやすいと答えた人がHoloLens 1の3倍とのこと Copyright© HoloLab Inc. 2019 All rights reserved 59

表示エリア Copyright© HoloLab Inc. 2019 All rights reserved 61 •
2m先にCUBEを配置したアプリをHoloLens 1 / HoloLens 2に配置

表示エリア(HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All rights
reserved 63 左目右目 20cm (Unity単位) 160cm 100cm

表示エリア(HoloLens 1/HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All
rights reserved 64 20cm (Unity単位) 約105cm HoloLens 1(右目) HoloLens 2 (右目) 20cm (Unity単位) 160cm 100cm 約60cm

表示エリア(HoloLens 1/HoloLens 2) • 1m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All
rights reserved 65 HoloLens 1(右目) 20cm (Unity単位) 約80cm 20cm (Unity単位) 約56cm HoloLens 2 (右目) 約25cm 約45cm

仕様概要コンピューター SOC Qualcomm Snapdragon 850 HPU 第 2 世代
オーダーメイドホログラフィック処理装置メモリ 4 GB ストレージ 64 GB Wi-Fi Wi-Fi: Wi-Fi 5 (802.11ac 2x2) Bluetooth 5.0 USB USB Type-C サイズ重量 566 g メガネメガネの上に装着可能バッテリーバッテリー駆動時間 2 ～ 3 時間 (連続使用の場合) 充電 USB-PD (急速充電の場合) Copyright© HoloLab Inc. 2019 All rights reserved 70 https://www.microsoft.com/ja-jp/hololens/hardware

84 • Mixed Reality Capture撮影時にカメラとアプリ描画のズレを補正する • 撮影時のチェックとコードでの設定追加により有効化される • コード部分はMRTK v2.2.0で対応予定

85 Render from Camera 無効 Render from Camera 有効

86 https://github.com/MicrosoftDocs/mixed-reality/blob/master/mixed-reality-docs/mixed-reality-capture-for-developers.md#enabling-improved-alignment-for-mrc-in-your-app コード側の準備 // MRCでのカメラ映像とアプリの描画のずれをなくす var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault(); var viewConfiguration = display.TryGetViewConfiguration( Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera); if (viewConfiguration == null) { Debug.LogWarning("ViewConfiguration is not available."); return; } viewConfiguration.IsEnabled = true; // Lighting/Environment/SkyBoxMaterialを無効にする。 // 有効なままRenderFromCameraを使用すると，MRCにSkyBoxが映り込む。 if (disableSkyBoxMaterial) { RenderSettings.skybox = null; }

そう！あの日ですよ！ということで豪華3本立て！ 1月18日が何か覚えてますか？ ◼ HoloLens 2 HackDay2019 in Tokyo 2020/01/17 13:00
～17:00 ✓ HoloLens 2 ハックできちゃいます！ ✓ https://hololens.connpass.com/event/157969/ ◼ Tokyo HoloLens ミートアップ vol.19 2020/01/17 19:00 ～22:00 日本上陸3周年＆Holo2発売記念！ ✓ 豪華ゲスト陣の登壇と宴！ ✓ https://hololens.connpass.com/event/157968/ ◼ HoloLens 2 体験会 in Tokyo 2020/01/18 10:00 ～18:00 ✓ HoloLens 2 体験できちゃいます！ ✓ https://hololens.connpass.com/event/157976/

XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript