Slide 1

Slide 1 text

HoloLensの業務利用最前線 2019/12/04@XR Kaigi 株式会社ホロラボ 代表取締役 CEO 中村 薫 [email protected]

Slide 2

Slide 2 text

株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 26名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2

Slide 3

Slide 3 text

アジェンダ •MRを理解する •HoloLens 2の事例 •HoloLens 2について Copyright© HoloLab Inc. 2019 All rights reserved 3

Slide 4

Slide 4 text

このセッションのゴール •HoloLens 2での事例を知ることができる •HoloLens 2のより詳細な特長を知ることができる Copyright© HoloLab Inc. 2019 All rights reserved 4

Slide 5

Slide 5 text

MRを理解する Copyright© HoloLab Inc. 2019 All rights reserved 5

Slide 6

Slide 6 text

Mixed Reality (MR) MR(Mixed Reality) 6 https://en.wikipedia.org/wiki/Mixed_reality Real Environment Augmented Reality (AR) Virtual Environment Augmented Virtuality (AV) Copyright© HoloLab Inc. 2019 All rights reserved

Slide 7

Slide 7 text

AR/VR/MR 7 Real world Computer generated Virtual Reality (VR) Augmented Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)

Slide 8

Slide 8 text

RealとVirtualの度合い Copyright© HoloLab Inc. 2019 All rights reserved 9

Slide 9

Slide 9 text

Copyright© HoloLab Inc. 2019 All rights reserved 10

Slide 10

Slide 10 text

Copyright© HoloLab Inc. 2019 All rights reserved 12

Slide 11

Slide 11 text

AR/VR/MR 13 Real world Computer generated Virtual Reality (VR) Augmented Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)

Slide 12

Slide 12 text

RealとVirtualの度合いによる変化 14 Real world Compute generated Augmented Virtuality (AV) Augmented Reality (AR) Real Mixed Reality(MR) Virtual Reality (VR) Copyright© HoloLab Inc. 2019 All rights reserved

Slide 13

Slide 13 text

ホロラボから見た2019年 Copyright© HoloLab Inc. 2019 All rights reserved 15

Slide 14

Slide 14 text

概要 • デバイス • HoloLensに取り組む顧客が多かった • Magic Leap Oneの案件が出てきた • 業種 • 製造業の顧客が増えた • 建設業はPoCからPilotフェーズへの移行が進んだ • 期間が延びた(2018年度 ~6ヵ月、2019年度 ~12ヵ月) Copyright© HoloLab Inc. 2019 All rights reserved 16 Envisioning PoC Pilot Deploy Rollout 学ぶ機会 概念実証 顧客ネットワーク内 での実証 実導入 PCのように 自由に使える状態

Slide 15

Slide 15 text

利用デバイスの割合 Copyright© HoloLab Inc. 2019 All rights reserved 17 2018年 全51案件 2019年 全73案件 21件(41.2%) 21件(41.2%) 9件(17.6%) 49件(67.1%) 8件(11%) 4件(5.5%) 12件(16.4%)

Slide 16

Slide 16 text

顧客業種の割合 Copyright© HoloLab Inc. 2019 All rights reserved 18 21件(41.2%) 6件(11.8%) 1件(2%) 11件(21.6%) 12件(23.5%) 2018年 全51案件 2019年 全73案件 10件(13.7%) 11件(15.1%) 8件(11%) 11件(15.7%) 33件(45.2%)

Slide 17

Slide 17 text

顧客業種の数 Copyright© HoloLab Inc. 2019 All rights reserved 19

Slide 18

Slide 18 text

Biz App (UWP) Domain Knowhow MRアプリ開発に必要な要素 Copyright© HoloLab Inc. 2019 All rights reserved 20 3D Engine 3DCG / CAD

Slide 19

Slide 19 text

HoloLens 2事例 Copyright© HoloLab Inc. 2019 All rights reserved 22

Slide 20

Slide 20 text

先行事例のご紹介 • 製造業、インフラ業、建設業各社の事例をご紹介します • 先行研究開発、トレーニング、業務効率化 • 昨年からの時間軸でPoCの規模感もイメージできると思います Copyright© HoloLab Inc. 2019 All rights reserved 23

Slide 21

Slide 21 text

トヨタ自動車株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 24

Slide 22

Slide 22 text

目的 • HoloLens 2への早期移植検討、MR x AIの実効性検証などトヨタ自動車 の試行を先進的な技術開発力で支援する Copyright© HoloLab Inc. 2019 All rights reserved 25

Slide 23

Slide 23 text

作業確認モレ防止(MR x AI) Copyright© HoloLab Inc. 2019 All rights reserved 26 試行中

Slide 24

Slide 24 text

課題 人間の目では多くの部品を一目で確認できないため、思い込み、 見落としが発生する →作業確認のモレを防ぎたい OK Error Copyright© HoloLab Inc. 2019 All rights reserved 27 試行中

Slide 25

Slide 25 text

機械学習モデルを作成してのエラー推定 Copyright© HoloLab Inc. 2019 All rights reserved 28 試行中 動画提供:トヨタ自動車株式会社

Slide 26

Slide 26 text

de:code 2019展示アプリの HoloLens 2化とSpectatorView Copyright© HoloLab Inc. 2019 All rights reserved 29

Slide 27

Slide 27 text

HoloLens 2の主観視点 Copyright© HoloLab Inc. 2019 All rights reserved 30 試行中 動画提供:トヨタ自動車株式会社

Slide 28

Slide 28 text

Spectator Viewによる第三者視点 Copyright© HoloLab Inc. 2019 All rights reserved 31 試行中 動画提供:トヨタ自動車株式会社

Slide 29

Slide 29 text

変遷 Copyright© HoloLab Inc. 2019 All rights reserved 32 2019/1 ~ 2019/3 PoC部分開発 • MR+AI 2019/5 de:codeデモアプリとして統合 ~ 2019/11 • HoloLens 2版 • SpectaroView対応 試行中

Slide 30

Slide 30 text

三菱重工マリンマシナリ株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 33

Slide 31

Slide 31 text

MET過給機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 34

Slide 32

Slide 32 text

目的 • MHI-MME過給機のコンセプト→メンテナンスのしやすさ • 社内だけでなくメンテナンス業者も触れるとこがポイント • メンテナンスマニュアル、メンテナンス動画の拡充をしている • その延長としてARのマニュアルを作り、より正確に作業を理解してもらう • これによって作業の間違いを減らす • トレーニングをオンサイトでもできるように • 海外のメンテナンス業者が日本で集合研修したあと、現地に戻ってからの棚卸 • 海外に持っていくのは大変 Copyright© HoloLab Inc. 2019 All rights reserved 35

Slide 33

Slide 33 text

MET過給機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 36 試行中

Slide 34

Slide 34 text

変遷 Copyright© HoloLab Inc. 2019 All rights reserved 37 2019/1 ~ 2019/3 PoC部分開発 ・分解項目の一部分 2019/5 HoloLens 2ポーティングテスト ~ 2019/11 HoloLens 2版 • 分解項目全体 試行中

Slide 35

Slide 35 text

フォトグラメトリの試行 Copyright© HoloLab Inc. 2019 All rights reserved 38 MET過給機 アプリケーション化 3D CADデータからCGを作成 フォトグラメトリ 写真から3D CGを作成 アプリケーション化 ※MHI様にて試行 ※写真とモデルはイメージです

Slide 36

Slide 36 text

HoloLens 2への期待値 • トレーニングに留まらず、軽量化、装着性を踏まえると、 実作業での活用が目標にはなります Copyright© HoloLab Inc. 2019 All rights reserved 39

Slide 37

Slide 37 text

株式会社JR東日本情報システム Copyright© HoloLab Inc. 2019 All rights reserved 40

Slide 38

Slide 38 text

転てつ機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 41 試行中

Slide 39

Slide 39 text

目的 • 研修所に行かなくても実物のサイズ感で動き回りながらトレーニング ができること • 実体に近いものがあるので、会話しながらコツを伝える Copyright© HoloLab Inc. 2019 All rights reserved 42

Slide 40

Slide 40 text

構成 Copyright© HoloLab Inc. 2019 All rights reserved 43 同じ位置で同じ状況を共有する Azure Spatial Anchors iPad/Android HoloLens 2

Slide 41

Slide 41 text

動画 Copyright© HoloLab Inc. 2019 All rights reserved 44 試行中

Slide 42

Slide 42 text

変遷 Copyright© HoloLab Inc. 2019 All rights reserved 45 2018/8 ~ 2019/3 PoC開発 • 点検項目の一部分 ~ 2019/11 PoC開発 • HoloLens 2対応 • SpectaorView対応 2019/6 トレーニングテスト 試行中

Slide 43

Slide 43 text

トレーニングテスト時の感想(HoloLens 1) • 良い点 • 作業の流れをいつでも訓練できる • 紙のマニュアルで分かりづらい場所の動きが理解しやすい • 座学よりわかりやすい • 紙の手順書では掘り出せなかった暗黙知がいろいろ出てくる • 改善点 • 手を動かすことによって工具を動かしたい • 長時間の使用は重くて疲れる Copyright© HoloLab Inc. 2019 All rights reserved 46

Slide 44

Slide 44 text

東急建設株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 47

Slide 45

Slide 45 text

BIMデータの活用 Copyright© HoloLab Inc. 2019 All rights reserved 48 試行中

Slide 46

Slide 46 text

目的 • BIMを活用した施工や検査の効率化 • BIMの設計データを現実に重ねることで差異を見つけやすくする • BIMデータのプロパティを活用することで情報を素早く得る Copyright© HoloLab Inc. 2019 All rights reserved 49

Slide 47

Slide 47 text

BIMデータの活用 Copyright© HoloLab Inc. 2019 All rights reserved 50 試行中

Slide 48

Slide 48 text

HoloLens 2への期待 • まず、視野の広さ、容量の大きさ、操作感には非常に期待しています。 • 今までよりも没入感が向上し、使用出来なかった容量のデータが扱え ることや、iPhoneのように説明が不要な操作感が普及に繋がると考え ます。 • また、今後の期待値として精度(個体差等の改善含む)の向上、 外部環境(炎天下、雨天等)での利用が可能となる事、 普及のためのコスト低減に期待しております。 Copyright© HoloLab Inc. 2019 All rights reserved 51

Slide 49

Slide 49 text

HoloLensプロジェクトを上手に進める Copyright© HoloLab Inc. 2019 All rights reserved 52

Slide 50

Slide 50 text

顧客における課題の共通項 • 生産性向上 • 労働人口の減少 • 労働者の高齢化 • 教育時間の減少 • などなど Copyright© HoloLab Inc. 2019 All rights reserved 53

Slide 51

Slide 51 text

進みやすいケース • 顧客側に取りまとめ役の存在 • 社内の理解 • 現場の方の協力 • HoloLensは現場の方の業務を助けるデバイス Copyright© HoloLab Inc. 2019 All rights reserved 54

Slide 52

Slide 52 text

ブロック要素 • 顧客担当の変更 • 社内ネットワークへの導入 • セキュリティ要件 • MDM(Mobile Device Management) Copyright© HoloLab Inc. 2019 All rights reserved 55

Slide 53

Slide 53 text

HoloLensがうまくハマるケース • トレーニング • 現場作業支援 • マニュアル • レガシーな作業、モノに対してのマニュアル Copyright© HoloLab Inc. 2019 All rights reserved 56

Slide 54

Slide 54 text

HoloLens 2について Copyright© HoloLab Inc. 2019 All rights reserved 57

Slide 55

Slide 55 text

概要 • 2019年11月7日に出荷開始(日本含む) • 買い切りモデルで$3,500/38万3800円(税抜) Copyright© HoloLab Inc. 2019 All rights reserved 58

Slide 56

Slide 56 text

特長 • 表示エリア面積2倍 • 16:9から3:2になったため、縦の伸びが大きい • かぶりやすさ3倍 • 数千人の頭のデータを取得し構造を作成、ユーザーテストの結果HoloLens 2の 方がかぶりやすいと答えた人がHoloLens 1の3倍とのこと Copyright© HoloLab Inc. 2019 All rights reserved 59

Slide 57

Slide 57 text

表示エリア Copyright© HoloLab Inc. 2019 All rights reserved 60

Slide 58

Slide 58 text

表示エリア Copyright© HoloLab Inc. 2019 All rights reserved 61 • 2m先にCUBEを配置したアプリをHoloLens 1 / HoloLens 2に配置

Slide 59

Slide 59 text

表示エリア • Mixed Reality Captureでは実際に見える範囲より広く撮影されるため、 HoloLensにカメラをあてて撮影(今回はiPhoneで撮影) Copyright© HoloLab Inc. 2019 All rights reserved 62

Slide 60

Slide 60 text

表示エリア(HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All rights reserved 63 左目 右目 20cm (Unity単位) 160cm 100cm

Slide 61

Slide 61 text

表示エリア(HoloLens 1/HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All rights reserved 64 20cm (Unity単位) 約105cm HoloLens 1(右目) HoloLens 2 (右目) 20cm (Unity単位) 160cm 100cm 約60cm

Slide 62

Slide 62 text

表示エリア(HoloLens 1/HoloLens 2) • 1m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All rights reserved 65 HoloLens 1(右目) 20cm (Unity単位) 約80cm 20cm (Unity単位) 約56cm HoloLens 2 (右目) 約25cm 約45cm

Slide 63

Slide 63 text

モデルの見え方 Copyright© HoloLab Inc. 2019 All rights reserved 66 HoloLens 1 HoloLens 2

Slide 64

Slide 64 text

かぶりやすさ Copyright© HoloLab Inc. 2019 All rights reserved 67

Slide 65

Slide 65 text

かぶりやすさ Copyright© HoloLab Inc. 2019 All rights reserved 68 • 多くの頭のサイズから開発し、ユーザーの総合評価で3倍とのこと • 重量バランスが改善されたため、重さの変化は少ないが軽く感じる • HoloLens 1/570g → HoloLens 2/566g

Slide 66

Slide 66 text

仕様と新機能 Copyright© HoloLab Inc. 2019 All rights reserved 69

Slide 67

Slide 67 text

仕様概要 コンピューター SOC Qualcomm Snapdragon 850 HPU 第 2 世代 オーダーメイド ホログラフィック処理装置 メモリ 4 GB ストレージ 64 GB Wi-Fi Wi-Fi: Wi-Fi 5 (802.11ac 2x2) Bluetooth 5.0 USB USB Type-C サイズ 重量 566 g メガネ メガネの上に装着可能 バッテリー バッテリー駆動時間 2 ~ 3 時間 (連続使用の場合) 充電 USB-PD (急速充電の場合) Copyright© HoloLab Inc. 2019 All rights reserved 70 https://www.microsoft.com/ja-jp/hololens/hardware

Slide 68

Slide 68 text

新機能 • Hand tracking • Eye tracking • Windows Hello(虹彩認証) • USBホスト機能 • キーボード、マウス、有線LAN、USBメモリなどが有線で接続可能 • (ARM CPUのためか)デバイスドライバがないものもあるので、事前に確認する こと Copyright© HoloLab Inc. 2019 All rights reserved 71

Slide 69

Slide 69 text

USBキーボード/マウス Copyright© HoloLab Inc. 2019 All rights reserved 72

Slide 70

Slide 70 text

新しいワークスタイル Copyright© HoloLab Inc. 2019 All rights reserved 73

Slide 71

Slide 71 text

USBメモリ Copyright© HoloLab Inc. 2019 All rights reserved 74

Slide 72

Slide 72 text

USB有線LAN Copyright© HoloLab Inc. 2019 All rights reserved 75

Slide 73

Slide 73 text

USBハブ Copyright© HoloLab Inc. 2019 All rights reserved 76 • USBハブ経由での充電も可能

Slide 74

Slide 74 text

QRコードの読み取り Copyright© HoloLab Inc. 2019 All rights reserved 77

Slide 75

Slide 75 text

Hand Mesh/Hand Joint Copyright© HoloLab Inc. 2019 All rights reserved 78

Slide 76

Slide 76 text

Hand Mesh/Hand Joint Hand Joint Hand Mesh あり なし あり なし Copyright© HoloLab Inc. 2019 All rights reserved 79

Slide 77

Slide 77 text

Hand Mesh/Hand Joint Copyright© HoloLab Inc. 2019 All rights reserved 80

Slide 78

Slide 78 text

Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved 83

Slide 79

Slide 79 text

Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved 84 • Mixed Reality Capture撮影時にカメラとアプリ描画のズレを補正する • 撮影時のチェックとコードでの設定追加により有効化される • コード部分はMRTK v2.2.0で対応予定

Slide 80

Slide 80 text

Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved 85 Render from Camera 無効 Render from Camera 有効

Slide 81

Slide 81 text

Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved 86 https://github.com/MicrosoftDocs/mixed-reality/blob/master/mixed-reality-docs/mixed-reality-capture-for-developers.md#enabling-improved-alignment-for-mrc-in-your-app コード側の準備 // MRCでのカメラ映像とアプリの描画のずれをなくす var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault(); var viewConfiguration = display.TryGetViewConfiguration( Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera); if (viewConfiguration == null) { Debug.LogWarning("ViewConfiguration is not available."); return; } viewConfiguration.IsEnabled = true; // Lighting/Environment/SkyBoxMaterialを無効にする。 // 有効なままRenderFromCameraを使用すると,MRCにSkyBoxが映り込む。 if (disableSkyBoxMaterial) { RenderSettings.skybox = null; }

Slide 82

Slide 82 text

Eye Tracking Copyright© HoloLab Inc. 2019 All rights reserved 87

Slide 83

Slide 83 text

アイトラッキング • 視線がとれるので目を使った操作が可能 • 個人的には慣れないので結構疲れる • 一般的に販売されているグラス型アイトラッキングデバイスと比べて 価格が非常に安い Copyright© HoloLab Inc. 2019 All rights reserved 88

Slide 84

Slide 84 text

Eye tracking Copyright© HoloLab Inc. 2019 All rights reserved 90

Slide 85

Slide 85 text

Eye tracking Copyright© HoloLab Inc. 2019 All rights reserved 91

Slide 86

Slide 86 text

視線調整 Copyright© HoloLab Inc. 2019 All rights reserved 92 • アイトラッキングを行うときは視線のキャリブレーションをしておく • 設定 → システム → 調整 → 視線調整の実行

Slide 87

Slide 87 text

性能(参考情報) Copyright© HoloLab Inc. 2019 All rights reserved 94

Slide 88

Slide 88 text

性能(参考情報) • 体感でFPSがおおよそ1.5倍から2倍に向上 • ARM32とARM64でも性能に大きな違いはなさそう Copyright© HoloLab Inc. 2019 All rights reserved 95 HoloLens 1(x86) + Unity2019 • およそ25FPS HoloLens 2(ARM32) + Unity 2019 • およそ35~40FPS

Slide 89

Slide 89 text

まとめ • HoloLens 2ハードウェアは順当に進化をしている • HoloLens 1のときから期待をして投資を行っている企業が実運用 フェーズ目指して進んでいる Copyright© HoloLab Inc. 2019 All rights reserved 96

Slide 90

Slide 90 text

No content

Slide 91

Slide 91 text

そう!あの日ですよ!ということで豪華3本立て! 1月18日が何か覚えてますか? ◼ HoloLens 2 HackDay2019 in Tokyo 2020/01/17 13:00 ~17:00 ✓ HoloLens 2 ハックできちゃいます! ✓ https://hololens.connpass.com/event/157969/ ◼ Tokyo HoloLens ミートアップ vol.19 2020/01/17 19:00 ~22:00 日本上陸3周年&Holo2発売記念! ✓ 豪華ゲスト陣の登壇と宴! ✓ https://hololens.connpass.com/event/157968/ ◼ HoloLens 2 体験会 in Tokyo 2020/01/18 10:00 ~18:00 ✓ HoloLens 2 体験できちゃいます! ✓ https://hololens.connpass.com/event/157976/