XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

A645e7c3a6635ead8fa323c583769591?s=47 HoloLab
December 04, 2019

XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

2019/12/4 開催のXR Kaigiでのスライドです。

A645e7c3a6635ead8fa323c583769591?s=128

HoloLab

December 04, 2019
Tweet

Transcript

  1. HoloLensの業務利用最前線 2019/12/04@XR Kaigi 株式会社ホロラボ 代表取締役 CEO 中村 薫 kaorun55@hololab.co.jp

  2. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所

    東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 26名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2019 All rights reserved 2
  3. アジェンダ •MRを理解する •HoloLens 2の事例 •HoloLens 2について Copyright© HoloLab Inc. 2019

    All rights reserved 3
  4. このセッションのゴール •HoloLens 2での事例を知ることができる •HoloLens 2のより詳細な特長を知ることができる Copyright© HoloLab Inc. 2019 All

    rights reserved 4
  5. MRを理解する Copyright© HoloLab Inc. 2019 All rights reserved 5

  6. Mixed Reality (MR) MR(Mixed Reality) 6 https://en.wikipedia.org/wiki/Mixed_reality Real Environment Augmented

    Reality (AR) Virtual Environment Augmented Virtuality (AV) Copyright© HoloLab Inc. 2019 All rights reserved
  7. AR/VR/MR 7 Real world Computer generated Virtual Reality (VR) Augmented

    Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)
  8. RealとVirtualの度合い Copyright© HoloLab Inc. 2019 All rights reserved 9

  9. Copyright© HoloLab Inc. 2019 All rights reserved 10

  10. Copyright© HoloLab Inc. 2019 All rights reserved 12

  11. AR/VR/MR 13 Real world Computer generated Virtual Reality (VR) Augmented

    Virtuality (AV) Augmented Reality (AR) Real Copyright© HoloLab Inc. 2019 All rights reserved Mixed Reality(MR)
  12. RealとVirtualの度合いによる変化 14 Real world Compute generated Augmented Virtuality (AV) Augmented

    Reality (AR) Real Mixed Reality(MR) Virtual Reality (VR) Copyright© HoloLab Inc. 2019 All rights reserved
  13. ホロラボから見た2019年 Copyright© HoloLab Inc. 2019 All rights reserved 15

  14. 概要 • デバイス • HoloLensに取り組む顧客が多かった • Magic Leap Oneの案件が出てきた •

    業種 • 製造業の顧客が増えた • 建設業はPoCからPilotフェーズへの移行が進んだ • 期間が延びた(2018年度 ~6ヵ月、2019年度 ~12ヵ月) Copyright© HoloLab Inc. 2019 All rights reserved 16 Envisioning PoC Pilot Deploy Rollout 学ぶ機会 概念実証 顧客ネットワーク内 での実証 実導入 PCのように 自由に使える状態
  15. 利用デバイスの割合 Copyright© HoloLab Inc. 2019 All rights reserved 17 2018年

    全51案件 2019年 全73案件 21件(41.2%) 21件(41.2%) 9件(17.6%) 49件(67.1%) 8件(11%) 4件(5.5%) 12件(16.4%)
  16. 顧客業種の割合 Copyright© HoloLab Inc. 2019 All rights reserved 18 21件(41.2%)

    6件(11.8%) 1件(2%) 11件(21.6%) 12件(23.5%) 2018年 全51案件 2019年 全73案件 10件(13.7%) 11件(15.1%) 8件(11%) 11件(15.7%) 33件(45.2%)
  17. 顧客業種の数 Copyright© HoloLab Inc. 2019 All rights reserved 19

  18. Biz App (UWP) Domain Knowhow MRアプリ開発に必要な要素 Copyright© HoloLab Inc. 2019

    All rights reserved 20 3D Engine 3DCG / CAD
  19. HoloLens 2事例 Copyright© HoloLab Inc. 2019 All rights reserved 22

  20. 先行事例のご紹介 • 製造業、インフラ業、建設業各社の事例をご紹介します • 先行研究開発、トレーニング、業務効率化 • 昨年からの時間軸でPoCの規模感もイメージできると思います Copyright© HoloLab Inc.

    2019 All rights reserved 23
  21. トヨタ自動車株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 24

  22. 目的 • HoloLens 2への早期移植検討、MR x AIの実効性検証などトヨタ自動車 の試行を先進的な技術開発力で支援する Copyright© HoloLab Inc.

    2019 All rights reserved 25
  23. 作業確認モレ防止(MR x AI) Copyright© HoloLab Inc. 2019 All rights reserved

    26 試行中
  24. 課題 人間の目では多くの部品を一目で確認できないため、思い込み、 見落としが発生する →作業確認のモレを防ぎたい OK Error Copyright© HoloLab Inc. 2019

    All rights reserved 27 試行中
  25. 機械学習モデルを作成してのエラー推定 Copyright© HoloLab Inc. 2019 All rights reserved 28 試行中

    動画提供:トヨタ自動車株式会社
  26. de:code 2019展示アプリの HoloLens 2化とSpectatorView Copyright© HoloLab Inc. 2019 All rights

    reserved 29
  27. HoloLens 2の主観視点 Copyright© HoloLab Inc. 2019 All rights reserved 30

    試行中 動画提供:トヨタ自動車株式会社
  28. Spectator Viewによる第三者視点 Copyright© HoloLab Inc. 2019 All rights reserved 31

    試行中 動画提供:トヨタ自動車株式会社
  29. 変遷 Copyright© HoloLab Inc. 2019 All rights reserved 32 2019/1

    ~ 2019/3 PoC部分開発 • MR+AI 2019/5 de:codeデモアプリとして統合 ~ 2019/11 • HoloLens 2版 • SpectaroView対応 試行中
  30. 三菱重工マリンマシナリ株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 33

  31. MET過給機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 34

  32. 目的 • MHI-MME過給機のコンセプト→メンテナンスのしやすさ • 社内だけでなくメンテナンス業者も触れるとこがポイント • メンテナンスマニュアル、メンテナンス動画の拡充をしている • その延長としてARのマニュアルを作り、より正確に作業を理解してもらう •

    これによって作業の間違いを減らす • トレーニングをオンサイトでもできるように • 海外のメンテナンス業者が日本で集合研修したあと、現地に戻ってからの棚卸 • 海外に持っていくのは大変 Copyright© HoloLab Inc. 2019 All rights reserved 35
  33. MET過給機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 36 試行中

  34. 変遷 Copyright© HoloLab Inc. 2019 All rights reserved 37 2019/1

    ~ 2019/3 PoC部分開発 ・分解項目の一部分 2019/5 HoloLens 2ポーティングテスト ~ 2019/11 HoloLens 2版 • 分解項目全体 試行中
  35. フォトグラメトリの試行 Copyright© HoloLab Inc. 2019 All rights reserved 38 MET過給機

    アプリケーション化 3D CADデータからCGを作成 フォトグラメトリ 写真から3D CGを作成 アプリケーション化 ※MHI様にて試行 ※写真とモデルはイメージです
  36. HoloLens 2への期待値 • トレーニングに留まらず、軽量化、装着性を踏まえると、 実作業での活用が目標にはなります Copyright© HoloLab Inc. 2019 All

    rights reserved 39
  37. 株式会社JR東日本情報システム Copyright© HoloLab Inc. 2019 All rights reserved 40

  38. 転てつ機のトレーニングアプリ Copyright© HoloLab Inc. 2019 All rights reserved 41 試行中

  39. 目的 • 研修所に行かなくても実物のサイズ感で動き回りながらトレーニング ができること • 実体に近いものがあるので、会話しながらコツを伝える Copyright© HoloLab Inc. 2019

    All rights reserved 42
  40. 構成 Copyright© HoloLab Inc. 2019 All rights reserved 43 同じ位置で同じ状況を共有する

    Azure Spatial Anchors iPad/Android HoloLens 2
  41. 動画 Copyright© HoloLab Inc. 2019 All rights reserved 44 試行中

  42. 変遷 Copyright© HoloLab Inc. 2019 All rights reserved 45 2018/8

    ~ 2019/3 PoC開発 • 点検項目の一部分 ~ 2019/11 PoC開発 • HoloLens 2対応 • SpectaorView対応 2019/6 トレーニングテスト 試行中
  43. トレーニングテスト時の感想(HoloLens 1) • 良い点 • 作業の流れをいつでも訓練できる • 紙のマニュアルで分かりづらい場所の動きが理解しやすい • 座学よりわかりやすい

    • 紙の手順書では掘り出せなかった暗黙知がいろいろ出てくる • 改善点 • 手を動かすことによって工具を動かしたい • 長時間の使用は重くて疲れる Copyright© HoloLab Inc. 2019 All rights reserved 46
  44. 東急建設株式会社 Copyright© HoloLab Inc. 2019 All rights reserved 47

  45. BIMデータの活用 Copyright© HoloLab Inc. 2019 All rights reserved 48 試行中

  46. 目的 • BIMを活用した施工や検査の効率化 • BIMの設計データを現実に重ねることで差異を見つけやすくする • BIMデータのプロパティを活用することで情報を素早く得る Copyright© HoloLab Inc.

    2019 All rights reserved 49
  47. BIMデータの活用 Copyright© HoloLab Inc. 2019 All rights reserved 50 試行中

  48. HoloLens 2への期待 • まず、視野の広さ、容量の大きさ、操作感には非常に期待しています。 • 今までよりも没入感が向上し、使用出来なかった容量のデータが扱え ることや、iPhoneのように説明が不要な操作感が普及に繋がると考え ます。 • また、今後の期待値として精度(個体差等の改善含む)の向上、

    外部環境(炎天下、雨天等)での利用が可能となる事、 普及のためのコスト低減に期待しております。 Copyright© HoloLab Inc. 2019 All rights reserved 51
  49. HoloLensプロジェクトを上手に進める Copyright© HoloLab Inc. 2019 All rights reserved 52

  50. 顧客における課題の共通項 • 生産性向上 • 労働人口の減少 • 労働者の高齢化 • 教育時間の減少 •

    などなど Copyright© HoloLab Inc. 2019 All rights reserved 53
  51. 進みやすいケース • 顧客側に取りまとめ役の存在 • 社内の理解 • 現場の方の協力 • HoloLensは現場の方の業務を助けるデバイス Copyright©

    HoloLab Inc. 2019 All rights reserved 54
  52. ブロック要素 • 顧客担当の変更 • 社内ネットワークへの導入 • セキュリティ要件 • MDM(Mobile Device

    Management) Copyright© HoloLab Inc. 2019 All rights reserved 55
  53. HoloLensがうまくハマるケース • トレーニング • 現場作業支援 • マニュアル • レガシーな作業、モノに対してのマニュアル Copyright©

    HoloLab Inc. 2019 All rights reserved 56
  54. HoloLens 2について Copyright© HoloLab Inc. 2019 All rights reserved 57

  55. 概要 • 2019年11月7日に出荷開始(日本含む) • 買い切りモデルで$3,500/38万3800円(税抜) Copyright© HoloLab Inc. 2019 All

    rights reserved 58
  56. 特長 • 表示エリア面積2倍 • 16:9から3:2になったため、縦の伸びが大きい • かぶりやすさ3倍 • 数千人の頭のデータを取得し構造を作成、ユーザーテストの結果HoloLens 2の

    方がかぶりやすいと答えた人がHoloLens 1の3倍とのこと Copyright© HoloLab Inc. 2019 All rights reserved 59
  57. 表示エリア Copyright© HoloLab Inc. 2019 All rights reserved 60

  58. 表示エリア Copyright© HoloLab Inc. 2019 All rights reserved 61 •

    2m先にCUBEを配置したアプリをHoloLens 1 / HoloLens 2に配置
  59. 表示エリア • Mixed Reality Captureでは実際に見える範囲より広く撮影されるため、 HoloLensにカメラをあてて撮影(今回はiPhoneで撮影) Copyright© HoloLab Inc. 2019

    All rights reserved 62
  60. 表示エリア(HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All rights

    reserved 63 左目 右目 20cm (Unity単位) 160cm 100cm
  61. 表示エリア(HoloLens 1/HoloLens 2) • 2m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All

    rights reserved 64 20cm (Unity単位) 約105cm HoloLens 1(右目) HoloLens 2 (右目) 20cm (Unity単位) 160cm 100cm 約60cm
  62. 表示エリア(HoloLens 1/HoloLens 2) • 1m先にCUBEを配置 Copyright© HoloLab Inc. 2019 All

    rights reserved 65 HoloLens 1(右目) 20cm (Unity単位) 約80cm 20cm (Unity単位) 約56cm HoloLens 2 (右目) 約25cm 約45cm
  63. モデルの見え方 Copyright© HoloLab Inc. 2019 All rights reserved 66 HoloLens

    1 HoloLens 2
  64. かぶりやすさ Copyright© HoloLab Inc. 2019 All rights reserved 67

  65. かぶりやすさ Copyright© HoloLab Inc. 2019 All rights reserved 68 •

    多くの頭のサイズから開発し、ユーザーの総合評価で3倍とのこと • 重量バランスが改善されたため、重さの変化は少ないが軽く感じる • HoloLens 1/570g → HoloLens 2/566g
  66. 仕様と新機能 Copyright© HoloLab Inc. 2019 All rights reserved 69

  67. 仕様概要 コンピューター SOC Qualcomm Snapdragon 850 HPU 第 2 世代

    オーダーメイド ホログラフィック処理装置 メモリ 4 GB ストレージ 64 GB Wi-Fi Wi-Fi: Wi-Fi 5 (802.11ac 2x2) Bluetooth 5.0 USB USB Type-C サイズ 重量 566 g メガネ メガネの上に装着可能 バッテリー バッテリー駆動時間 2 ~ 3 時間 (連続使用の場合) 充電 USB-PD (急速充電の場合) Copyright© HoloLab Inc. 2019 All rights reserved 70 https://www.microsoft.com/ja-jp/hololens/hardware
  68. 新機能 • Hand tracking • Eye tracking • Windows Hello(虹彩認証)

    • USBホスト機能 • キーボード、マウス、有線LAN、USBメモリなどが有線で接続可能 • (ARM CPUのためか)デバイスドライバがないものもあるので、事前に確認する こと Copyright© HoloLab Inc. 2019 All rights reserved 71
  69. USBキーボード/マウス Copyright© HoloLab Inc. 2019 All rights reserved 72

  70. 新しいワークスタイル Copyright© HoloLab Inc. 2019 All rights reserved 73

  71. USBメモリ Copyright© HoloLab Inc. 2019 All rights reserved 74

  72. USB有線LAN Copyright© HoloLab Inc. 2019 All rights reserved 75

  73. USBハブ Copyright© HoloLab Inc. 2019 All rights reserved 76 •

    USBハブ経由での充電も可能
  74. QRコードの読み取り Copyright© HoloLab Inc. 2019 All rights reserved 77

  75. Hand Mesh/Hand Joint Copyright© HoloLab Inc. 2019 All rights reserved

    78
  76. Hand Mesh/Hand Joint Hand Joint Hand Mesh あり なし あり

    なし Copyright© HoloLab Inc. 2019 All rights reserved 79
  77. Hand Mesh/Hand Joint Copyright© HoloLab Inc. 2019 All rights reserved

    80
  78. Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved

    83
  79. Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved

    84 • Mixed Reality Capture撮影時にカメラとアプリ描画のズレを補正する • 撮影時のチェックとコードでの設定追加により有効化される • コード部分はMRTK v2.2.0で対応予定
  80. Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved

    85 Render from Camera 無効 Render from Camera 有効
  81. Render from Camera Copyright© HoloLab Inc. 2019 All rights reserved

    86 https://github.com/MicrosoftDocs/mixed-reality/blob/master/mixed-reality-docs/mixed-reality-capture-for-developers.md#enabling-improved-alignment-for-mrc-in-your-app コード側の準備 // MRCでのカメラ映像とアプリの描画のずれをなくす var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault(); var viewConfiguration = display.TryGetViewConfiguration( Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera); if (viewConfiguration == null) { Debug.LogWarning("ViewConfiguration is not available."); return; } viewConfiguration.IsEnabled = true; // Lighting/Environment/SkyBoxMaterialを無効にする。 // 有効なままRenderFromCameraを使用すると,MRCにSkyBoxが映り込む。 if (disableSkyBoxMaterial) { RenderSettings.skybox = null; }
  82. Eye Tracking Copyright© HoloLab Inc. 2019 All rights reserved 87

  83. アイトラッキング • 視線がとれるので目を使った操作が可能 • 個人的には慣れないので結構疲れる • 一般的に販売されているグラス型アイトラッキングデバイスと比べて 価格が非常に安い Copyright© HoloLab

    Inc. 2019 All rights reserved 88
  84. Eye tracking Copyright© HoloLab Inc. 2019 All rights reserved 90

  85. Eye tracking Copyright© HoloLab Inc. 2019 All rights reserved 91

  86. 視線調整 Copyright© HoloLab Inc. 2019 All rights reserved 92 •

    アイトラッキングを行うときは視線のキャリブレーションをしておく • 設定 → システム → 調整 → 視線調整の実行
  87. 性能(参考情報) Copyright© HoloLab Inc. 2019 All rights reserved 94

  88. 性能(参考情報) • 体感でFPSがおおよそ1.5倍から2倍に向上 • ARM32とARM64でも性能に大きな違いはなさそう Copyright© HoloLab Inc. 2019 All

    rights reserved 95 HoloLens 1(x86) + Unity2019 • およそ25FPS HoloLens 2(ARM32) + Unity 2019 • およそ35~40FPS
  89. まとめ • HoloLens 2ハードウェアは順当に進化をしている • HoloLens 1のときから期待をして投資を行っている企業が実運用 フェーズ目指して進んでいる Copyright© HoloLab

    Inc. 2019 All rights reserved 96
  90. None
  91. そう!あの日ですよ!ということで豪華3本立て! 1月18日が何か覚えてますか? ◼ HoloLens 2 HackDay2019 in Tokyo 2020/01/17 13:00

    ~17:00 ✓ HoloLens 2 ハックできちゃいます! ✓ https://hololens.connpass.com/event/157969/ ◼ Tokyo HoloLens ミートアップ vol.19 2020/01/17 19:00 ~22:00 日本上陸3周年&Holo2発売記念! ✓ 豪華ゲスト陣の登壇と宴! ✓ https://hololens.connpass.com/event/157968/ ◼ HoloLens 2 体験会 in Tokyo 2020/01/18 10:00 ~18:00 ✓ HoloLens 2 体験できちゃいます! ✓ https://hololens.connpass.com/event/157976/