Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

HoloLab
December 04, 2019

XR Kaigi HoloLensの業務利用最前線 / XR Kaigi HoloLens 2 at HoloLab

2019/12/4 開催のXR Kaigiでのスライドです。

YouTube
https://www.youtube.com/watch?v=RtPZtElTWSQ

HoloLab

December 04, 2019
Tweet

More Decks by HoloLab

Other Decks in Technology

Transcript

  1. HoloLensの業務利用最前線
    2019/12/04@XR Kaigi
    株式会社ホロラボ
    代表取締役 CEO 中村 薫
    [email protected]

    View full-size slide

  2. 株式会社ホロラボ
    事業内容
    HoloLensやWindows MRなどxR技術やセンサー技術に関する
    ・システム/アプリケーションの企画開発
    ・調査研究
    ・普及啓発活動
    設立 2017/01/18
    住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F
    資本金 96,940,000円
    取締役 5名
    従業員 26名
    Web https://hololab.co.jp/
    会社概要
    Copyright© HoloLab Inc. 2019 All rights reserved 2

    View full-size slide

  3. アジェンダ
    •MRを理解する
    •HoloLens 2の事例
    •HoloLens 2について
    Copyright© HoloLab Inc. 2019 All rights reserved 3

    View full-size slide

  4. このセッションのゴール
    •HoloLens 2での事例を知ることができる
    •HoloLens 2のより詳細な特長を知ることができる
    Copyright© HoloLab Inc. 2019 All rights reserved 4

    View full-size slide

  5. MRを理解する
    Copyright© HoloLab Inc. 2019 All rights reserved 5

    View full-size slide

  6. Mixed Reality (MR)
    MR(Mixed Reality)
    6
    https://en.wikipedia.org/wiki/Mixed_reality
    Real
    Environment
    Augmented
    Reality (AR)
    Virtual
    Environment
    Augmented
    Virtuality (AV)
    Copyright© HoloLab Inc. 2019 All rights reserved

    View full-size slide

  7. AR/VR/MR
    7
    Real world
    Computer generated
    Virtual Reality
    (VR)
    Augmented Virtuality
    (AV)
    Augmented Reality
    (AR)
    Real
    Copyright© HoloLab Inc. 2019 All rights reserved
    Mixed Reality(MR)

    View full-size slide

  8. RealとVirtualの度合い
    Copyright© HoloLab Inc. 2019 All rights reserved 9

    View full-size slide

  9. Copyright© HoloLab Inc. 2019 All rights reserved 10

    View full-size slide

  10. Copyright© HoloLab Inc. 2019 All rights reserved 12

    View full-size slide

  11. AR/VR/MR
    13
    Real world
    Computer generated
    Virtual Reality
    (VR)
    Augmented Virtuality
    (AV)
    Augmented Reality
    (AR)
    Real
    Copyright© HoloLab Inc. 2019 All rights reserved
    Mixed Reality(MR)

    View full-size slide

  12. RealとVirtualの度合いによる変化
    14
    Real world
    Compute generated
    Augmented Virtuality
    (AV)
    Augmented Reality
    (AR)
    Real
    Mixed Reality(MR)
    Virtual Reality
    (VR)
    Copyright© HoloLab Inc. 2019 All rights reserved

    View full-size slide

  13. ホロラボから見た2019年
    Copyright© HoloLab Inc. 2019 All rights reserved 15

    View full-size slide

  14. 概要
    • デバイス
    • HoloLensに取り組む顧客が多かった
    • Magic Leap Oneの案件が出てきた
    • 業種
    • 製造業の顧客が増えた
    • 建設業はPoCからPilotフェーズへの移行が進んだ
    • 期間が延びた(2018年度 ~6ヵ月、2019年度 ~12ヵ月)
    Copyright© HoloLab Inc. 2019 All rights reserved 16
    Envisioning PoC Pilot Deploy Rollout
    学ぶ機会 概念実証
    顧客ネットワーク内
    での実証
    実導入
    PCのように
    自由に使える状態

    View full-size slide

  15. 利用デバイスの割合
    Copyright© HoloLab Inc. 2019 All rights reserved 17
    2018年
    全51案件
    2019年
    全73案件
    21件(41.2%) 21件(41.2%)
    9件(17.6%)
    49件(67.1%)
    8件(11%)
    4件(5.5%)
    12件(16.4%)

    View full-size slide

  16. 顧客業種の割合
    Copyright© HoloLab Inc. 2019 All rights reserved 18
    21件(41.2%)
    6件(11.8%) 1件(2%)
    11件(21.6%)
    12件(23.5%)
    2018年
    全51案件
    2019年
    全73案件
    10件(13.7%)
    11件(15.1%)
    8件(11%)
    11件(15.7%)
    33件(45.2%)

    View full-size slide

  17. 顧客業種の数
    Copyright© HoloLab Inc. 2019 All rights reserved 19

    View full-size slide

  18. Biz App
    (UWP)
    Domain
    Knowhow
    MRアプリ開発に必要な要素
    Copyright© HoloLab Inc. 2019 All rights reserved 20
    3D Engine 3DCG / CAD

    View full-size slide

  19. HoloLens 2事例
    Copyright© HoloLab Inc. 2019 All rights reserved 22

    View full-size slide

  20. 先行事例のご紹介
    • 製造業、インフラ業、建設業各社の事例をご紹介します
    • 先行研究開発、トレーニング、業務効率化
    • 昨年からの時間軸でPoCの規模感もイメージできると思います
    Copyright© HoloLab Inc. 2019 All rights reserved 23

    View full-size slide

  21. トヨタ自動車株式会社
    Copyright© HoloLab Inc. 2019 All rights reserved 24

    View full-size slide

  22. 目的
    • HoloLens 2への早期移植検討、MR x AIの実効性検証などトヨタ自動車
    の試行を先進的な技術開発力で支援する
    Copyright© HoloLab Inc. 2019 All rights reserved 25

    View full-size slide

  23. 作業確認モレ防止(MR x AI)
    Copyright© HoloLab Inc. 2019 All rights reserved 26
    試行中

    View full-size slide

  24. 課題
    人間の目では多くの部品を一目で確認できないため、思い込み、
    見落としが発生する
    →作業確認のモレを防ぎたい
    OK Error
    Copyright© HoloLab Inc. 2019 All rights reserved 27
    試行中

    View full-size slide

  25. 機械学習モデルを作成してのエラー推定
    Copyright© HoloLab Inc. 2019 All rights reserved 28
    試行中
    動画提供:トヨタ自動車株式会社

    View full-size slide

  26. de:code 2019展示アプリの
    HoloLens 2化とSpectatorView
    Copyright© HoloLab Inc. 2019 All rights reserved 29

    View full-size slide

  27. HoloLens 2の主観視点
    Copyright© HoloLab Inc. 2019 All rights reserved 30
    試行中
    動画提供:トヨタ自動車株式会社

    View full-size slide

  28. Spectator Viewによる第三者視点
    Copyright© HoloLab Inc. 2019 All rights reserved 31
    試行中
    動画提供:トヨタ自動車株式会社

    View full-size slide

  29. 変遷
    Copyright© HoloLab Inc. 2019 All rights reserved 32
    2019/1 ~ 2019/3
    PoC部分開発
    • MR+AI
    2019/5
    de:codeデモアプリとして統合
    ~ 2019/11
    • HoloLens 2版
    • SpectaroView対応
    試行中

    View full-size slide

  30. 三菱重工マリンマシナリ株式会社
    Copyright© HoloLab Inc. 2019 All rights reserved 33

    View full-size slide

  31. MET過給機のトレーニングアプリ
    Copyright© HoloLab Inc. 2019 All rights reserved 34

    View full-size slide

  32. 目的
    • MHI-MME過給機のコンセプト→メンテナンスのしやすさ
    • 社内だけでなくメンテナンス業者も触れるとこがポイント
    • メンテナンスマニュアル、メンテナンス動画の拡充をしている
    • その延長としてARのマニュアルを作り、より正確に作業を理解してもらう
    • これによって作業の間違いを減らす
    • トレーニングをオンサイトでもできるように
    • 海外のメンテナンス業者が日本で集合研修したあと、現地に戻ってからの棚卸
    • 海外に持っていくのは大変
    Copyright© HoloLab Inc. 2019 All rights reserved 35

    View full-size slide

  33. MET過給機のトレーニングアプリ
    Copyright© HoloLab Inc. 2019 All rights reserved 36
    試行中

    View full-size slide

  34. 変遷
    Copyright© HoloLab Inc. 2019 All rights reserved 37
    2019/1 ~ 2019/3
    PoC部分開発
    ・分解項目の一部分
    2019/5
    HoloLens 2ポーティングテスト
    ~ 2019/11
    HoloLens 2版
    • 分解項目全体
    試行中

    View full-size slide

  35. フォトグラメトリの試行
    Copyright© HoloLab Inc. 2019 All rights reserved 38
    MET過給機
    アプリケーション化
    3D CADデータからCGを作成
    フォトグラメトリ
    写真から3D CGを作成 アプリケーション化
    ※MHI様にて試行
    ※写真とモデルはイメージです

    View full-size slide

  36. HoloLens 2への期待値
    • トレーニングに留まらず、軽量化、装着性を踏まえると、
    実作業での活用が目標にはなります
    Copyright© HoloLab Inc. 2019 All rights reserved 39

    View full-size slide

  37. 株式会社JR東日本情報システム
    Copyright© HoloLab Inc. 2019 All rights reserved 40

    View full-size slide

  38. 転てつ機のトレーニングアプリ
    Copyright© HoloLab Inc. 2019 All rights reserved 41
    試行中

    View full-size slide

  39. 目的
    • 研修所に行かなくても実物のサイズ感で動き回りながらトレーニング
    ができること
    • 実体に近いものがあるので、会話しながらコツを伝える
    Copyright© HoloLab Inc. 2019 All rights reserved 42

    View full-size slide

  40. 構成
    Copyright© HoloLab Inc. 2019 All rights reserved 43
    同じ位置で同じ状況を共有する
    Azure Spatial Anchors
    iPad/Android
    HoloLens 2

    View full-size slide

  41. 動画
    Copyright© HoloLab Inc. 2019 All rights reserved 44
    試行中

    View full-size slide

  42. 変遷
    Copyright© HoloLab Inc. 2019 All rights reserved 45
    2018/8 ~ 2019/3
    PoC開発
    • 点検項目の一部分
    ~ 2019/11
    PoC開発
    • HoloLens 2対応
    • SpectaorView対応
    2019/6
    トレーニングテスト
    試行中

    View full-size slide

  43. トレーニングテスト時の感想(HoloLens 1)
    • 良い点
    • 作業の流れをいつでも訓練できる
    • 紙のマニュアルで分かりづらい場所の動きが理解しやすい
    • 座学よりわかりやすい
    • 紙の手順書では掘り出せなかった暗黙知がいろいろ出てくる
    • 改善点
    • 手を動かすことによって工具を動かしたい
    • 長時間の使用は重くて疲れる
    Copyright© HoloLab Inc. 2019 All rights reserved 46

    View full-size slide

  44. 東急建設株式会社
    Copyright© HoloLab Inc. 2019 All rights reserved 47

    View full-size slide

  45. BIMデータの活用
    Copyright© HoloLab Inc. 2019 All rights reserved 48
    試行中

    View full-size slide

  46. 目的
    • BIMを活用した施工や検査の効率化
    • BIMの設計データを現実に重ねることで差異を見つけやすくする
    • BIMデータのプロパティを活用することで情報を素早く得る
    Copyright© HoloLab Inc. 2019 All rights reserved 49

    View full-size slide

  47. BIMデータの活用
    Copyright© HoloLab Inc. 2019 All rights reserved 50
    試行中

    View full-size slide

  48. HoloLens 2への期待
    • まず、視野の広さ、容量の大きさ、操作感には非常に期待しています。
    • 今までよりも没入感が向上し、使用出来なかった容量のデータが扱え
    ることや、iPhoneのように説明が不要な操作感が普及に繋がると考え
    ます。
    • また、今後の期待値として精度(個体差等の改善含む)の向上、
    外部環境(炎天下、雨天等)での利用が可能となる事、
    普及のためのコスト低減に期待しております。
    Copyright© HoloLab Inc. 2019 All rights reserved 51

    View full-size slide

  49. HoloLensプロジェクトを上手に進める
    Copyright© HoloLab Inc. 2019 All rights reserved 52

    View full-size slide

  50. 顧客における課題の共通項
    • 生産性向上
    • 労働人口の減少
    • 労働者の高齢化
    • 教育時間の減少
    • などなど
    Copyright© HoloLab Inc. 2019 All rights reserved 53

    View full-size slide

  51. 進みやすいケース
    • 顧客側に取りまとめ役の存在
    • 社内の理解
    • 現場の方の協力
    • HoloLensは現場の方の業務を助けるデバイス
    Copyright© HoloLab Inc. 2019 All rights reserved 54

    View full-size slide

  52. ブロック要素
    • 顧客担当の変更
    • 社内ネットワークへの導入
    • セキュリティ要件
    • MDM(Mobile Device Management)
    Copyright© HoloLab Inc. 2019 All rights reserved 55

    View full-size slide

  53. HoloLensがうまくハマるケース
    • トレーニング
    • 現場作業支援
    • マニュアル
    • レガシーな作業、モノに対してのマニュアル
    Copyright© HoloLab Inc. 2019 All rights reserved 56

    View full-size slide

  54. HoloLens 2について
    Copyright© HoloLab Inc. 2019 All rights reserved 57

    View full-size slide

  55. 概要
    • 2019年11月7日に出荷開始(日本含む)
    • 買い切りモデルで$3,500/38万3800円(税抜)
    Copyright© HoloLab Inc. 2019 All rights reserved 58

    View full-size slide

  56. 特長
    • 表示エリア面積2倍
    • 16:9から3:2になったため、縦の伸びが大きい
    • かぶりやすさ3倍
    • 数千人の頭のデータを取得し構造を作成、ユーザーテストの結果HoloLens 2の
    方がかぶりやすいと答えた人がHoloLens 1の3倍とのこと
    Copyright© HoloLab Inc. 2019 All rights reserved 59

    View full-size slide

  57. 表示エリア
    Copyright© HoloLab Inc. 2019 All rights reserved 60

    View full-size slide

  58. 表示エリア
    Copyright© HoloLab Inc. 2019 All rights reserved 61
    • 2m先にCUBEを配置したアプリをHoloLens 1 / HoloLens 2に配置

    View full-size slide

  59. 表示エリア
    • Mixed Reality Captureでは実際に見える範囲より広く撮影されるため、
    HoloLensにカメラをあてて撮影(今回はiPhoneで撮影)
    Copyright© HoloLab Inc. 2019 All rights reserved 62

    View full-size slide

  60. 表示エリア(HoloLens 2)
    • 2m先にCUBEを配置
    Copyright© HoloLab Inc. 2019 All rights reserved 63
    左目 右目
    20cm
    (Unity単位)
    160cm
    100cm

    View full-size slide

  61. 表示エリア(HoloLens 1/HoloLens 2)
    • 2m先にCUBEを配置
    Copyright© HoloLab Inc. 2019 All rights reserved 64
    20cm
    (Unity単位)
    約105cm
    HoloLens 1(右目) HoloLens 2 (右目)
    20cm
    (Unity単位)
    160cm
    100cm
    約60cm

    View full-size slide

  62. 表示エリア(HoloLens 1/HoloLens 2)
    • 1m先にCUBEを配置
    Copyright© HoloLab Inc. 2019 All rights reserved 65
    HoloLens 1(右目)
    20cm
    (Unity単位)
    約80cm
    20cm
    (Unity単位)
    約56cm
    HoloLens 2 (右目)
    約25cm 約45cm

    View full-size slide

  63. モデルの見え方
    Copyright© HoloLab Inc. 2019 All rights reserved 66
    HoloLens 1
    HoloLens 2

    View full-size slide

  64. かぶりやすさ
    Copyright© HoloLab Inc. 2019 All rights reserved 67

    View full-size slide

  65. かぶりやすさ
    Copyright© HoloLab Inc. 2019 All rights reserved 68
    • 多くの頭のサイズから開発し、ユーザーの総合評価で3倍とのこと
    • 重量バランスが改善されたため、重さの変化は少ないが軽く感じる
    • HoloLens 1/570g → HoloLens 2/566g

    View full-size slide

  66. 仕様と新機能
    Copyright© HoloLab Inc. 2019 All rights reserved 69

    View full-size slide

  67. 仕様概要
    コンピューター SOC Qualcomm Snapdragon 850
    HPU 第 2 世代 オーダーメイド ホログラフィック処理装置
    メモリ 4 GB
    ストレージ 64 GB
    Wi-Fi Wi-Fi: Wi-Fi 5 (802.11ac 2x2)
    Bluetooth 5.0
    USB USB Type-C
    サイズ 重量 566 g
    メガネ メガネの上に装着可能
    バッテリー バッテリー駆動時間 2 ~ 3 時間 (連続使用の場合)
    充電 USB-PD (急速充電の場合)
    Copyright© HoloLab Inc. 2019 All rights reserved 70
    https://www.microsoft.com/ja-jp/hololens/hardware

    View full-size slide

  68. 新機能
    • Hand tracking
    • Eye tracking
    • Windows Hello(虹彩認証)
    • USBホスト機能
    • キーボード、マウス、有線LAN、USBメモリなどが有線で接続可能
    • (ARM CPUのためか)デバイスドライバがないものもあるので、事前に確認する
    こと
    Copyright© HoloLab Inc. 2019 All rights reserved 71

    View full-size slide

  69. USBキーボード/マウス
    Copyright© HoloLab Inc. 2019 All rights reserved 72

    View full-size slide

  70. 新しいワークスタイル
    Copyright© HoloLab Inc. 2019 All rights reserved 73

    View full-size slide

  71. USBメモリ
    Copyright© HoloLab Inc. 2019 All rights reserved 74

    View full-size slide

  72. USB有線LAN
    Copyright© HoloLab Inc. 2019 All rights reserved 75

    View full-size slide

  73. USBハブ
    Copyright© HoloLab Inc. 2019 All rights reserved 76
    • USBハブ経由での充電も可能

    View full-size slide

  74. QRコードの読み取り
    Copyright© HoloLab Inc. 2019 All rights reserved 77

    View full-size slide

  75. Hand Mesh/Hand Joint
    Copyright© HoloLab Inc. 2019 All rights reserved 78

    View full-size slide

  76. Hand Mesh/Hand Joint
    Hand Joint
    Hand Mesh
    あり なし
    あり
    なし
    Copyright© HoloLab Inc. 2019 All rights reserved 79

    View full-size slide

  77. Hand Mesh/Hand Joint
    Copyright© HoloLab Inc. 2019 All rights reserved 80

    View full-size slide

  78. Render from Camera
    Copyright© HoloLab Inc. 2019 All rights reserved 83

    View full-size slide

  79. Render from Camera
    Copyright© HoloLab Inc. 2019 All rights reserved 84
    • Mixed Reality Capture撮影時にカメラとアプリ描画のズレを補正する
    • 撮影時のチェックとコードでの設定追加により有効化される
    • コード部分はMRTK v2.2.0で対応予定

    View full-size slide

  80. Render from Camera
    Copyright© HoloLab Inc. 2019 All rights reserved 85
    Render from Camera 無効 Render from Camera 有効

    View full-size slide

  81. Render from Camera
    Copyright© HoloLab Inc. 2019 All rights reserved 86
    https://github.com/MicrosoftDocs/mixed-reality/blob/master/mixed-reality-docs/mixed-reality-capture-for-developers.md#enabling-improved-alignment-for-mrc-in-your-app
    コード側の準備
    // MRCでのカメラ映像とアプリの描画のずれをなくす
    var display = Windows.Graphics.Holographic.HolographicDisplay.GetDefault();
    var viewConfiguration = display.TryGetViewConfiguration(
    Windows.Graphics.Holographic.HolographicViewConfigurationKind.PhotoVideoCamera);
    if (viewConfiguration == null)
    {
    Debug.LogWarning("ViewConfiguration is not available.");
    return;
    }
    viewConfiguration.IsEnabled = true;
    // Lighting/Environment/SkyBoxMaterialを無効にする。
    // 有効なままRenderFromCameraを使用すると,MRCにSkyBoxが映り込む。
    if (disableSkyBoxMaterial)
    {
    RenderSettings.skybox = null;
    }

    View full-size slide

  82. Eye Tracking
    Copyright© HoloLab Inc. 2019 All rights reserved 87

    View full-size slide

  83. アイトラッキング
    • 視線がとれるので目を使った操作が可能
    • 個人的には慣れないので結構疲れる
    • 一般的に販売されているグラス型アイトラッキングデバイスと比べて
    価格が非常に安い
    Copyright© HoloLab Inc. 2019 All rights reserved 88

    View full-size slide

  84. Eye tracking
    Copyright© HoloLab Inc. 2019 All rights reserved 90

    View full-size slide

  85. Eye tracking
    Copyright© HoloLab Inc. 2019 All rights reserved 91

    View full-size slide

  86. 視線調整
    Copyright© HoloLab Inc. 2019 All rights reserved 92
    • アイトラッキングを行うときは視線のキャリブレーションをしておく
    • 設定 → システム → 調整 → 視線調整の実行

    View full-size slide

  87. 性能(参考情報)
    Copyright© HoloLab Inc. 2019 All rights reserved 94

    View full-size slide

  88. 性能(参考情報)
    • 体感でFPSがおおよそ1.5倍から2倍に向上
    • ARM32とARM64でも性能に大きな違いはなさそう
    Copyright© HoloLab Inc. 2019 All rights reserved 95
    HoloLens 1(x86) + Unity2019
    • およそ25FPS
    HoloLens 2(ARM32) + Unity 2019
    • およそ35~40FPS

    View full-size slide

  89. まとめ
    • HoloLens 2ハードウェアは順当に進化をしている
    • HoloLens 1のときから期待をして投資を行っている企業が実運用
    フェーズ目指して進んでいる
    Copyright© HoloLab Inc. 2019 All rights reserved 96

    View full-size slide

  90. そう!あの日ですよ!ということで豪華3本立て!
    1月18日が何か覚えてますか?
    ◼ HoloLens 2 HackDay2019 in Tokyo 2020/01/17 13:00 ~17:00
    ✓ HoloLens 2 ハックできちゃいます!
    ✓ https://hololens.connpass.com/event/157969/
    ◼ Tokyo HoloLens ミートアップ vol.19 2020/01/17 19:00 ~22:00
    日本上陸3周年&Holo2発売記念!
    ✓ 豪華ゲスト陣の登壇と宴!
    ✓ https://hololens.connpass.com/event/157968/
    ◼ HoloLens 2 体験会 in Tokyo 2020/01/18 10:00 ~18:00
    ✓ HoloLens 2 体験できちゃいます!
    ✓ https://hololens.connpass.com/event/157976/

    View full-size slide