HoloLens 2概要

A645e7c3a6635ead8fa323c583769591?s=47 HoloLab
May 29, 2019

HoloLens 2概要

2019/5/29開催 de:code 2019 CM02 HoloLens 2概要のスライドです
https://www.microsoft.com/ja-jp/events/decode/2019session/detail.aspx?sid=CM02&tk=CM

A645e7c3a6635ead8fa323c583769591?s=128

HoloLab

May 29, 2019
Tweet

Transcript

  1. de:code 2019 HoloLens 2 アプリ開発 CM02 中村 薫 株式会社ホロラボ 代表取締役

    CEO 加藤 広務 プログラマー
  2. 会社紹介 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18

    住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/
  3. 自己紹介

  4. 2019/5/2~3 MR Dev Days@Redmond

  5. 明日もお待ちしています! DAY2 ( 5 月 30 日 ) 10:50 -

    11:40 DAY2 ( 5 月 30 日 ) 15:10 - 15:30
  6. 注意

  7. アジェンダ

  8. ホロラボでのHoloLens事例

  9. 三菱重工マリンマシナリ(MHI-MME)様向け 過給機トレーニング

  10. ねらい

  11. MHI-MME様過給機アプリのHoloLens 2化

  12. トヨタ自動車様向け作業確認モレ防止(MR+AI)

  13. 課題 OK Error

  14. 機械学習モデルを作成してのエラー推定

  15. ※この動画は開発中のものです トヨタ自動車様展示アプリのHoloLens 2化

  16. ご案内 – 講演およびEXPO体験ブース DAY2 ( 5 月 30 日 )

    9:30 - 10:20 展示はHoloLens 1です
  17. mixpace – ホロラボ自社サービス

  18. mixpaceのフロー

  19. ご案内 –EXPO体験ブース

  20. HoloLens 2の概要

  21. KEY INNOVATIONS 没入感の向上 視野角 2X 快適性の向上 快適性が3X に向上 価値創造時間の短縮 数か月から数分に短縮

    ハンドトラッキング Windows Hello & アイトラッキ ング 重量バランス フリップアップバイザー Dynamics 365 ビジネスアプリ 3rd パーティ ソリューション
  22. HoloLens 1とHoloLens 2の 同異点

  23. 視野角

  24. 装着

  25. ゲイズ(Gaze)

  26. ジェスチャー

  27. HoloLens 2の開発環境

  28. 開発環境 Unity 2018 Unity 2019 Unity Unity 2018.3.xまたは Unity 2018.4.x

    Unity 2019以降 Visual Studio Visual Studio 2017以降 Visual Studio 2017以降 Windows SDK 18362 18362 サポート環境 ARM ARM, ARM64 バックエンド .NET, IL2CPP IL2CPP ネットワーク UNET --- MRTK MRTK v2 MRTK v2
  29. 開発環境選定の方針

  30. HoloLens 1のアプリを HoloLens 2に移植する

  31. HL1からHL2機能へ移植する https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-porting-guide

  32. ポイント

  33. 現状の注意点

  34. ハードウェアの違いについて HoloLens 1 HoloLens 2 CPU X86 ARM アプリ使用可能メモリ量 900MB

    2048MB
  35. UI/UXの違いについて

  36. if else if else if else DLLのHoloLens 2対応について

  37. HoloLens 1とHoloLens 2をアプリから識別する var 値 ターゲット 備考 X86 HoloLens 1

    Arm HoloLens 2 Arm64 HoloLens 2 OSやSDKのバージョンが古い場合、「12」という数値で返る https://docs.microsoft.com/en-us/uwp/api/windows.system.processorarchitecture
  38. 移植の戦略

  39. 移植の戦略

  40. 移植含めたアプリの考慮事項

  41. ポーティングケーススタディ – トヨタ様デモアプリ

  42. ポーティングケーススタディ– ポーティングの挑戦 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/HTKToMRTKPortingGuide.html

  43. ポーティングケーススタディ– 手順

  44. ポーティングケーススタディ – 今回の影響範囲 修正箇所 該当箇所 修正候補 難易度 Unity エディタ(GameObject関連) カメラ

    Configration 低 マテリアル 付けなおし 低 HandDraggable IMixedRealityPointerHandler 中 UI(Tagalong, Billboard) RadialView や Orbital Solver 中 その他、GameObjectにスクリプトが関連付 けられてる場所(HTKかどうかにかかわらず) 付けなおし 低 Visual Studio(コード関連) HoloToolkitの名前空間 削除 低 IInputClickHandler IMixedRealityPointerHandler 低 HandDraggable ManipulationHandler 中 InputManager InputSystem 中 WorldAnchorManager Unity のSDKレベルで差し替え 高 ※:今回は難易度低のみでポーティング作業を一時中断した
  45. ポーティングケーススタディ – MRTK未対応機能

  46. HoloLens 2専用アプリの 新規開発方法

  47. 注意 Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0-RC1-Refreshは

    以降 MRTK Foundationと表記 • Microsoft.MixedReality.Toolkit.Unity.Examples-v2.0.0-RC1-Refreshは 以降 MRTK Examplesと表記
  48. Mixed Reality Toolkit https://github.com/microsoft/MixedRealityToolkit-Unity

  49. MRTK ロードマップ Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap

  50. MRTK ロードマップ https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap

  51. 開発環境

  52. HoloLens 2 emulator エミュレータのダウンロード https://docs.microsoft.com/en-us/windows/mixed-reality/using-the- hololens-emulator HoloLens 2 Emulator and

    holographic project templates から https://docs.microsoft.com/en-us/windows/mixed-reality/using-the-hololens-emulator
  53. Hyper-Vの有効化 https://docs.microsoft.com/ja-jp/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v

  54. HoloLens 2 emulatorの実行 エミュレータの実行 UWPのプロジェクトファイルの実行環境からHoloLens 2 Emulatorを選択する デバッグ -> デバッグの開始でエミュレータが起動する

  55. HoloLens 2 emulatorの実行

  56. HoloLens 2 emulatorの操作 操作 マウス&キーボード Xboxコントローラ 前後左右への移動 W,A,S,Dキー 左スティック カメラの移動

    マウスドラッグ, カーソルキー 右スティック エアタップ 右クリック, エンターキー Aボタン ブルーム/システムジェスチャー Windowsキー, F2キー Bボタン スクロールのための手の動き Altキーとマウス右ボタンを押しながら マウスを上下に移動 右トリガーとAボタンを押しながら 右スティックを上下に移動 手の動きと回転(HoloLens 2 Emulator のみ) Altキーを押しながらマウスを上下左右に移 動(手を動かす),カーソルキーとQ / Eキー(回転, 傾き) LBまたはRBを押しながら左スティック(手を前 後左右に動かす), 右スティック(回転),方向 パッド上下(手を上げ下げ)
  57. MRTKの特徴 • Core Package • Platform Providers • System Services

    • Feature Assets https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Packaging/MRTK_Packages.html
  58. MRTKの特徴 Feature Assets 一般的にはSDK(および一部のServices)を 利用するだけでアプリケーションを構築可能 Core Package Platform Providers System

    Services 様々なサンプル
  59. MRTK Examples MixedRealityToolkit.Examples のDemos配下に31個のシーンが 用意されている

  60. MRTK Examples 各シーンには概要および、対応プラットフォームが記載され たパネルが配置されている(パネルが無いシーンも一部あり)

  61. MRTK Examples

  62. MRTK Examples

  63. MRTK Examples ※Unityエディタ上では視覚化の確認できず

  64. MRTK Examples

  65. MRTK Examples

  66. MRTK Examples

  67. MRTK Examples

  68. MRTK Examples

  69. MRTK Examples ¥GltfModels¥Lantern¥glTF¥Lantern.gltf https://raw.githubusercontent.com/KhronosGroup/glTF- Sample-Models/master/2.0/BoomBox/glTF- Binary/BoomBox.glb

  70. MRTK Examples

  71. MRTK Examples

  72. MRTK Examples

  73. MRTK Examples

  74. MRTK Examples

  75. MRTK Examples

  76. MRTK Examples

  77. MRTK Examples

  78. MRTK Examples

  79. MRTK Examples

  80. MRTK Examples

  81. MRTK Examples

  82. MRTK Examples

  83. MRTK Examples

  84. MRTK Examples

  85. MRTK Examples

  86. MRTK Examples

  87. MRTK Examples

  88. アプリ実装 • Unityでプロジェクトを新規作成 • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0- RC1-Refresh.unitypackage インポート

  89. アプリ実装 • プロファイル選択画面が表示された場合(新規でシーンを作成した場 合)は DefaultMixedRealityToolkitConfigurationProfile を選択 (プロファイルについては後述)

  90. アプリ実装

  91. アプリ実装

  92. ビルド 参考: Unity UWP Build: Reference Rewriter found some errors#3939

    https://github.com/microsoft/MixedRealityTool kit-Unity/issues/3939 Unityのバグにより起こるエラーのようですが、無視して も問題ないと記載されています
  93. ビルド

  94. プロファイル MRTKはProfileで設定を構築していく Mixed Reality Toolkit configuration guide ←プロファイル設定

  95. プロファイル

  96. プロファイル • 設定内容はassetファイルとして保存されるため一度構築することで 再利用も可能 継承関係 ScriptableObject └ BaseMixedRealityProfile └ MixedRealityToolkitConfigurationProfile

  97. プロファイル 主要なプロファイル

  98. プロファイル

  99. プロファイル

  100. プロファイル Pointer Profile Input Actions Profile Input Action Rules Profile

    Controller Mapping Profile 入力をアクションに紐づける 特定の基準に基づいてアクションを発生させる ポインタの設定 コントローラマッピングの設定
  101. プロファイル Controller Visualization Profile Gesture Profile Speech Commands Profile Hand

    Tracking Profile コントローラ視覚化の設定 ジェスチャーの設定 音声コマンドの設定 ハンドトラッキングの設定
  102. プロファイル

  103. プロファイル

  104. プロファイル

  105. ハンドトラッキング実装サンプル

  106. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_BasicSetup.html

  107. アイトラッキング実装サンプル

  108. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_EyeGazeProvider.html

  109. 参考:公式チュートリアル MR Learning ベースのモジュールのプロジェクトの初期化と最初のアプリケーション https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch1 MR Learning ベースのモジュールのユーザー インターフェイスでは、手 Tracking、および現実ツールキットの構成を

    混在 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch2 動的なコンテンツの配置とソルバー MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch3 MR Learning ベースのモジュールの 3D オブジェクトの相互作用 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch4 入力を高度な MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch5 MR Learning ベース モジュール - 旧暦モジュール アセンブリ サンプル エクスペリエンス https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch6
  110. 参考:IL2CPPデバッグ方法 UnityのIL2CPPプロジェクトをC#デバッグする方法 http://www.hiromukato.com/entry/2019/03/24/200057

  111. Unreal Engine 4 Holographic Remoting Player Microsoft Windows Mixed Reality

    Windows Mixed Reality を選択 https://qiita.com/EGJ-Axel_Riffard/items/58799a1dd1db0e9e7351
  112. Unreal Engine 4 • アプリ実装方法(2019年5月に公開される予定) • 現時点では公開されていないがBuildにて以下セッション が公開されている Intro to

    Building Mixed Reality Apps with Unreal Engine 4
  113. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019

    Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。