HoloLens 2概要

Transcript

1. de:code 2019 HoloLens 2 アプリ開発 CM02 中村 薫 株式会社ホロラボ 代表取締役

   CEO 加藤 広務 プログラマー

2. 会社紹介 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム／アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18

   住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/

3. 自己紹介

4. 2019/5/2~3 MR Dev Days@Redmond

5. 明日もお待ちしています！ DAY2 ( 5 月 30 日 ) 10:50 -

   11:40 DAY2 ( 5 月 30 日 ) 15:10 - 15:30

6. 注意

7. アジェンダ

8. ホロラボでのHoloLens事例

9. 三菱重工マリンマシナリ(MHI-MME)様向け 過給機トレーニング

10. ねらい

11. MHI-MME様過給機アプリのHoloLens 2化

12. トヨタ自動車様向け作業確認モレ防止(MR+AI)

13. 課題 OK Error

14. 機械学習モデルを作成してのエラー推定

15. ※この動画は開発中のものです トヨタ自動車様展示アプリのHoloLens 2化

16. ご案内 – 講演およびEXPO体験ブース DAY2 ( 5 月 30 日 )

    9:30 - 10:20 展示はHoloLens 1です

17. mixpace – ホロラボ自社サービス

18. mixpaceのフロー

19. ご案内 –EXPO体験ブース

20. HoloLens 2の概要

21. KEY INNOVATIONS 没入感の向上 視野角 2X 快適性の向上 快適性が3X に向上 価値創造時間の短縮 数か月から数分に短縮

    ハンドトラッキング Windows Hello ＆ アイトラッキ ング 重量バランス フリップアップバイザー Dynamics 365 ビジネスアプリ 3rd パーティ ソリューション

22. HoloLens 1とHoloLens 2の 同異点

23. 視野角

24. 装着

25. ゲイズ(Gaze)

26. ジェスチャー

27. HoloLens 2の開発環境

28. 開発環境 Unity 2018 Unity 2019 Unity Unity 2018.3.xまたは Unity 2018.4.x

    Unity 2019以降 Visual Studio Visual Studio 2017以降 Visual Studio 2017以降 Windows SDK 18362 18362 サポート環境 ARM ARM, ARM64 バックエンド .NET, IL2CPP IL2CPP ネットワーク UNET --- MRTK MRTK v2 MRTK v2

29. 開発環境選定の方針

30. HoloLens 1のアプリを HoloLens 2に移植する

31. HL1からHL2機能へ移植する https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-porting-guide

32. ポイント

33. 現状の注意点

34. ハードウェアの違いについて HoloLens 1 HoloLens 2 CPU X86 ARM アプリ使用可能メモリ量 900MB

    2048MB

35. UI/UXの違いについて

36. if else if else if else DLLのHoloLens 2対応について

37. HoloLens 1とHoloLens 2をアプリから識別する var 値 ターゲット 備考 X86 HoloLens 1

    Arm HoloLens 2 Arm64 HoloLens 2 OSやSDKのバージョンが古い場合、「12」という数値で返る https://docs.microsoft.com/en-us/uwp/api/windows.system.processorarchitecture

38. 移植の戦略

39. 移植の戦略

40. 移植含めたアプリの考慮事項

41. ポーティングケーススタディ – トヨタ様デモアプリ

42. ポーティングケーススタディ– ポーティングの挑戦 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/HTKToMRTKPortingGuide.html

43. ポーティングケーススタディ– 手順

44. ポーティングケーススタディ – 今回の影響範囲 修正箇所 該当箇所 修正候補 難易度 Unity エディタ(GameObject関連) カメラ

    Configration 低 マテリアル 付けなおし 低 HandDraggable IMixedRealityPointerHandler 中 UI(Tagalong, Billboard) RadialView や Orbital Solver 中 その他、GameObjectにスクリプトが関連付 けられてる場所(HTKかどうかにかかわらず) 付けなおし 低 Visual Studio(コード関連) HoloToolkitの名前空間 削除 低 IInputClickHandler IMixedRealityPointerHandler 低 HandDraggable ManipulationHandler 中 InputManager InputSystem 中 WorldAnchorManager Unity のSDKレベルで差し替え 高 ※：今回は難易度低のみでポーティング作業を一時中断した

45. ポーティングケーススタディ – MRTK未対応機能

46. HoloLens 2専用アプリの 新規開発方法

47. 注意 Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0-RC1-Refreshは

    以降 MRTK Foundationと表記 • Microsoft.MixedReality.Toolkit.Unity.Examples-v2.0.0-RC1-Refreshは 以降 MRTK Examplesと表記

48. Mixed Reality Toolkit https://github.com/microsoft/MixedRealityToolkit-Unity

49. MRTK ロードマップ Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap

50. MRTK ロードマップ https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap

51. 開発環境

52. HoloLens 2 emulator エミュレータのダウンロード https://docs.microsoft.com/en-us/windows/mixed-reality/using-the- hololens-emulator HoloLens 2 Emulator and

    holographic project templates から https://docs.microsoft.com/en-us/windows/mixed-reality/using-the-hololens-emulator

53. Hyper-Vの有効化 https://docs.microsoft.com/ja-jp/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v

54. HoloLens 2 emulatorの実行 エミュレータの実行 UWPのプロジェクトファイルの実行環境からHoloLens 2 Emulatorを選択する デバッグ -> デバッグの開始でエミュレータが起動する

55. HoloLens 2 emulatorの実行

56. HoloLens 2 emulatorの操作 操作 マウス＆キーボード Xboxコントローラ 前後左右への移動 W,A,S,Dキー 左スティック カメラの移動

    マウスドラッグ, カーソルキー 右スティック エアタップ 右クリック, エンターキー Aボタン ブルーム/システムジェスチャー Windowsキー, F2キー Bボタン スクロールのための手の動き Altキーとマウス右ボタンを押しながら マウスを上下に移動 右トリガーとAボタンを押しながら 右スティックを上下に移動 手の動きと回転(HoloLens 2 Emulator のみ) Altキーを押しながらマウスを上下左右に移 動(手を動かす),カーソルキーとQ / Eキー(回転, 傾き) LBまたはRBを押しながら左スティック(手を前 後左右に動かす), 右スティック(回転),方向 パッド上下(手を上げ下げ)

57. MRTKの特徴 • Core Package • Platform Providers • System Services

    • Feature Assets https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Packaging/MRTK_Packages.html

58. MRTKの特徴 Feature Assets 一般的にはSDK(および一部のServices)を 利用するだけでアプリケーションを構築可能 Core Package Platform Providers System

    Services 様々なサンプル

59. MRTK Examples MixedRealityToolkit.Examples のDemos配下に31個のシーンが 用意されている

60. MRTK Examples 各シーンには概要および、対応プラットフォームが記載され たパネルが配置されている（パネルが無いシーンも一部あり）

61. MRTK Examples

62. MRTK Examples

63. MRTK Examples ※Unityエディタ上では視覚化の確認できず

64. MRTK Examples

65. MRTK Examples

66. MRTK Examples

67. MRTK Examples

68. MRTK Examples

69. MRTK Examples ¥GltfModels¥Lantern¥glTF¥Lantern.gltf https://raw.githubusercontent.com/KhronosGroup/glTF- Sample-Models/master/2.0/BoomBox/glTF- Binary/BoomBox.glb

70. MRTK Examples

71. MRTK Examples

72. MRTK Examples

73. MRTK Examples

74. MRTK Examples

75. MRTK Examples

76. MRTK Examples

77. MRTK Examples

78. MRTK Examples

79. MRTK Examples

80. MRTK Examples

81. MRTK Examples

82. MRTK Examples

83. MRTK Examples

84. MRTK Examples

85. MRTK Examples

86. MRTK Examples

87. MRTK Examples

88. アプリ実装 • Unityでプロジェクトを新規作成 • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0- RC1-Refresh.unitypackage インポート

89. アプリ実装 • プロファイル選択画面が表示された場合(新規でシーンを作成した場 合)は DefaultMixedRealityToolkitConfigurationProfile を選択 (プロファイルについては後述)

90. アプリ実装

91. アプリ実装

92. ビルド 参考： Unity UWP Build: Reference Rewriter found some errors#3939

    https://github.com/microsoft/MixedRealityTool kit-Unity/issues/3939 Unityのバグにより起こるエラーのようですが、無視して も問題ないと記載されています

93. ビルド

94. プロファイル MRTKはProfileで設定を構築していく Mixed Reality Toolkit configuration guide ←プロファイル設定

95. プロファイル

96. プロファイル • 設定内容はassetファイルとして保存されるため一度構築することで 再利用も可能 継承関係 ScriptableObject └ BaseMixedRealityProfile └ MixedRealityToolkitConfigurationProfile

97. プロファイル 主要なプロファイル

98. プロファイル

99. プロファイル

100. プロファイル Pointer Profile Input Actions Profile Input Action Rules Profile

     Controller Mapping Profile 入力をアクションに紐づける 特定の基準に基づいてアクションを発生させる ポインタの設定 コントローラマッピングの設定

101. プロファイル Controller Visualization Profile Gesture Profile Speech Commands Profile Hand

     Tracking Profile コントローラ視覚化の設定 ジェスチャーの設定 音声コマンドの設定 ハンドトラッキングの設定

102. プロファイル

103. プロファイル

104. プロファイル

105. ハンドトラッキング実装サンプル

106. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_BasicSetup.html

107. アイトラッキング実装サンプル

108. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_EyeGazeProvider.html

109. 参考：公式チュートリアル MR Learning ベースのモジュールのプロジェクトの初期化と最初のアプリケーション https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch1 MR Learning ベースのモジュールのユーザー インターフェイスでは、手 Tracking、および現実ツールキットの構成を

     混在 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch2 動的なコンテンツの配置とソルバー MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch3 MR Learning ベースのモジュールの 3D オブジェクトの相互作用 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch4 入力を高度な MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch5 MR Learning ベース モジュール - 旧暦モジュール アセンブリ サンプル エクスペリエンス https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch6

110. 参考：IL2CPPデバッグ方法 UnityのIL2CPPプロジェクトをC#デバッグする方法 http://www.hiromukato.com/entry/2019/03/24/200057

111. Unreal Engine 4 Holographic Remoting Player Microsoft Windows Mixed Reality

     Windows Mixed Reality を選択 https://qiita.com/EGJ-Axel_Riffard/items/58799a1dd1db0e9e7351

112. Unreal Engine 4 • アプリ実装方法(2019年5月に公開される予定) • 現時点では公開されていないがBuildにて以下セッション が公開されている Intro to

     Building Mixed Reality Apps with Unreal Engine 4

113. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019

     Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。