HoloLens 2概要

2019/5/29開催 de:code 2019 CM02 HoloLens 2概要のスライドです
https://www.microsoft.com/ja-jp/events/decode/2019session/detail.aspx?sid=CM02&tk=CM

Transcript

1. de:code 2019 HoloLens 2 アプリ開発 CM02 中村 薫 株式会社ホロラボ 代表取締役 CEO 加藤 広務 プログラマー
2. 会社紹介 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム／アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 30,000,000円 取締役 5名 従業員 16名 Web https://hololab.co.jp/
3. 自己紹介
4. 2019/5/2~3 MR Dev Days@Redmond
5. 明日もお待ちしています！ DAY2 ( 5 月 30 日 ) 10:50 - 11:40 DAY2 ( 5 月 30 日 ) 15:10 - 15:30
6. 注意
7. アジェンダ
8. ホロラボでのHoloLens事例
9. 三菱重工マリンマシナリ(MHI-MME)様向け 過給機トレーニング
10. ねらい
11. MHI-MME様過給機アプリのHoloLens 2化
12. トヨタ自動車様向け作業確認モレ防止(MR+AI)
13. 課題 OK Error
14. 機械学習モデルを作成してのエラー推定
15. ※この動画は開発中のものです トヨタ自動車様展示アプリのHoloLens 2化
16. ご案内 – 講演およびEXPO体験ブース DAY2 ( 5 月 30 日 ) 9:30 - 10:20 展示はHoloLens 1です
17. mixpace – ホロラボ自社サービス
18. mixpaceのフロー
19. ご案内 –EXPO体験ブース
20. HoloLens 2の概要
21. KEY INNOVATIONS 没入感の向上 視野角 2X 快適性の向上 快適性が3X に向上 価値創造時間の短縮 数か月から数分に短縮 ハンドトラッキング Windows Hello ＆ アイトラッキ ング 重量バランス フリップアップバイザー Dynamics 365 ビジネスアプリ 3rd パーティ ソリューション
22. HoloLens 1とHoloLens 2の 同異点
23. 視野角
24. 装着
25. ゲイズ(Gaze)
26. ジェスチャー
27. HoloLens 2の開発環境
28. 開発環境 Unity 2018 Unity 2019 Unity Unity 2018.3.xまたは Unity 2018.4.x Unity 2019以降 Visual Studio Visual Studio 2017以降 Visual Studio 2017以降 Windows SDK 18362 18362 サポート環境 ARM ARM, ARM64 バックエンド .NET, IL2CPP IL2CPP ネットワーク UNET --- MRTK MRTK v2 MRTK v2
29. 開発環境選定の方針
30. HoloLens 1のアプリを HoloLens 2に移植する
31. HL1からHL2機能へ移植する https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-porting-guide
32. ポイント
33. 現状の注意点
34. ハードウェアの違いについて HoloLens 1 HoloLens 2 CPU X86 ARM アプリ使用可能メモリ量 900MB 2048MB
35. UI/UXの違いについて
36. if else if else if else DLLのHoloLens 2対応について
37. HoloLens 1とHoloLens 2をアプリから識別する var 値 ターゲット 備考 X86 HoloLens 1 Arm HoloLens 2 Arm64 HoloLens 2 OSやSDKのバージョンが古い場合、「12」という数値で返る https://docs.microsoft.com/en-us/uwp/api/windows.system.processorarchitecture
38. 移植の戦略
39. 移植の戦略
40. 移植含めたアプリの考慮事項
41. ポーティングケーススタディ – トヨタ様デモアプリ
42. ポーティングケーススタディ– ポーティングの挑戦 https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/HTKToMRTKPortingGuide.html
43. ポーティングケーススタディ– 手順
44. ポーティングケーススタディ – 今回の影響範囲 修正箇所 該当箇所 修正候補 難易度 Unity エディタ(GameObject関連) カメラ Configration 低 マテリアル 付けなおし 低 HandDraggable IMixedRealityPointerHandler 中 UI(Tagalong, Billboard) RadialView や Orbital Solver 中 その他、GameObjectにスクリプトが関連付 けられてる場所(HTKかどうかにかかわらず) 付けなおし 低 Visual Studio(コード関連) HoloToolkitの名前空間 削除 低 IInputClickHandler IMixedRealityPointerHandler 低 HandDraggable ManipulationHandler 中 InputManager InputSystem 中 WorldAnchorManager Unity のSDKレベルで差し替え 高 ※：今回は難易度低のみでポーティング作業を一時中断した
45. ポーティングケーススタディ – MRTK未対応機能
46. HoloLens 2専用アプリの 新規開発方法
47. 注意 Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0-RC1-Refreshは 以降 MRTK Foundationと表記 • Microsoft.MixedReality.Toolkit.Unity.Examples-v2.0.0-RC1-Refreshは 以降 MRTK Examplesと表記
48. Mixed Reality Toolkit https://github.com/microsoft/MixedRealityToolkit-Unity
49. MRTK ロードマップ Microsoft Mixed Reality Toolkit v2.0.0 RC1 Refresh https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap
50. MRTK ロードマップ https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Contributing/Roadmap.html?q=roadmap
51. 開発環境
52. HoloLens 2 emulator エミュレータのダウンロード https://docs.microsoft.com/en-us/windows/mixed-reality/using-the- hololens-emulator HoloLens 2 Emulator and holographic project templates から https://docs.microsoft.com/en-us/windows/mixed-reality/using-the-hololens-emulator
53. Hyper-Vの有効化 https://docs.microsoft.com/ja-jp/virtualization/hyper-v-on-windows/quick-start/enable-hyper-v
54. HoloLens 2 emulatorの実行 エミュレータの実行 UWPのプロジェクトファイルの実行環境からHoloLens 2 Emulatorを選択する デバッグ -> デバッグの開始でエミュレータが起動する
55. HoloLens 2 emulatorの実行
56. HoloLens 2 emulatorの操作 操作 マウス＆キーボード Xboxコントローラ 前後左右への移動 W,A,S,Dキー 左スティック カメラの移動 マウスドラッグ, カーソルキー 右スティック エアタップ 右クリック, エンターキー Aボタン ブルーム/システムジェスチャー Windowsキー, F2キー Bボタン スクロールのための手の動き Altキーとマウス右ボタンを押しながら マウスを上下に移動 右トリガーとAボタンを押しながら 右スティックを上下に移動 手の動きと回転(HoloLens 2 Emulator のみ) Altキーを押しながらマウスを上下左右に移 動(手を動かす),カーソルキーとQ / Eキー(回転, 傾き) LBまたはRBを押しながら左スティック(手を前 後左右に動かす), 右スティック(回転),方向 パッド上下(手を上げ下げ)
57. MRTKの特徴 • Core Package • Platform Providers • System Services • Feature Assets https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/Packaging/MRTK_Packages.html
58. MRTKの特徴 Feature Assets 一般的にはSDK(および一部のServices)を 利用するだけでアプリケーションを構築可能 Core Package Platform Providers System Services 様々なサンプル
59. MRTK Examples MixedRealityToolkit.Examples のDemos配下に31個のシーンが 用意されている
60. MRTK Examples 各シーンには概要および、対応プラットフォームが記載され たパネルが配置されている（パネルが無いシーンも一部あり）
61. MRTK Examples
62. MRTK Examples
63. MRTK Examples ※Unityエディタ上では視覚化の確認できず
64. MRTK Examples
65. MRTK Examples
66. MRTK Examples
67. MRTK Examples
68. MRTK Examples
69. MRTK Examples ¥GltfModels¥Lantern¥glTF¥Lantern.gltf https://raw.githubusercontent.com/KhronosGroup/glTF- Sample-Models/master/2.0/BoomBox/glTF- Binary/BoomBox.glb
70. MRTK Examples
71. MRTK Examples
72. MRTK Examples
73. MRTK Examples
74. MRTK Examples
75. MRTK Examples
76. MRTK Examples
77. MRTK Examples
78. MRTK Examples
79. MRTK Examples
80. MRTK Examples
81. MRTK Examples
82. MRTK Examples
83. MRTK Examples
84. MRTK Examples
85. MRTK Examples
86. MRTK Examples
87. MRTK Examples
88. アプリ実装 • Unityでプロジェクトを新規作成 • Microsoft.MixedReality.Toolkit.Unity.Foundation-v2.0.0- RC1-Refresh.unitypackage インポート
89. アプリ実装 • プロファイル選択画面が表示された場合(新規でシーンを作成した場 合)は DefaultMixedRealityToolkitConfigurationProfile を選択 (プロファイルについては後述)
90. アプリ実装
91. アプリ実装
92. ビルド 参考： Unity UWP Build: Reference Rewriter found some errors#3939 https://github.com/microsoft/MixedRealityTool kit-Unity/issues/3939 Unityのバグにより起こるエラーのようですが、無視して も問題ないと記載されています
93. ビルド
94. プロファイル MRTKはProfileで設定を構築していく Mixed Reality Toolkit configuration guide ←プロファイル設定
95. プロファイル
96. プロファイル • 設定内容はassetファイルとして保存されるため一度構築することで 再利用も可能 継承関係 ScriptableObject └ BaseMixedRealityProfile └ MixedRealityToolkitConfigurationProfile
97. プロファイル 主要なプロファイル
98. プロファイル
99. プロファイル
100. プロファイル Pointer Profile Input Actions Profile Input Action Rules Profile Controller Mapping Profile 入力をアクションに紐づける 特定の基準に基づいてアクションを発生させる ポインタの設定 コントローラマッピングの設定
101. プロファイル Controller Visualization Profile Gesture Profile Speech Commands Profile Hand Tracking Profile コントローラ視覚化の設定 ジェスチャーの設定 音声コマンドの設定 ハンドトラッキングの設定
102. プロファイル
103. プロファイル
104. プロファイル
105. ハンドトラッキング実装サンプル
106. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_BasicSetup.html
107. アイトラッキング実装サンプル
108. アイトラッキング実装サンプル https://microsoft.github.io/MixedRealityToolkit-Unity/Documentation/EyeTracking/EyeTracking_EyeGazeProvider.html
109. 参考：公式チュートリアル MR Learning ベースのモジュールのプロジェクトの初期化と最初のアプリケーション https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch1 MR Learning ベースのモジュールのユーザー インターフェイスでは、手 Tracking、および現実ツールキットの構成を 混在 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch2 動的なコンテンツの配置とソルバー MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch3 MR Learning ベースのモジュールの 3D オブジェクトの相互作用 https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch4 入力を高度な MR Learning ベース モジュール https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch5 MR Learning ベース モジュール - 旧暦モジュール アセンブリ サンプル エクスペリエンス https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrlearning-base-ch6
110. 参考：IL2CPPデバッグ方法 UnityのIL2CPPプロジェクトをC#デバッグする方法 http://www.hiromukato.com/entry/2019/03/24/200057
111. Unreal Engine 4 Holographic Remoting Player Microsoft Windows Mixed Reality Windows Mixed Reality を選択 https://qiita.com/EGJ-Axel_Riffard/items/58799a1dd1db0e9e7351
112. Unreal Engine 4 • アプリ実装方法(2019年5月に公開される予定) • 現時点では公開されていないがBuildにて以下セッション が公開されている Intro to Building Mixed Reality Apps with Unreal Engine 4
113. © 2018 Microsoft Corporation. All rights reserved. 本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。 © 2019 Microsoft Corporation. All rights reserved. 本情報の内容 (添付文書、リンク先などを含む) は、de:code 2019 開催日 (2019年5月29~30日) 時点のものであり、予告なく変更される場合があります。 本コンテンツの著作権、および本コンテンツ中に出てくる商標権、団体名、ロゴ、製品、サービスなどはそれぞれ、各権利保有者に帰属します。