HoloLens 2 ハンズオン(ショート) / HoloLens Hands on labs

Unity 2019.4.2f1, Visual Studio 2019 16.6.3, MRTK v2.4.0対応最終更新日 2020/08/20
株式会社ホロラボ 45分でHoloLens 2アプリ開発

タイムテーブル 1. 5分：オープニング 2. 5分：Unityプロジェクトの作成 3. 5分：Mixed Reality Toolkitの取り込み 4.
5分：プロジェクトの初期設定 5. 5分：オブジェクトの配置 6. 5分：ハンドジェスチャーでオブジェクトが落ちる処理を作成 7. 5分：実機デプロイ 8. 5分：空間マッピングの設定 9. 5分：アイトラッキング 10.5分：クロージング Copyright© HoloLab Inc. 2020 All rights reserved 2

事前準備 • HoloLens 2実機 • HoloLensに[Holographic Remoting]アプリをインストール • HoloLensのストアからアクセスした場合のみインストールできます •
開発PC • Windows 10(Home/Pro) • HoloLens 2 エミュレーターを利用する場合はWindows 10 Pro のみ • Unity 2019.4.2f1のインストール(Personal可) • Unity HubからUnity 2019.4の最新版をインストールします • 同じバージョンはアーカイブページからダウンロードします • 必須項目： Universal Windows Platform Build Support • Visual Studio 2019 15.5.6 以降のインストール(Community可) • Unityと一緒にインストールできます • 必須項目：ユニバーサル Windows アプリ開発ツール • MixedRealityToolkitのダウンロード • Microsoft Mixed Reality Toolkit v2.4.0 • Unityのバージョンに合ったMRTKバージョンを選択します 4 Copyright© HoloLab Inc. 2020 All rights reserved

Unityプロジェクトの作成（１） 1. Unity Hubを起動し[新規作成]から該当バージョン(2019.4.x)をクリックします。 9 Copyright© HoloLab Inc. 2020 All
rights reserved 1

Unityプロジェクトの作成（２） 1. プロジェクト名を入力します。 2. プロジェクトのフォルダを選択します。 3. [作成] をクリックします。 10 1
2 3

Unityプロジェクトの作成（３） 1. 起動を待ちます 11 Copyright© HoloLab Inc. 2020 All rights
reserved

MixedRealityToolkit-Unityのダウンロード（１） 1. https://github.com/microsoft/MixedRealityToolkit-Unity/releases/tag/v2.4.0 から [Microsoft.MixedReality.Toolkit.Unity.Foundation.2.4.0.unitypackage] をダウンロードします。 14 Copyright© HoloLab Inc.
2020 All rights reserved 1

メニューの [File | Build Settings] または [Shift+Ctrl+B] で Build Settings
画面を表示します。 1. [Add Open Scenes] ボタンで[SampleScene]を追加します。 2. “Platform” で [Universal Windows Platform] を選択します。 • この項目がない場合は Unity の “Universal Windows Platform Build Support” がインストールされていない可能性があります。「Unityのインストール」の項を再度確認してください。 3. [Switch Platform] ボタンを押します。 • [Universal Windows Platform] に Unity アイコンが移動します。 UWPビルドの設定 15 Copyright© HoloLab Inc. 2020 All rights reserved 1 2 3

プロジェクトの設定（１） 16 Copyright© HoloLab Inc. 2020 All rights reserved 1.
[Build Settings]の[Player Settings…]をクリックします。 2. [Project Settings]の[Player]から[Publishing Setting]を開きます。 3. [Package name]を[Template 3D]から任意のプロジェクト名に変更します。 • これがHoloLens 2アプリの名称になるので、同じ名称だとインストール時に上書きされたりエラーになったりします。 3 1 2

プロジェクトの設定（２） 1. [XR Settings]を開きます。 2. [Virtual Reality Supported]にチェックします。 3. [Virtual
Reality SDKs]に[Windows Mixed Reality]を選択します。 4. [Depth Format]を[16-bit depth]に変更します。 17 Copyright© HoloLab Inc. 2020 All rights reserved 2 3 4 1

1. [Microsoft.MixedReality.Toolkit.Unity.Foundation.2.4.0.unitypackage]ファイルを Unity の [Project] ビューに入れます。 Mixed Reality Toolkitの取り込み（１） 18
Copyright© HoloLab Inc. 2020 All rights reserved 1

Mixed Reality Toolkitの取り込み（２） 1. [Import Unity Package] ダイアログが表示されるので [Import] を押します。
1 9 Copyright© HoloLab Inc. 2020 All rights reserved 1

Mixed Reality Toolkitの取り込み（４） 1. プロジェクト設定の変更を行います 2. [Audio spatializer]を[MS HRTF Spatoalizer]に変更します
3. [Apply]をクリックします 2 1 Copyright© HoloLab Inc. 2020 All rights reserved 2 1

オプション：Unityエディターの配置を変える（１） 1. 右上にある [Layout] をクリックします 2. [2 by 3] をクリックします。
1 23 2 Copyright© HoloLab Inc. 2020 All rights reserved

オプション：Unityエディターの配置を変える（２） 1. [Project] ビューの右上の小さなボタン (ハンバーガーメニュー) をクリックします。 2. [One Column Layout]
をクリックします。 1 24 2 Copyright© HoloLab Inc. 2020 All rights reserved

4. プロジェクトの初期設定 MixedRealityToolkitの機能を使ってプロジェクトの初期設定を行います。 26 Copyright© HoloLab Inc. 2020 All rights
reserved

プロジェクトの初期設定（１） 1. メニューの [Mixed Reality Toolkit] にある [Add to Scene
and Configure…] をクリックします。 27 Copyright© HoloLab Inc. 2020 All rights reserved

プロジェクトの初期設定（４）この状態でEditor実行すると、Diagnosticsが表示されます。またSHIFTキーを押すとHand Jointが表示されます。 30 Copyright© HoloLab Inc. 2020 All rights
reserved

オブジェクトの配置（１） 1. [Hierarchy] ビューの何もないところで左クリックし、選択を外します。 2. [Hierarchy] ビューの何もないところで右クリックし、[3D Object]→[Cube] を選択します。 32
1 2 Copyright© HoloLab Inc. 2020 All rights reserved

Cubeの [Inspector]ビューを操作します。 1. [Position] を [0.5,0,1] に変更します。 2. [Scale] を
[0.2,0.2,0.2] に変更します。単位はメートル(m)です。オブジェクトの配置（３） 34 1 2 Copyright© HoloLab Inc. 2020 All rights reserved

オブジェクトの配置（４） 1. 同様に[Hierarchy]ビューで [Sphere] を配置します。 2. [Position] を [0,0,1] に変更します。
3. [Scale] を[0.2,0.2,0.2]に変更します。 35 1 Copyright© HoloLab Inc. 2020 All rights reserved 2 3

オブジェクトの配置（５） 1. 最後に[Hierarchy]ビューで [Capsule] を配置します。 2. [Position] を [-0.5,0,1]に変更します。 3.
[Scale] を [0.2,0.2,0.2] に変更します。 36 Copyright© HoloLab Inc. 2020 All rights reserved 1 2 3

6. ハンドジェスチャーでオブジェクトが落ちる処理を作成ジェスチャーを認識させてインタラクションの機能を作りましょう。 37 Copyright© HoloLab Inc. 2020 All
rights reserved

ハンドジェスチャーでオブジェクトが落ちるようにする（２） 1. Rigidbodyの「Use Gravity」のチェックを外し、「Is Kinematic」にチェックします(落ちないようにする) 2. Near Interaction Touchableの「Event To
Recieve」を「Pointer」に変更する(タッチを認識するように)、 [Fix Bounds]および[Fix Center]のボタンを押します(CUBEの範囲を決定する)。 3. Manipulation Handlerの「On Manipulation Ended」にCubeを入れ、RigidbodyのIsKinematicのチェックを外し、RigidbodyのuseGravityのチェックを入れます(落ちるようにする)。 39 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved

ハンドメッシュを表示します。 1. 全体のプロファイルの「Input」にあるプロファイルをCloneします。 2. さらに「Hand Tracking」のプロファイルをCloneします。 3. 「Hand Mesh Visualization
Modes」を「Player」にします。ハンドジェスチャーでオブジェクトが落ちるようにする（５） 42 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved

7. 実機デプロイ実機で動かします。 43 Copyright© HoloLab Inc. 2020 All rights
reserved

メニューの [File | Build Settings] または [Shift+Ctrl+B]で “Build Settings” 画面を表示します。
1. シーンが追加されていることを確認します(なければ[Add Open Scenes] ボタンで追加します)。実機デプロイ（１） 1 44 Copyright© HoloLab Inc. 2020 All rights reserved

実機デプロイ（２） 1. [Build] ボタンをクリックします。 2. 表示された Windows エクスプローラーで [新しいフォルダー] ボタンをクリックします。
3. フォルダー名を [UWP] とします。 4. [フォルダーの選択] ボタンをクリックするとビルドが開始します。 1 2 3 4 45 Copyright© HoloLab Inc. 2020 All rights reserved

空間マッピングの設定(２) 54 空間マップが正常に表示されない場合の確認事項 Unityの[Player Settings]の[Publishing Settings]内[Capability]にある[SpatialPerception]とUnityから出力後のVisual Studioのmanifestの機能にある「空間認識」の両方にチェックがあることを確認します(なければチェックします)。初回ビルド以外はVisual Studioに反映されないので注意してください。

アイトラッキングで落ちる処理を作成（１） 1. 全体のプロファイルの「Input」にあるプロファイルをCloneします(ハンドメッシュなどで済んでいれば不要)。 2. 「Input Data Provider」の「+ Add Data Provider」をクリックします。
3. 「New Data Provider」の「Type」を「WindowsMixedRealityEyeGazeDataProvider」に設定します。 56 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved

アイトラッキングで落ちる処理を作成（３） 1. 「Pointers」のプロファイルをCloneします。 2. 「Simulate Eye Position」にチェックを入れます。 58 1 2

アイトラッキングで落ちる処理を作成（４） 1. Cubeに「EyeTrackingTarget」を追加します。 2. EyeTrackingTargetの「On Dwell」にCubeを入れ、RigidbodyのIsKinematicのチェックを外し、Rigidbodyの useGravityのチェックを入れます(落ちるようにする)。 3. 落ちるまでの時間は「Dwell Time
in Sec」で変更できます。 59 Copyright© HoloLab Inc. 2020 All rights reserved 2 1 3

アイトラッキングで落ちる処理を作成（５） 62 アイトラッキングが正常に動作しない場合の確認事項 Unityの[Player Settings]の[Publishing Settings]内[Capability]にある[GazeInput]とUnityから出力後の Visual Studioのmanifestの機能にある「視線入力」の両方にチェックがあることを確認します(なければチェックします)。初回ビルド以外はVisual Studioに反映されないので注意してください。
HoloLens 2の実機では視線調整を行ってください。 Copyright© HoloLab Inc. 2020 All rights reserved

本日使用したHoloLens 2固有の機能 • 〇：視線入力(Eye tracking) • 〇：ハンドジェスチャー入力(Hand gesture input) •
－：音声入力(Voice input) • －：空間(3次元)音響(Spatial sound) • 〇：空間マッピング(Spatial awareness) 64 Copyright© HoloLab Inc. 2020 All rights reserved

HoloLens 2 ハンズオン(ショート) / HoloLens Hands on labs

HoloLens 2 ハンズオン(ショート) / HoloLens Hands on labs

More Decks by HoloLab

Other Decks in Programming

Featured

Transcript