Share
Embed
Transcript
58 slides
-
Unity 2019.4.2f1, Visual Studio 2019 16.6.3, MRTK v2.4.0対応 最終更新日 2020/08/20
株式会社ホロラボ 45分でHoloLens 2アプリ開発 -
タイムテーブル 1. 5分:オープニング 2. 5分:Unityプロジェクトの作成 3. 5分:Mixed Reality Toolkitの取り込み 4.
5分:プロジェクトの初期設定 5. 5分:オブジェクトの配置 6. 5分:ハンドジェスチャーでオブジェクトが落ちる処理を作成 7. 5分:実機デプロイ 8. 5分:空間マッピングの設定 9. 5分:アイトラッキング 10.5分:クロージング Copyright© HoloLab Inc. 2020 All rights reserved 2 -
事前準備 • HoloLens 2実機 • HoloLensに[Holographic Remoting]アプリをインストール • HoloLensのストアからアクセスした場合のみインストールできます •
開発PC • Windows 10(Home/Pro) • HoloLens 2 エミュレーターを利用する場合はWindows 10 Pro のみ • Unity 2019.4.2f1のインストール(Personal可) • Unity HubからUnity 2019.4の最新版をインストールします • 同じバージョンはアーカイブページからダウンロードします • 必須項目: Universal Windows Platform Build Support • Visual Studio 2019 15.5.6 以降のインストール(Community可) • Unityと一緒にインストールできます • 必須項目:ユニバーサル Windows アプリ開発ツール • MixedRealityToolkitのダウンロード • Microsoft Mixed Reality Toolkit v2.4.0 • Unityのバージョンに合ったMRTKバージョンを選択します 4 Copyright© HoloLab Inc. 2020 All rights reserved -
3. Mixed Reality Toolkitの取り込み 便利機能がたくさん入っているMixed Reality Toolkitを追加しましょう。 13 Copyright© HoloLab
Inc. 2020 All rights reserved -
メニューの [File | Build Settings] または [Shift+Ctrl+B] で Build Settings
画面を表示します。 1. [Add Open Scenes] ボタンで[SampleScene]を追加します。 2. “Platform” で [Universal Windows Platform] を選択します。 • この項目がない場合は Unity の “Universal Windows Platform Build Support” がインストールされていない可能性があり ます。「Unityのインストール」の項を再度確認してください。 3. [Switch Platform] ボタンを押します。 • [Universal Windows Platform] に Unity アイコンが移動します。 UWPビルドの設定 15 Copyright© HoloLab Inc. 2020 All rights reserved 1 2 3 -
プロジェクトの設定(1) 16 Copyright© HoloLab Inc. 2020 All rights reserved 1.
[Build Settings]の[Player Settings…]をクリックします。 2. [Project Settings]の[Player]から[Publishing Setting]を開きます。 3. [Package name]を[Template 3D]から任意のプロジェクト名に変更します。 • これがHoloLens 2アプリの名称になるので、同じ名称だとインストール時に上書きされたりエラーになったりします。 3 1 2 -
プロジェクトの設定(2) 1. [XR Settings]を開きます。 2. [Virtual Reality Supported]にチェックします。 3. [Virtual
Reality SDKs]に[Windows Mixed Reality]を選択します。 4. [Depth Format]を[16-bit depth]に変更します。 17 Copyright© HoloLab Inc. 2020 All rights reserved 2 3 4 1 -
1. [Microsoft.MixedReality.Toolkit.Unity.Foundation.2.4.0.unitypackage]ファイルを Unity の [Project] ビューに入れます。 Mixed Reality Toolkitの取り込み(1) 18
Copyright© HoloLab Inc. 2020 All rights reserved 1 -
Mixed Reality Toolkitの取り込み(2) 1. [Import Unity Package] ダイアログが表示されるので [Import] を押します。
1 9 Copyright© HoloLab Inc. 2020 All rights reserved 1 -
Mixed Reality Toolkitの取り込み(3) 1. Importを待ちます 20 Copyright© HoloLab Inc. 2020
All rights reserved -
Mixed Reality Toolkitの取り込み(4) 1. プロジェクト設定の変更を行います 2. [Audio spatializer]を[MS HRTF Spatoalizer]に変更します
3. [Apply]をクリックします 2 1 Copyright© HoloLab Inc. 2020 All rights reserved 2 1 -
Mixed Reality Toolkitの取り込み(5) Mixed Reality Toolkitが取り込めました。 22 Copyright© HoloLab Inc.
2020 All rights reserved -
オプション:Unityエディターの配置を変える(1) 1. 右上にある [Layout] をクリックします 2. [2 by 3] をクリックします。
1 23 2 Copyright© HoloLab Inc. 2020 All rights reserved -
オプション:Unityエディターの配置を変える(2) 1. [Project] ビューの右上の小さなボタン (ハンバーガーメニュー) をクリックします。 2. [One Column Layout]
をクリックします。 1 24 2 Copyright© HoloLab Inc. 2020 All rights reserved -
プロジェクトの初期設定(1) 1. メニューの [Mixed Reality Toolkit] にある [Add to Scene
and Configure…] をクリックします。 27 Copyright© HoloLab Inc. 2020 All rights reserved -
プロジェクトの初期設定(3) ハンドメッシュや空間マップを使用するときなどはプロファイルを変更可能にする必要があります。 1. 「Copy & Customize」でプロファイルをCloneします。 2. CloneされたプロファイルはCustomProfilesに生成されます。 29 Copyright©
HoloLab Inc. 2020 All rights reserved 1 2 -
オブジェクトの配置(1) 1. [Hierarchy] ビューの何もないところで左クリックし、選択を外します。 2. [Hierarchy] ビューの何もないところで右クリックし、[3D Object]→[Cube] を選択します。 32
1 2 Copyright© HoloLab Inc. 2020 All rights reserved -
Cubeの [Inspector]ビューを操作します。 1. [Position] を [0.5,0,1] に変更します。 2. [Scale] を
[0.2,0.2,0.2] に変更します。 単位はメートル(m)です。 オブジェクトの配置(3) 34 1 2 Copyright© HoloLab Inc. 2020 All rights reserved -
オブジェクトの配置(4) 1. 同様に[Hierarchy]ビューで [Sphere] を配置します。 2. [Position] を [0,0,1] に変更します。
3. [Scale] を[0.2,0.2,0.2]に変更します。 35 1 Copyright© HoloLab Inc. 2020 All rights reserved 2 3 -
オブジェクトの配置(5) 1. 最後に[Hierarchy]ビューで [Capsule] を配置します。 2. [Position] を [-0.5,0,1]に変更します。 3.
[Scale] を [0.2,0.2,0.2] に変更します。 36 Copyright© HoloLab Inc. 2020 All rights reserved 1 2 3 -
ハンドジェスチャーでオブジェクトが落ちるようにする(2) 1. Rigidbodyの「Use Gravity」のチェックを外し、「Is Kinematic」にチェックします(落ちないようにする) 2. Near Interaction Touchableの「Event To
Recieve」を「Pointer」に変更する(タッチを認識するように)、 [Fix Bounds]および[Fix Center]のボタンを押します(CUBEの範囲を決定する)。 3. Manipulation Handlerの「On Manipulation Ended」にCubeを入れ、RigidbodyのIsKinematicのチェックを外 し、RigidbodyのuseGravityのチェックを入れます(落ちるようにする)。 39 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved -
1. 同じように [Sphere] と [Capsule] も設定することでハンドジェスチャーで落ちるようになります。 ハンドジェスチャーでオブジェクトが落ちるようにする(4) 41 Copyright© HoloLab
Inc. 2020 All rights reserved -
ハンドメッシュを表示します。 1. 全体のプロファイルの「Input」にあるプロファイルをCloneします。 2. さらに「Hand Tracking」のプロファイルをCloneします。 3. 「Hand Mesh Visualization
Modes」を「Player」にします。 ハンドジェスチャーでオブジェクトが落ちるようにする(5) 42 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved -
メニューの [File | Build Settings] または [Shift+Ctrl+B]で “Build Settings” 画面を表示します。
1. シーンが追加されていることを確認します(なければ[Add Open Scenes] ボタンで追加します)。 実機デプロイ(1) 1 44 Copyright© HoloLab Inc. 2020 All rights reserved -
実機デプロイ(2) 1. [Build] ボタンをクリックします。 2. 表示された Windows エクスプローラーで [新しいフォルダー] ボタンをクリックします。
3. フォルダー名を [UWP] とします。 4. [フォルダーの選択] ボタンをクリックするとビルドが開始します。 1 2 3 4 45 Copyright© HoloLab Inc. 2020 All rights reserved -
実機デプロイ(3) 1. [プロジェクト名] フォルダーの [UWP] フォルダーにある [<プロジェクト名>.sln] ファイルを開きます。 47 Copyright©
HoloLab Inc. 2020 All rights reserved 1 -
実機デプロイ(4) 1. Visual Studioの構成部分を[Release],[ARM64],[デバイス] に変更します。 2. USBケーブルをPCとHoloLens間で接続して[デバイス]ボタンをクリックします。 1 2 48
Copyright© HoloLab Inc. 2020 All rights reserved -
PINの設定 初回のみVisual StudioとHoloLensでペアリングを求められます 1. HoloLens 2の「設定」アプリの「更新とセキュリティ」にある「開発者向け」から「ペアリング」ボタンを押します 2. 表示される数字をVisual Studioに入力します。 49
Copyright© HoloLab Inc. 2020 All rights reserved 2 1 -
1. プロファイルの「Spatial Awareness」にある「Enable Spatial Awareness System on Startup」にチェックをい れます。 空間マッピングの設定(1)
53 Copyright© HoloLab Inc. 2020 All rights reserved 1 -
アイトラッキングで落ちる処理を作成(1) 1. 全体のプロファイルの「Input」にあるプロファイルをCloneします(ハンドメッシュなどで済んでいれば不要)。 2. 「Input Data Provider」の「+ Add Data Provider」をクリックします。
3. 「New Data Provider」の「Type」を「WindowsMixedRealityEyeGazeDataProvider」に設定します。 56 1 2 3 Copyright© HoloLab Inc. 2020 All rights reserved -
アイトラッキングで落ちる処理を作成(2) 1. 「Input Simulation Service」のプロファイルをCloneします。 2. 「Simulate Eye Position」にチェックを入れます。 57
1 2 Copyright© HoloLab Inc. 2020 All rights reserved -
アイトラッキングで落ちる処理を作成(3) 1. 「Pointers」のプロファイルをCloneします。 2. 「Simulate Eye Position」にチェックを入れます。 58 1 2
Copyright© HoloLab Inc. 2020 All rights reserved -
アイトラッキングで落ちる処理を作成(4) 1. Cubeに「EyeTrackingTarget」を追加します。 2. EyeTrackingTargetの「On Dwell」にCubeを入れ、RigidbodyのIsKinematicのチェックを外し、Rigidbodyの useGravityのチェックを入れます(落ちるようにする)。 3. 落ちるまでの時間は「Dwell Time
in Sec」で変更できます。 59 Copyright© HoloLab Inc. 2020 All rights reserved 2 1 3 -
アイトラッキングで落ちる処理を作成(5) 62 アイトラッキングが正常に動作しない場合の確認事項 Unityの[Player Settings]の[Publishing Settings]内[Capability]にある[GazeInput]とUnityから出力後の Visual Studioのmanifestの機能にある「視線入力」の両方にチェックがあることを確認します(なければチェックします)。 初回ビルド以外はVisual Studioに反映されないので注意してください。
HoloLens 2の実機では視線調整を行ってください。 Copyright© HoloLab Inc. 2020 All rights reserved -
本日使用したHoloLens 2固有の機能 • 〇:視線入力(Eye tracking) • 〇:ハンドジェスチャー入力(Hand gesture input) •
-:音声入力(Voice input) • -:空間(3次元)音響(Spatial sound) • 〇:空間マッピング(Spatial awareness) 64 Copyright© HoloLab Inc. 2020 All rights reserved