HoloLensハンズオン(ショート) 2018年2月版

Transcript

1. Unity 2017.2.0f3, Visual Studio 2017 15.5.6対応 最終更新日 2018/02/14 株式会社ホロラボ 45分でHoloLensアプリ開発 1
2. タイムテーブル 1. 5分：オープニング 2. 5分：Unityプロジェクトの作成 3. 5分：MixedRealityToolkit-Unityの取り込み 4. 5分：プロジェクトの初期設定 5. 5分：オブジェクトの配置 6. 5分：Remoting Playerの設定 7. 5分：AirTapでオブジェクトが落ちるコードを作成 8. 5分：空間マッピングの設定 9. 5分：実機デプロイ 10. 5分：クロージング 2
3. 1.オープニング いまからやることをお伝えします。 3
4. 事前準備 • HoloLens実機 • HoloLensに[Holographic Remoting]アプリをインストール • 開発PC • Windows 10(Home/Pro) • Unity 2017.2.0f3(固定)のインストール(Personal可) • Visual Studio 2017 15.5.6以降(含UWP SDK)のインストール • MixedRealityToolkit for Unityのダウンロード • HoloToolkit-Unity-2017.2.1.0 4
5. 事前準備 セットアップの手順は下記スライドを参照してください。 https://speakerdeck.com/hololab/hololenshanzuon-setutoatupu-2018nian-2yue-ban 5
6. 完成プロジェクト • こちらにあります。 • https://github.com/kaorun55/HoloHoL 6
7. 今日のゴール https://www.youtube.com/watch?v=TVXUZziqxzk 7
8. 2.Unityプロジェクトの作成 最初にUnityのプロジェクトを作りましょう。 8
9. Unityプロジェクトの作成（１） 1. Unityを起動し[New]をクリックします。 9 1
10. Unityプロジェクトの作成（２） 1. プロジェクト名を入力します。 2. プロジェクトのフォルダを選択します。 3. [3D] にチェックします。 4. [Create Project] をクリックします。 10 1 2 3 4
11. Unityプロジェクトの作成（３） プロジェクトが作成されました。 11
12. シーンの保存（１） 1. メニューの [File] にある [Save Scene] をクリック(または [Ctrl+S] )します。 1 12
13. シーンの保存（２） 1. [Asset] フォルダにファイル名を入力([HoloProject]とします)して [保存] ボタンをクリックします。 1 13
14. 3. MixedRealityToolkit-Unityの取り込み 便利機能がたくさん入っているMixedRealityToolkit-Unityを追加しましょう。 14
15. MixedRealityToolkit-Unityのダウンロード（１） 1. https://github.com/Microsoft/MixedRealityToolkit-Unity/releases/tag/2017.2.1.0 から [HoloToolkit- Unity-2017.2.1.0.unitypackage] をダウンロードします。 15 1
16. MixedRealityToolkit-Unityの取り込み（１） 1. [HoloToolkit-Unity-2017.2.1.0.unitypackage]ファイルを Unity の [Project] ビューに入れます。 1 16
17. MixedRealityToolkit-Unityの取り込み（２） 1. [Import Unity Package] ダイアログが表示されるので [Import] を押します。 1 17
18. MixedRealityToolkit-Unityの取り込み（３） MixedRealityToolkit-Unityが取り込めました。 18
19. オプション：Unityエディターの配置を変える（１） 1. 右上にある [Layout] をクリックします 2. [2 by 3] をクリックします。 2 1 19
20. オプション：Unityエディターの配置を変える（２） 1. [Project] ビューの右上の小さなボタン (ハンバーガーメニュー) をクリックします。 2. [One Column Layout] をクリックします。 1 20 2
21. オプション：Unityエディターの配置を変える（３） [Project]ビューがツリー表示されるようになりました。 21
22. 4. プロジェクトの初期設定 MixedRealityToolkit-Unityの機能を使ってプロジェクトの初期設定を行います。 22
23. プロジェクトの初期設定（１） 1. メニューの [Mixed Reality Toolkit] にある [Configure] → [Apply Mixed Reality Project Settings] をク リックします。 23 1
24. プロジェクトの初期設定（２） 1. 既定のチェック状態で [Apply] をクリックします。 24
25. シーンの初期設定（１） 1. メニューの [Mixed Reality Toolkit] にある [Configure] → [Apply Mixed Reality Scene Settings] をク リックします。 27 1
26. シーンの初期設定（２） 1. 既定のチェック状態で[Apply]をクリックします。 • 既定のシーン構成を置き換えるので、開発中のシーンへの適用は注意してください。 28 1
27. シーンの初期設定（３） 1. シーンの構成が変化します。 29
28. 5.オブジェクトの配置 HoloLensに表示する世界を作りましょう。 30
29. オブジェクトの配置（１） 1. [Hierarchy] ビューの何もないところで左クリックし、選択を外します。 2. [Hierarchy] ビューの何もないところで右クリックし、[3D Object]→[Cube] を選択します。 31 1 2
30. オブジェクトの配置（２） Cubeを配置できました。 32
31. Cubeの “Inspector” ビューを操作します。 1. [Position] を [0.5,0,2] に変更します。 2. [Scale] を [0.2,0.2,0.2] に変更します。 単位はメートル(m)です。 オブジェクトの配置（３） 33 1 2
32. オブジェクトの配置（４） 1. 同様に “Hierarchy” ビューで [Sphere] を配置します。 2. [Position] を [0,0,2] に変更します。 3. [Scale] を[0.2,0.2,0.2]に変更します。 34 1 2 3
33. オブジェクトの配置（５） 1. 最後に “Hierarchy” ビューで [Capsule] を配置します。 2. [Position] を [-0.5,0,2]に変更します。 3. [Scale] を [0.2,0.2,0.2] に変更します。 35 1 2 3
34. 6. Remoting Playerの設定 いよいよHoloLensの実機で動かしてみましょう。 36
35. HoloLens側の設定（１） 1. HoloLensで “Holographic Remoting Player” アプリを起動します。 1 37
36. HoloLens側の設定（２） 1. 表示されているIPアドレスを覚えて（書き留めて）おく。 1 38
37. Unity側の設定（１） 1. メニューの [Window]→[Holographic Emulation] をクリックします。 1 39
38. Unity側の設定（２） 1. [Holographic]ビューが表示されますが、警告（左図）になっている場合があります。 2. 右図の場合は[Unity側の設定（５）]に進んでください。 40 1 2
39. Unity側の設定（３） 1. メニューの [File]→[Build Settings] をクリックします。 41 1
40. Unity側の設定（４） 1. “Build Settings” ダイアログの “Platform” に [PC, Mac and Linux Standalone] 等が選択され、Unityロゴ がついている場合があります。 2. [Universal Windows Platform] をクリックします。 3. [Switch Platform] をクリックします。 4. [Universal Windows Platform] にUnityロゴがつきます。 1 42 2 3 4
41. Unity側の設定（５） 1. “Emulation Mode“ を [Remote to Device] に変更 2. “Remote Machine” に先ほどの “Holographic Remoting Player” で表示されたIPアドレスを入力。 3. [Connect] ボタンをクリック。 • Connectボタンがクリックできない場合は次ページを参照。 4. 正常に接続すると “Connection Status” が [緑] と [Connected] に変わります。 43 4 1 2 3
42. Connectボタンが押せない場合の対処 1. [Connect] ボタンが押せない場合。 2. [Enable Audio] のチェックを外します。 3. [Connect] ボタンが押せるようになります。 • 今回は音声を使用しないのでこの状態でもOKです。 4. 一度 Disconnect してチェックを戻すと再度 Connect できるようになります。 44 1 2 3
43. 1. Unityの [再生] ボタンをクリックします。 HoloLens上にオブジェクトが表示されます。 Unity側の設定（６） 45 1
44. 7. AirTapでオブジェクトが落ちるコードを作成 ジェスチャーを認識させてインタラクションの機能を作りましょう。 46
45. AirTapでオブジェクトが落ちるコードを作成（１） 1. “Project”ビューで右クリックし [Create]→[C# Script] をクリックします。 1 47
46. AirTapでオブジェクトが落ちるコードを作成（２） 1. スクリプト名に[AirTapGesture]と入力します。 1 48
47. AirTapでオブジェクトが落ちるコードを作成（３） 1. [AirTapGesture]スクリプトをダブルクリックしてVisual Studioを起動します。 49
48. AirTapでオブジェクトが落ちるコードを作成（４） 1. コードを追加します • 赤字が追加した場所です。Visual Studio の機能で、斜体のコードは自動的に生成しています。 using HoloToolkit.Unity.InputModule; using System.Collections; using System.Collections.Generic; using UnityEngine; using System; public class AirTapGesture : MonoBehaviour, IInputClickHandler { // Use this for initialization void Start () { } // Update is called once per frame void Update () { } public void OnInputClicked(InputClickedEventData eventData) { gameObject.AddComponent<Rigidbody>(); } } https://github.com/kaorun55/HoloHoL/blob/master/HelloHoloProject/Assets/AirTapGesture.cs 50
49. 1. “AirTapGesture” スクリプトを [Sphere] にドラッグアンドドロップします。 2. [Sphere] の “Inspector” ビューに “AirTapGesture” が追加されます。 AirTapでオブジェクトが落ちるコードを作成（５） 1 2 51
50. AirTapでオブジェクトが落ちるコードを作成（６） Sphereに照準を合わせてAir Tap！ Sphereが落ちればOKです。 どこまでも落ちて、見えなくなってしまいます。 52
51. 1. “AirTapGesture” スクリプトを [Cube] と [Capsule] にもドラッグアンドドロップします。 CubeとCapsuleもAir Tapで落ちるようになります。 AirTapでオブジェクトが落ちるコードを作成（７） 1 53
52. 8.空間マッピングの設定 空間マッピングを表示させてオブジェクトが落ちないようにしましょう。 54
53. 1. “Project” ビューの [HoloToolkit]→[SpatialMapping]→[Prefab] にある [SpatialMapping] を “Hierarchy”ビューに追加します。 空間マッピングの設定(1) 1 55
54. 空間マッピングの設定(2) 1. SpatialMappingを有効にする設定を追加します。 メニューの [Mixed Reality Toolkit]→[Configure]→[Apply UWP Capability Settings] をクリックします。 1 56
55. 空間マッピングの設定(3) 1. HoloLensで使用できる機能の一覧が表示されるので[Spatial Perception]をチェックします。 2. [Apply]ボタンをクリックします。 1 2 57
56. 9. 実機デプロイ 最後に実機で動かします。 58
57. 1. メニューの [File | Build Settings] または [Shift+Ctrl+B]で “Build Settings” 画面を表示します。 2. [Add Open Scenes] ボタンで先ほど保存したシーンを追加します。 3. “Target device” を [HoloLens] にします。 4. “Unity C# Projects” をチェックします。 実機デプロイ（１） 2 3 4 59
58. 実機デプロイ（２） 1. [Build] ボタンをクリックします。 2. 表示された Windows エクスプローラーで [新しいフォルダー] ボタンをクリックします。 3. フォルダー名を [UWP] とします。 4. [フォルダーの選択] ボタンをクリックするとビルドが開始します。 1 2 3 4 60
59. 実機デプロイ（３） 1. ビルドが実行されます。 • エラーが発生するとコンソールにエラーログが表示されます。 61
60. 実機デプロイ（３） 1. [プロジェクト名] フォルダーの [UWP] フォルダーにある [<プロジェクト名>.sln] ファイルを開きます。 1 62
61. 実機デプロイ（４） 1. Visual Studioの構成部分を[Release],[x86],[Device] に変更します。 2. USBケーブルをPCとHoloLens間で接続して、[Device]ボタンをクリックします(HoloLensはUSBケーブルで 接続します) 1 2 63
62. PINの設定 1. 初回のみVisual StudioとHoloLensでペアリングを求められます。 2. HoloLens側でペアリング用のコードの表示方法は下記動画を参照してください。 https://www.youtube.com/watch?v=JzzjKo0Aqk0&feature=youtu.be 64
63. 実機デプロイ（５） 起動してしばらくすると、白い模様が出てきます(空間のメッシュ)。 オブジェクトをAir Tapすると、メッシュに落ちるようになります。 65
64. Mixed Reality Capture 動画 https://www.youtube.com/watch?v=TVXUZziqxzk 66
65. 10.クロージング 67
66. 本日使用したHoloLens固有の機能 • －：空間座標(Spatial anchor) • 〇：視線入力(Gaze input) • 〇：ジェスチャー入力(Gesture input) • －：音声入力(Voice input) • －：空間(3次元)音響(Spatial sound) • 〇：空間マッピング(Spatial mapping) https://developer.microsoft.com/en-us/windows/mixed-reality/development_overview 68
67. HoloLab Inc. http://hololab.co.jp/