HoloLens 2 × AR Foundation 4 試そうとして失敗した話 Tokyo HoloLens ミートアップ vol.20 LT

自己紹介 [名前] 初鹿 デニック（デニキ） [Twitter] @xrdnk [経歴等] • 筑波大院卒 水中VRHMD研究開発 • TIS株式会社 19年度入社 • 1年目はSEとしてWebシステム開発 • 2年目に社内異動し，XRエンジニア XR遠隔コミュニケーションサービス 「TeleAttend®」の開発を行ってます．

AR Foundation • AR Foundation (ARF) Unity で ARアプリケーションを作成するためのパッケージです．

ARF 4 から HoloLens 対応 AR Foundation 4 から HoloLens 対応された模様． ただし，利用できる機能はだいぶ制限されている．

HoloLens 2 × AR Foundation 4 やってみるか

これが間違いだった…

AR Foundation 4 環境 • Unity 2020.1.0b13 • AR Foundation preview.5 – 4.1.0 • AR Subsystems preview.5 – 4.1.0 ・ Windows XR Plugin 4.0.2 (3.0以上ならばOKらしい) ・ HoloLens 2 ・ MRTK v2.4 (メイン実装は ARF だが補助的に利用) ARF HoloLens 2 版対応は Unity2020.1以降が必須． Windows XR Plugin には ARCore，ARKitのような 古いUnityバージョンに先行公開(preview)パッケージが提供されていない． そのため，ARF対応のWindows XR Plugin 4.0 を利用するためは Unity 2020.1が必須．．．だった．

Unity 2020ェ… • Playするとクラッシュしまくる (リリース版ではないのでそれはそう) • 何故かPCが再起動する どうしようもなかったので，今の設定のままUnity 2019.4.3f1に バージョンを下げたら，Windows XR Plugin が 4.0.2 のまま持ち越せた． 最終的な開発環境は以下． • Unity 2019.4.3f1 • AR Foundation preview.5 – 4.1.0 • AR Subsystems preview.5 – 4.1.0 ・ Windows XR Plugin 4.0.2 ・ HoloLens 2 ・ MRTK v2.4

XR 設定 • Unity 2019.3 以降では XR Plug-in Management を利用． ・ UWP の Plug-in Providers Windows Mixed Reality にチェック． ・ Windows XR Plugin Remoting (旧 Holographic Remoting) を 利用するために PC Standalone の Windows Mixed Reality にチェック．

作りたいもの HoloLens 2 で利用できる AR Foundation の機能は Anchors (旧 Reference Points) くらいしかない． 空間上にアンカーを生成するARアプリを HoloLens 2 で作ってみた． アンカー生成は AR Foundation の AR Anchor Manager を利用した． 当初はMRTKを全く使わずに ARF だけで 実装しようとしたが，とてもつらい気持ちに なったので，補助的にMRTKを利用した．

MRTK の Pointer Result Example を参考 • Pointer を当てたところに禰豆子ちゃんを生成する

AR Anchor Manager • ARAnchorManager.AddAnchor(Pose pose) でアンカー生成 • ARAnchorManager.RemoveAnchor(ARAnchor) でアンカー削除 • HoloLens では ARRaycastHit を サポートしてないため， ARRaycastHit.pose で Pose が作れない ・ Pointerをクリックした位置を取得し，Pose にしようとした．(合っているか微妙)

実行結果 • デプロイしたがうまく映らず，失敗．原因追跡中…． • AR Foundation は実機確認ではないと動かない． ・Unityフォーラムの「AR Foundation on Hololens (Without MRTK?)」で 同じく 「HoloLens × ARF がうまく映らない」と質問があるが， 5月以降何も反応がない． https://forum.unity.com/threads/ar-foundation-on-hololens-without-mrtk.725201/

HoloLens 2 × AR Foundation 4

No content

まとめ • AR Foundation で HoloLens 2 開発はまだ早い． AR Foundation ドキュメントで 「HoloLens」と検索しても 全く当たらない．まだ ARF の HoloLens 対応 について 詳しい説明されているドキュメントは書かれていない．知見がない． About AR Foundation https://docs.unity3d.com/Packages/com.unity.xr.arfoundation@4.1/manual/index.html • MRTK v2.x を使いましょう． HoloLens 2 開発は MRTK v2.x がないとなかなか厳しい． MRTK v2.x に依存しよう．MRTK v2 はいいぞ． • 何か知見がある方は，ご教授お願い致します m(_ _)m • HoloLens 2 開発，地雷箇所が多い… (7/29のMeetup登壇講演楽しみ)