本日のめざましテレビにて HoloLens 2 の姿が映っていた！？ Tokyo HoloLens Meetup vol. 22 Lighting Talk

自己紹介 【名前/ハンドルネーム】 初鹿 デニック (Hatsushika Denik) / デニキ 【Twitter】 @xrdnk (真面目な方のアカウント) twitter アイコンはよく見ると DENIK になっている 【職歴とか】 TIS 株式会社 インキュベーションセンター 19年度入社 新規事業開発担当事業部（ベンチャー寄りに近い） XR チームの 新米 XR Developer として従事中

はじめに

本日めざましテレビにて アナウンサーの方が HoloLens 2を被って，アバターとコミュニケーションを取っているぞ…！？！？

このアプリの正体

TeleAttend｜概要 物理的に遠く離れた別の場所にいる相手と同じ空間を共有しているような体験を提供 遠隔コミュニケーションやリアル空間とバーチャル空間が融合したアクティビティを可能にするサービス FYI: TeleAttend https://www.tis.jp/service_solution/teleattend/

TeleAttend｜対応デバイス • VR側 Open VR 今のところ Oculus Rift S， Oculus Quest / Quest 2 + Link で利用している 将来的には Link なしで Quest 2 向けも開発を視野 ・ AR側 Mobile AR (iOS / Android） AR Foundation を利用． ARKit / Android が利用できる端末． 見ることの出来る広さ的にiPadを利用することが多い． 今まで AR Glasses 版はなかった コンテンツ東京向けにHoloLens 2 版を作ることに

どうやって作ったか？

TeleAttend HoloLens 2｜実装の流れ Mobile AR 版で基本は既に出来ていたので，HoloLens 2 で使えるように実装 • UI が頭部に追従できるように Unity Canvas を MRTK Canvas にして Solver を追加した • MRTK Keyboard が利用できるようにした • HoloLens 2 × Photon Unity Networking 2 との闘いを繰り広げた 例えば… • Windows 10 SDK 10.0.19041.0 だと Photon Network が繋がらない問題 → アンスコして，Windows 10 SDK 10.0.18362 にした • ARM64 Build だと Photon Voice が使えない問題 → 今まで ARM64 Build でやってたマンだが，今回は ARM にした • そして最後に重要なの機能として，位置合わせ機能が……

TeleAttend HoloLens 2｜位置合わせの実装 バーチャル空間とリアル空間の座標一致のためにキャリブレーションが必要 • Mobile AR 版 AR Foundation の Image Tracking で画像を認識し， 認識した画像をアンカー（基準点）として利用 ・ HoloLens 2 版 現在では HoloLens 2 で AR Foundation の Image Tracking 機能が使えない… 過去に HoloLens 2 × AR Foundation を試みたが上手く行かなかった 既存の機能(Image Tracking)が使えない… Mobile AR の Image Tracking で行っているのを なんとか HoloLens 2 でも同様に行えないものか

TeleAttend HoloLens 2｜QRCodeTracking HoloLens 2 は QRCode Tracking が提供されている 直近では，Microsoft MVPの堀尾さんが詳しく説明しておりますので，ご参考に FYI : HoloLens 2 QRコードトラッキング (追跡) サンプルを試してみる 【Unity】 https://qiita.com/Futo_Horio/items/83284b6732ce97150181 サンプルシーン自体は QRCode でデータを読み込む所まで 位置合わせ処理を自力で実装する必要がある

色々試行錯誤したが難しい… と思った矢先，救いの手が

Kobe HoloLens Meetup vol.3 (3週間前） Microsoft MVP の宮浦さんの発表より

これは TeleAttend® に 埋め込むしかないじゃない…

TeleAttend HoloLens 2｜World Locking Tools アンカー管理サービスの一つ．広域な空間マッピングが実現できます． Azure Spatial Anchors(ASA)や最近話題のAzure Object Anchors(AOA)の仲間 と理解しています． なかなか概念の把握が難しいです．説明する時間もありませんので，省きます． 偉大なる先人 Microsoft MVP の方々の記事や資料を参考にしてください． FYI : WorldLockingToolsについて https://www.tattichan.work/entry/2020/04/26/WorldLockingTools%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6 FYI： World Locking Toolsについて調べている話 https://www.slideshare.net/TakahiroMiyaura/world-locking-tools20200422-232406548

TeleAttend HoloLens 2｜QRSpacePin World Locking Tools Samples リポジトリにあるシーンです． 概要は宮浦さんが説明しておりますので，ご参考ください． いずれ詳細については後日ブログに説明する予定です． FYI : World Locking Tools V1.0.0について～ 機能と導入 ～ https://www.slideshare.net/TakahiroMiyaura/world-locking-tools-v100

TeleAttend HoloLens 2｜QRCode の作り方 ＜要件＞ • AR Foundation の Image Tracking で読み込めて識別できる • HoloLens 2 の QRCode で読み込めて識別できる QRCode に 数字を入れた → Image Tracking と QRCode Tracking 両方読込と識別ができた

TeleAttend HoloLens 2｜QRCode オブジェクトの座標軸 QRCodeのオブジェクトの座標軸に注意！！ これを守らないと位置合わせがおかしくなる！！ X軸（赤）： 右向きが正 Y軸（緑）： 下向きが正 Z軸（青）： カメラへ向かってくる側が正（反時計回りが正） Y軸（緑） X軸（赤） Z軸（青）

体験動画

TeleAttend HoloLens 2｜体験動画 AR(HoloLens 2)側の視点 VR側の視点

TeleAttend HoloLens 2｜第三者視点 第三者視点から見るとこんな感じ．

結構盛況でした

おわりに

じゃなくて

宣伝

TeleAttend展示中・実証実験中 良ければ体験してくだしあ コンテンツ東京（ビッグサイト）で 「TeleAttend」展示中！！ 大阪万博記念公園で 「TeleAttend」実証実験中！！