最先端のMRデバイス Magic Leap 2 の可能性を探求

Transcript

1. 最先端のMRデバイス Magic Leap 2 の可能性を探求 LunchTime XR #17 2023年11月18日 (土) 株式会社コールド・フュージョン テッダー　マイケル
2. $ whoami > テッダー　マイケル（2000年アメリカから来日） > 26年間ゲーム業界でリアルタイム3Dとコア部分のゲーム開発 　　（初代PlayStation 〜 Switchゲーム機 / スマホ / PC / Rift VR / AR / MR） > 11年間AWSのクラウドアプリケーション開発（サーバーレス / コンテナ） > JAWS-UG GameTech+札幌運営 / Tokyo Demo Fest実行委員 / AWSコミュニティビルダー > できること: ゲームエンジン開発 / 開発者向けツール開発 / DevOps (CI/CD) アプリ+バックエンド開発 / クラウドアーキテクチャ設計 > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > 最近遊んでるゲーム: Satisfactory / Final Fantasy XI
3. 今日お話しすること • Magic Leap 2 のハードウェア ◦ ヘッドセット ◦ 本体 (Compute Pack) ◦ コントローラ • Magic Leap 2 のソフトウェア ◦ OS / 空間認識 ◦ さまざまな機能 ◦ 実用 • Q & A / ライブデモ
4. Magic Leap 2 のハードウェア
5. Magic Leap 2 のヘッドセット • 4つ内蔵カメラ ◦ 正面RGB 12.6MP (4096 x 3072 px) x1 ◦ トラッキング用 x3 (合計 170°FoV) • LiDAR (デプス・深度) • 6DoFモーションセンサー • アイトラッキング (x2各目) • 空間オーディオ出力 • マイク (x4) • 重さはたった 260g
6. Magic Leap 2 のヘッドセット • 3つのトラッキング用カメラ ◦ 正面 x1、左右の角 (x2) ◦ グレースケール (1016 x 1016 px) ◦ 各カメラ 113.4°FoV • 各カメラの範囲が 重なることで空間認識 合計 170°FoV が可能
7. • ディスプレイ (両目) のスペック ◦ 1440 x 1760px、24ビットRGB @ 120fps ◦ 最大 2000 nitsの明るさ (テレビは平均 1000くらい) ◦ 広く感じる 70°FoV ▪ ML1/HL2: ~50°FoV ▪ HL1: ~35°FoV • 電源入っていなくても 現実世界は見える (少し薄暗く) Magic Leap 2 のヘッドセット
8. • 色別(赤緑青)の導波路 (どうはろ) に各LEDパネルを配置 ◦ 導波路と投射レンズを通ってLCoSパネルに照射 ◦ ビームスプリッター (重い) は必要ない • 今後 4x 小さくなるが期待 Magic Leap 2 のヘッドセット
9. Magic Leap 2 のヘッドセット • 独自の光学技術「Dimming（調光）」の新機能 ◦ ディスプレイからは現実に 加算のみ の表示 ◦ 暗くすることで表示が見やすくなる • Global (全体) Dimming ◦ 外からの光をカット • Segmented Dimming ◦ 表示される部分のみを 暗くすることも可能 (解像度が若干低め)
10. Magic Leap 2 の本体 • CPUスペック ◦ AMD Zen2 x64 4コア (8スレッド) @ 2.4GHz ▪ 最大 3.92GHz ブースト ◦ カスタム 14コア CVIPエンジン ◦ 4MB L3キャッシュ ◦ 16GB LPDDR5 RAM • GPUスペック (iGPU) ◦ AMD RDNA2 8CU @ 1.1GHz ▪ 最大 1.8GHz ブースト ◦ OpenGL 4.6 / Vulkan 1.3 対応
11. Magic Leap 2 の本体 https://en.wikipedia.org/wiki/RDNA_2#Consoles より
12. Magic Leap 2 の本体 • 256GB SSD ストレージ • WiFi 6 でインターネット接続可能 • Bluetooth対応 • 内蔵バッテリー ◦ 約3.5 時間 (継続) ◦ 最大 7時間 (使用率による) • 音量調整ボタン • USB-C 接続と充電 • ⚠ GPSが搭載されてない
13. • トラックパッド (表面) • 3つのデジタルボタン (表面 x2、背面 x1) • アナログトリガー (背面) • 2つのトラッキング用カメラ • 6DoFモーションセンサー • 赤外線 IR センサー • 触覚フィードバック (振動) • 継続6時間のバッテリー • USB-C で充電 Magic Leap 2 のコントローラ
14. Magic Leap 2 のソフトウェア
15. Magic Leap 2 のOS • Android OS 10 (Q) API 29 ◦ adb 普通に使える 🎉 ◦ アプリは .apk で提供できる ◦ Android Studio で開発とデバッグが可能 • Magic Leap 2 API は ネーティブC言語で提供 • Unity / Unreal も可能
16. • ML2は 常に 空間認識処理を行ってる ◦ 複数カメラとLiDARデータで空間を認識 ◦ 自動的に空間の3Dメッシュを作成 / 拡大と改良 ◦ 空間メッシュに「確信性」メタデータを持つ ▪ 動かない固定物に 高い確信性 ▪ 新規発見物・人などの動く物に 低い確信性 • オンデバイスでは 250m² の空間まで認識が対応 ◦ ARCloud 利用で 1万m²以上 が可能 ▪ Developerライセンス購入が必要 Magic Leap 2 の空間認識
17. Magic Leap 2 の空間認識
18. • 空間認識処理と同時に3D座標と回転 (ヘッドポーズ) を分析 • フレーム毎にヘッドポーズを3Dシーンのカメラに指定 ◦ 3Dコンテンツが現実空間と統一される • 3Dシーン 対 現実の縮尺 (単位) は 1.0 = 1メートル • 例: ヘッド座標から Z -2.0 に (1.0,1.0,1.0) のキューブを描くと 1m² のキューブ (中心) が 2メートル先に表示される Magic Leap 2 の3Dマッピング
19. • コントローラ使わない入力方法の１つ • 両手を同時に認識できる • 各指を個別に認識 ◦ 少し隠れても大丈夫 • 30fps程度の更新 • MLGesture API による ジェスチャー認識を対応 ◦ つまむ、指差し、 手のひら、拳など ハンドトラッキング
20. • 各目の向いてる方向を個別に認識 (各目カメラ2台) • 両眼の輻輳 (ふくそう) を 3D座標として取得できる • 精度は結構荒め ◦ うまく取れるには ユーザー毎にヘッドセット のフィット較正を行う 必要がある アイトラッキング
21. • コンテンツは 現実の上 に 必ず 表示される ◦ リアルで近くにある物体が表示を影響しない • しかし空間認識で3Dメッシュデータはある • MLOcclusion APIに よりオクルージョン データを取得できる • 現実で遮蔽されている 物体で表示を変えれる • ⚠ Experimental API • サンプルまだない！ オクルージョン（遮蔽・しゃへい） イメージです（加工した画像）
22. • 壁・地面の平らなとこ以外な場所にも認識が可能 • マーカーの3D座標と回転を取得できる • 小さいサイズ (数cm) でもOK • フォーマット幅広く対応 ◦ ArUco (アルコ) ◦ AprilTag v2 ◦ QRコード (v1 & v2) ◦ EAN-13 / UPC-A マーカー認識 ※ ズレは画面キャプチャツールによる現象
23. • アシスタントみたいに音声で操作が可能 ◦ 「Hey Magic Leap, turn the volume down」で 音量を下げるなど • MLVoiceIntent API によりアプリケーション側の 音声コマンド登録が可能 • 音声認識はオンデバイスで行う ◦ ネットワークアクセス必要ない • 英語・日本語・フランス語など複数言語対応 ◦ ただし、認識言語は OSシステム言語 に限る 音声認識
24. • 複数人がそれぞれの違う視点で同じ3Dコンテンツを見 ることができる ◦ リモート参加も可能 • ただし、ARCloud (Developerライセンス) が必要 空間共有
25. • Khronosグループが開発した VR/AR/XR 共通のオー プン標準API • ML2 がネイティブで対応 ◦ C言語サンプルある • ウェブブラウザ内で 動く WebXR にも対応 OpenXR / WebXR
26. • 開発環境をもっと便利に使えるツール • ML2のOSアップデート • ML2のアプリ / データ管理 • CPUプロファイル / 消費電力の表示 • アプリシミュレータ ◦ ML2持ってなくても 開発ができる！ Magic Leap Hub
27. • PCへの映像ストリーミング ◦ 現実と表示されているコンテンツの合体化 • 972 x 1080 @ 30fps • スクリーンショット • 動画 (.mp4) • 直接USB-Cか WiFi環境あれば 無線も可能 Magic Leap Hub
28. • 建設前は3Dコンテンツ として表示できる • 建設中の建物の内部 ユーティリティ (電源、 水道、ガス、排水など) を3Dで見れる • 建設完成後でも リフォームなどに役立つ Magic Leap 2 の実用（工事現場） https://www.youtube.com/watch?v=Jy-IKZ2w3aE より
29. • 本来、心臓にカテーテルを通す時はわかりにくい2D画 面を確認する必要がある • ML2を利用すること でリアルタイム3Dで 表示することが可能 • IEC 60601 認証を 取得し手術室での 使用が許可されている Magic Leap 2 の実用（医療） https://www.youtube.com/watch?v=UoBiWisaQbM より
30. Q & A / ライブデモ
31. ご清聴ありがとうございます！ 本資料は SpeakerDeck に公開されています！ https://bit.ly/ml2explore