Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

最先端のMRデバイス Magic Leap 2 の可能性を探求

最先端のMRデバイス Magic Leap 2 の可能性を探求

Michael Tedder

November 18, 2023
Tweet

More Decks by Michael Tedder

Other Decks in Technology

Transcript

  1. 最先端のMRデバイス Magic Leap 2 の可能性を探求 LunchTime XR #17 2023年11月18日 (土)

    株式会社コールド・フュージョン テッダー マイケル
  2. $ whoami > テッダー マイケル(2000年アメリカから来日) > 26年間ゲーム業界でリアルタイム3Dとコア部分のゲーム開発   (初代PlayStation 〜 Switchゲーム機 /

    スマホ / PC / Rift VR / AR / MR) > 11年間AWSのクラウドアプリケーション開発(サーバーレス / コンテナ) > JAWS-UG GameTech+札幌運営 / Tokyo Demo Fest実行委員 / AWSコミュニティビルダー > できること: ゲームエンジン開発 / 開発者向けツール開発 / DevOps (CI/CD) アプリ+バックエンド開発 / クラウドアーキテクチャ設計 > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > 最近遊んでるゲーム: Satisfactory / Final Fantasy XI
  3. 今日お話しすること • Magic Leap 2 のハードウェア ◦ ヘッドセット ◦ 本体

    (Compute Pack) ◦ コントローラ • Magic Leap 2 のソフトウェア ◦ OS / 空間認識 ◦ さまざまな機能 ◦ 実用 • Q & A / ライブデモ
  4. Magic Leap 2 のヘッドセット • 4つ内蔵カメラ ◦ 正面RGB 12.6MP (4096

    x 3072 px) x1 ◦ トラッキング用 x3 (合計 170°FoV) • LiDAR (デプス・深度) • 6DoFモーションセンサー • アイトラッキング (x2各目) • 空間オーディオ出力 • マイク (x4) • 重さはたった 260g
  5. Magic Leap 2 のヘッドセット • 3つのトラッキング用カメラ ◦ 正面 x1、左右の角 (x2)

    ◦ グレースケール (1016 x 1016 px) ◦ 各カメラ 113.4°FoV • 各カメラの範囲が 重なることで空間認識 合計 170°FoV が可能
  6. • ディスプレイ (両目) のスペック ◦ 1440 x 1760px、24ビットRGB @ 120fps

    ◦ 最大 2000 nitsの明るさ (テレビは平均 1000くらい) ◦ 広く感じる 70°FoV ▪ ML1/HL2: ~50°FoV ▪ HL1: ~35°FoV • 電源入っていなくても 現実世界は見える (少し薄暗く) Magic Leap 2 のヘッドセット
  7. Magic Leap 2 のヘッドセット • 独自の光学技術「Dimming(調光)」の新機能 ◦ ディスプレイからは現実に 加算のみ の表示

    ◦ 暗くすることで表示が見やすくなる • Global (全体) Dimming ◦ 外からの光をカット • Segmented Dimming ◦ 表示される部分のみを 暗くすることも可能 (解像度が若干低め)
  8. Magic Leap 2 の本体 • CPUスペック ◦ AMD Zen2 x64

    4コア (8スレッド) @ 2.4GHz ▪ 最大 3.92GHz ブースト ◦ カスタム 14コア CVIPエンジン ◦ 4MB L3キャッシュ ◦ 16GB LPDDR5 RAM • GPUスペック (iGPU) ◦ AMD RDNA2 8CU @ 1.1GHz ▪ 最大 1.8GHz ブースト ◦ OpenGL 4.6 / Vulkan 1.3 対応
  9. Magic Leap 2 の本体 • 256GB SSD ストレージ • WiFi

    6 でインターネット接続可能 • Bluetooth対応 • 内蔵バッテリー ◦ 約3.5 時間 (継続) ◦ 最大 7時間 (使用率による) • 音量調整ボタン • USB-C 接続と充電 • ⚠ GPSが搭載されてない
  10. • トラックパッド (表面) • 3つのデジタルボタン (表面 x2、背面 x1) • アナログトリガー

    (背面) • 2つのトラッキング用カメラ • 6DoFモーションセンサー • 赤外線 IR センサー • 触覚フィードバック (振動) • 継続6時間のバッテリー • USB-C で充電 Magic Leap 2 のコントローラ
  11. Magic Leap 2 のOS • Android OS 10 (Q) API

    29 ◦ adb 普通に使える 🎉 ◦ アプリは .apk で提供できる ◦ Android Studio で開発とデバッグが可能 • Magic Leap 2 API は ネーティブC言語で提供 • Unity / Unreal も可能
  12. • ML2は 常に 空間認識処理を行ってる ◦ 複数カメラとLiDARデータで空間を認識 ◦ 自動的に空間の3Dメッシュを作成 / 拡大と改良

    ◦ 空間メッシュに「確信性」メタデータを持つ ▪ 動かない固定物に 高い確信性 ▪ 新規発見物・人などの動く物に 低い確信性 • オンデバイスでは 250m² の空間まで認識が対応 ◦ ARCloud 利用で 1万m²以上 が可能 ▪ Developerライセンス購入が必要 Magic Leap 2 の空間認識
  13. • 空間認識処理と同時に3D座標と回転 (ヘッドポーズ) を分析 • フレーム毎にヘッドポーズを3Dシーンのカメラに指定 ◦ 3Dコンテンツが現実空間と統一される • 3Dシーン

    対 現実の縮尺 (単位) は 1.0 = 1メートル • 例: ヘッド座標から Z -2.0 に (1.0,1.0,1.0) のキューブを描くと 1m² のキューブ (中心) が 2メートル先に表示される Magic Leap 2 の3Dマッピング
  14. • コントローラ使わない入力方法の1つ • 両手を同時に認識できる • 各指を個別に認識 ◦ 少し隠れても大丈夫 • 30fps程度の更新

    • MLGesture API による ジェスチャー認識を対応 ◦ つまむ、指差し、 手のひら、拳など ハンドトラッキング
  15. • 各目の向いてる方向を個別に認識 (各目カメラ2台) • 両眼の輻輳 (ふくそう) を 3D座標として取得できる • 精度は結構荒め

    ◦ うまく取れるには ユーザー毎にヘッドセット のフィット較正を行う 必要がある アイトラッキング
  16. • コンテンツは 現実の上 に 必ず 表示される ◦ リアルで近くにある物体が表示を影響しない • しかし空間認識で3Dメッシュデータはある

    • MLOcclusion APIに よりオクルージョン データを取得できる • 現実で遮蔽されている 物体で表示を変えれる • ⚠ Experimental API • サンプルまだない! オクルージョン(遮蔽・しゃへい) イメージです(加工した画像)
  17. • 壁・地面の平らなとこ以外な場所にも認識が可能 • マーカーの3D座標と回転を取得できる • 小さいサイズ (数cm) でもOK • フォーマット幅広く対応

    ◦ ArUco (アルコ) ◦ AprilTag v2 ◦ QRコード (v1 & v2) ◦ EAN-13 / UPC-A マーカー認識 ※ ズレは画面キャプチャツールによる現象
  18. • アシスタントみたいに音声で操作が可能 ◦ 「Hey Magic Leap, turn the volume down」で

    音量を下げるなど • MLVoiceIntent API によりアプリケーション側の 音声コマンド登録が可能 • 音声認識はオンデバイスで行う ◦ ネットワークアクセス必要ない • 英語・日本語・フランス語など複数言語対応 ◦ ただし、認識言語は OSシステム言語 に限る 音声認識
  19. • 開発環境をもっと便利に使えるツール • ML2のOSアップデート • ML2のアプリ / データ管理 • CPUプロファイル

    / 消費電力の表示 • アプリシミュレータ ◦ ML2持ってなくても 開発ができる! Magic Leap Hub
  20. • PCへの映像ストリーミング ◦ 現実と表示されているコンテンツの合体化 • 972 x 1080 @ 30fps

    • スクリーンショット • 動画 (.mp4) • 直接USB-Cか WiFi環境あれば 無線も可能 Magic Leap Hub
  21. • 建設前は3Dコンテンツ として表示できる • 建設中の建物の内部 ユーティリティ (電源、 水道、ガス、排水など) を3Dで見れる •

    建設完成後でも リフォームなどに役立つ Magic Leap 2 の実用(工事現場) https://www.youtube.com/watch?v=Jy-IKZ2w3aE より
  22. • 本来、心臓にカテーテルを通す時はわかりにくい2D画 面を確認する必要がある • ML2を利用すること でリアルタイム3Dで 表示することが可能 • IEC 60601

    認証を 取得し手術室での 使用が許可されている Magic Leap 2 の実用(医療) https://www.youtube.com/watch?v=UoBiWisaQbM より