Slide 1

Slide 1 text

最先端のMRデバイス Magic Leap 2 の可能性を探求 LunchTime XR #17 2023年11月18日 (土) 株式会社コールド・フュージョン テッダー マイケル

Slide 2

Slide 2 text

$ whoami > テッダー マイケル(2000年アメリカから来日) > 26年間ゲーム業界でリアルタイム3Dとコア部分のゲーム開発   (初代PlayStation 〜 Switchゲーム機 / スマホ / PC / Rift VR / AR / MR) > 11年間AWSのクラウドアプリケーション開発(サーバーレス / コンテナ) > JAWS-UG GameTech+札幌運営 / Tokyo Demo Fest実行委員 / AWSコミュニティビルダー > できること: ゲームエンジン開発 / 開発者向けツール開発 / DevOps (CI/CD) アプリ+バックエンド開発 / クラウドアーキテクチャ設計 > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > 最近遊んでるゲーム: Satisfactory / Final Fantasy XI

Slide 3

Slide 3 text

今日お話しすること ● Magic Leap 2 のハードウェア ○ ヘッドセット ○ 本体 (Compute Pack) ○ コントローラ ● Magic Leap 2 のソフトウェア ○ OS / 空間認識 ○ さまざまな機能 ○ 実用 ● Q & A / ライブデモ

Slide 4

Slide 4 text

Magic Leap 2 のハードウェア

Slide 5

Slide 5 text

Magic Leap 2 のヘッドセット ● 4つ内蔵カメラ ○ 正面RGB 12.6MP (4096 x 3072 px) x1 ○ トラッキング用 x3 (合計 170°FoV) ● LiDAR (デプス・深度) ● 6DoFモーションセンサー ● アイトラッキング (x2各目) ● 空間オーディオ出力 ● マイク (x4) ● 重さはたった 260g

Slide 6

Slide 6 text

Magic Leap 2 のヘッドセット ● 3つのトラッキング用カメラ ○ 正面 x1、左右の角 (x2) ○ グレースケール (1016 x 1016 px) ○ 各カメラ 113.4°FoV ● 各カメラの範囲が 重なることで空間認識 合計 170°FoV が可能

Slide 7

Slide 7 text

● ディスプレイ (両目) のスペック ○ 1440 x 1760px、24ビットRGB @ 120fps ○ 最大 2000 nitsの明るさ (テレビは平均 1000くらい) ○ 広く感じる 70°FoV ■ ML1/HL2: ~50°FoV ■ HL1: ~35°FoV ● 電源入っていなくても 現実世界は見える (少し薄暗く) Magic Leap 2 のヘッドセット

Slide 8

Slide 8 text

● 色別(赤緑青)の導波路 (どうはろ) に各LEDパネルを配置 ○ 導波路と投射レンズを通ってLCoSパネルに照射 ○ ビームスプリッター (重い) は必要ない ● 今後 4x 小さくなるが期待 Magic Leap 2 のヘッドセット

Slide 9

Slide 9 text

Magic Leap 2 のヘッドセット ● 独自の光学技術「Dimming(調光)」の新機能 ○ ディスプレイからは現実に 加算のみ の表示 ○ 暗くすることで表示が見やすくなる ● Global (全体) Dimming ○ 外からの光をカット ● Segmented Dimming ○ 表示される部分のみを 暗くすることも可能 (解像度が若干低め)

Slide 10

Slide 10 text

Magic Leap 2 の本体 ● CPUスペック ○ AMD Zen2 x64 4コア (8スレッド) @ 2.4GHz ■ 最大 3.92GHz ブースト ○ カスタム 14コア CVIPエンジン ○ 4MB L3キャッシュ ○ 16GB LPDDR5 RAM ● GPUスペック (iGPU) ○ AMD RDNA2 8CU @ 1.1GHz ■ 最大 1.8GHz ブースト ○ OpenGL 4.6 / Vulkan 1.3 対応

Slide 11

Slide 11 text

Magic Leap 2 の本体 https://en.wikipedia.org/wiki/RDNA_2#Consoles より

Slide 12

Slide 12 text

Magic Leap 2 の本体 ● 256GB SSD ストレージ ● WiFi 6 でインターネット接続可能 ● Bluetooth対応 ● 内蔵バッテリー ○ 約3.5 時間 (継続) ○ 最大 7時間 (使用率による) ● 音量調整ボタン ● USB-C 接続と充電 ● ⚠ GPSが搭載されてない

Slide 13

Slide 13 text

● トラックパッド (表面) ● 3つのデジタルボタン (表面 x2、背面 x1) ● アナログトリガー (背面) ● 2つのトラッキング用カメラ ● 6DoFモーションセンサー ● 赤外線 IR センサー ● 触覚フィードバック (振動) ● 継続6時間のバッテリー ● USB-C で充電 Magic Leap 2 のコントローラ

Slide 14

Slide 14 text

Magic Leap 2 のソフトウェア

Slide 15

Slide 15 text

Magic Leap 2 のOS ● Android OS 10 (Q) API 29 ○ adb 普通に使える 🎉 ○ アプリは .apk で提供できる ○ Android Studio で開発とデバッグが可能 ● Magic Leap 2 API は ネーティブC言語で提供 ● Unity / Unreal も可能

Slide 16

Slide 16 text

● ML2は 常に 空間認識処理を行ってる ○ 複数カメラとLiDARデータで空間を認識 ○ 自動的に空間の3Dメッシュを作成 / 拡大と改良 ○ 空間メッシュに「確信性」メタデータを持つ ■ 動かない固定物に 高い確信性 ■ 新規発見物・人などの動く物に 低い確信性 ● オンデバイスでは 250m² の空間まで認識が対応 ○ ARCloud 利用で 1万m²以上 が可能 ■ Developerライセンス購入が必要 Magic Leap 2 の空間認識

Slide 17

Slide 17 text

Magic Leap 2 の空間認識

Slide 18

Slide 18 text

● 空間認識処理と同時に3D座標と回転 (ヘッドポーズ) を分析 ● フレーム毎にヘッドポーズを3Dシーンのカメラに指定 ○ 3Dコンテンツが現実空間と統一される ● 3Dシーン 対 現実の縮尺 (単位) は 1.0 = 1メートル ● 例: ヘッド座標から Z -2.0 に (1.0,1.0,1.0) のキューブを描くと 1m² のキューブ (中心) が 2メートル先に表示される Magic Leap 2 の3Dマッピング

Slide 19

Slide 19 text

● コントローラ使わない入力方法の1つ ● 両手を同時に認識できる ● 各指を個別に認識 ○ 少し隠れても大丈夫 ● 30fps程度の更新 ● MLGesture API による ジェスチャー認識を対応 ○ つまむ、指差し、 手のひら、拳など ハンドトラッキング

Slide 20

Slide 20 text

● 各目の向いてる方向を個別に認識 (各目カメラ2台) ● 両眼の輻輳 (ふくそう) を 3D座標として取得できる ● 精度は結構荒め ○ うまく取れるには ユーザー毎にヘッドセット のフィット較正を行う 必要がある アイトラッキング

Slide 21

Slide 21 text

● コンテンツは 現実の上 に 必ず 表示される ○ リアルで近くにある物体が表示を影響しない ● しかし空間認識で3Dメッシュデータはある ● MLOcclusion APIに よりオクルージョン データを取得できる ● 現実で遮蔽されている 物体で表示を変えれる ● ⚠ Experimental API ● サンプルまだない! オクルージョン(遮蔽・しゃへい) イメージです(加工した画像)

Slide 22

Slide 22 text

● 壁・地面の平らなとこ以外な場所にも認識が可能 ● マーカーの3D座標と回転を取得できる ● 小さいサイズ (数cm) でもOK ● フォーマット幅広く対応 ○ ArUco (アルコ) ○ AprilTag v2 ○ QRコード (v1 & v2) ○ EAN-13 / UPC-A マーカー認識 ※ ズレは画面キャプチャツールによる現象

Slide 23

Slide 23 text

● アシスタントみたいに音声で操作が可能 ○ 「Hey Magic Leap, turn the volume down」で 音量を下げるなど ● MLVoiceIntent API によりアプリケーション側の 音声コマンド登録が可能 ● 音声認識はオンデバイスで行う ○ ネットワークアクセス必要ない ● 英語・日本語・フランス語など複数言語対応 ○ ただし、認識言語は OSシステム言語 に限る 音声認識

Slide 24

Slide 24 text

● 複数人がそれぞれの違う視点で同じ3Dコンテンツを見 ることができる ○ リモート参加も可能 ● ただし、ARCloud (Developerライセンス) が必要 空間共有

Slide 25

Slide 25 text

● Khronosグループが開発した VR/AR/XR 共通のオー プン標準API ● ML2 がネイティブで対応 ○ C言語サンプルある ● ウェブブラウザ内で 動く WebXR にも対応 OpenXR / WebXR

Slide 26

Slide 26 text

● 開発環境をもっと便利に使えるツール ● ML2のOSアップデート ● ML2のアプリ / データ管理 ● CPUプロファイル / 消費電力の表示 ● アプリシミュレータ ○ ML2持ってなくても 開発ができる! Magic Leap Hub

Slide 27

Slide 27 text

● PCへの映像ストリーミング ○ 現実と表示されているコンテンツの合体化 ● 972 x 1080 @ 30fps ● スクリーンショット ● 動画 (.mp4) ● 直接USB-Cか WiFi環境あれば 無線も可能 Magic Leap Hub

Slide 28

Slide 28 text

● 建設前は3Dコンテンツ として表示できる ● 建設中の建物の内部 ユーティリティ (電源、 水道、ガス、排水など) を3Dで見れる ● 建設完成後でも リフォームなどに役立つ Magic Leap 2 の実用(工事現場) https://www.youtube.com/watch?v=Jy-IKZ2w3aE より

Slide 29

Slide 29 text

● 本来、心臓にカテーテルを通す時はわかりにくい2D画 面を確認する必要がある ● ML2を利用すること でリアルタイム3Dで 表示することが可能 ● IEC 60601 認証を 取得し手術室での 使用が許可されている Magic Leap 2 の実用(医療) https://www.youtube.com/watch?v=UoBiWisaQbM より

Slide 30

Slide 30 text

Q & A / ライブデモ

Slide 31

Slide 31 text

ご清聴ありがとうございます! 本資料は SpeakerDeck に公開されています! https://bit.ly/ml2explore