Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
最先端のMRデバイス Magic Leap 2 の可能性を探求 LunchTime XR #17 2023年11月18日 (土) 株式会社コールド・フュージョン テッダー マイケル
Slide 2
Slide 2 text
$ whoami > テッダー マイケル(2000年アメリカから来日) > 26年間ゲーム業界でリアルタイム3Dとコア部分のゲーム開発 (初代PlayStation 〜 Switchゲーム機 / スマホ / PC / Rift VR / AR / MR) > 11年間AWSのクラウドアプリケーション開発(サーバーレス / コンテナ) > JAWS-UG GameTech+札幌運営 / Tokyo Demo Fest実行委員 / AWSコミュニティビルダー > できること: ゲームエンジン開発 / 開発者向けツール開発 / DevOps (CI/CD) アプリ+バックエンド開発 / クラウドアーキテクチャ設計 > 好きな言語: C++17 / GLSL / ASM (x64/ARM/6502/MIPS) / PHP / TypeScript > 最近遊んでるゲーム: Satisfactory / Final Fantasy XI
Slide 3
Slide 3 text
今日お話しすること ● Magic Leap 2 のハードウェア ○ ヘッドセット ○ 本体 (Compute Pack) ○ コントローラ ● Magic Leap 2 のソフトウェア ○ OS / 空間認識 ○ さまざまな機能 ○ 実用 ● Q & A / ライブデモ
Slide 4
Slide 4 text
Magic Leap 2 のハードウェア
Slide 5
Slide 5 text
Magic Leap 2 のヘッドセット ● 4つ内蔵カメラ ○ 正面RGB 12.6MP (4096 x 3072 px) x1 ○ トラッキング用 x3 (合計 170°FoV) ● LiDAR (デプス・深度) ● 6DoFモーションセンサー ● アイトラッキング (x2各目) ● 空間オーディオ出力 ● マイク (x4) ● 重さはたった 260g
Slide 6
Slide 6 text
Magic Leap 2 のヘッドセット ● 3つのトラッキング用カメラ ○ 正面 x1、左右の角 (x2) ○ グレースケール (1016 x 1016 px) ○ 各カメラ 113.4°FoV ● 各カメラの範囲が 重なることで空間認識 合計 170°FoV が可能
Slide 7
Slide 7 text
● ディスプレイ (両目) のスペック ○ 1440 x 1760px、24ビットRGB @ 120fps ○ 最大 2000 nitsの明るさ (テレビは平均 1000くらい) ○ 広く感じる 70°FoV ■ ML1/HL2: ~50°FoV ■ HL1: ~35°FoV ● 電源入っていなくても 現実世界は見える (少し薄暗く) Magic Leap 2 のヘッドセット
Slide 8
Slide 8 text
● 色別(赤緑青)の導波路 (どうはろ) に各LEDパネルを配置 ○ 導波路と投射レンズを通ってLCoSパネルに照射 ○ ビームスプリッター (重い) は必要ない ● 今後 4x 小さくなるが期待 Magic Leap 2 のヘッドセット
Slide 9
Slide 9 text
Magic Leap 2 のヘッドセット ● 独自の光学技術「Dimming(調光)」の新機能 ○ ディスプレイからは現実に 加算のみ の表示 ○ 暗くすることで表示が見やすくなる ● Global (全体) Dimming ○ 外からの光をカット ● Segmented Dimming ○ 表示される部分のみを 暗くすることも可能 (解像度が若干低め)
Slide 10
Slide 10 text
Magic Leap 2 の本体 ● CPUスペック ○ AMD Zen2 x64 4コア (8スレッド) @ 2.4GHz ■ 最大 3.92GHz ブースト ○ カスタム 14コア CVIPエンジン ○ 4MB L3キャッシュ ○ 16GB LPDDR5 RAM ● GPUスペック (iGPU) ○ AMD RDNA2 8CU @ 1.1GHz ■ 最大 1.8GHz ブースト ○ OpenGL 4.6 / Vulkan 1.3 対応
Slide 11
Slide 11 text
Magic Leap 2 の本体 https://en.wikipedia.org/wiki/RDNA_2#Consoles より
Slide 12
Slide 12 text
Magic Leap 2 の本体 ● 256GB SSD ストレージ ● WiFi 6 でインターネット接続可能 ● Bluetooth対応 ● 内蔵バッテリー ○ 約3.5 時間 (継続) ○ 最大 7時間 (使用率による) ● 音量調整ボタン ● USB-C 接続と充電 ● ⚠ GPSが搭載されてない
Slide 13
Slide 13 text
● トラックパッド (表面) ● 3つのデジタルボタン (表面 x2、背面 x1) ● アナログトリガー (背面) ● 2つのトラッキング用カメラ ● 6DoFモーションセンサー ● 赤外線 IR センサー ● 触覚フィードバック (振動) ● 継続6時間のバッテリー ● USB-C で充電 Magic Leap 2 のコントローラ
Slide 14
Slide 14 text
Magic Leap 2 のソフトウェア
Slide 15
Slide 15 text
Magic Leap 2 のOS ● Android OS 10 (Q) API 29 ○ adb 普通に使える 🎉 ○ アプリは .apk で提供できる ○ Android Studio で開発とデバッグが可能 ● Magic Leap 2 API は ネーティブC言語で提供 ● Unity / Unreal も可能
Slide 16
Slide 16 text
● ML2は 常に 空間認識処理を行ってる ○ 複数カメラとLiDARデータで空間を認識 ○ 自動的に空間の3Dメッシュを作成 / 拡大と改良 ○ 空間メッシュに「確信性」メタデータを持つ ■ 動かない固定物に 高い確信性 ■ 新規発見物・人などの動く物に 低い確信性 ● オンデバイスでは 250m² の空間まで認識が対応 ○ ARCloud 利用で 1万m²以上 が可能 ■ Developerライセンス購入が必要 Magic Leap 2 の空間認識
Slide 17
Slide 17 text
Magic Leap 2 の空間認識
Slide 18
Slide 18 text
● 空間認識処理と同時に3D座標と回転 (ヘッドポーズ) を分析 ● フレーム毎にヘッドポーズを3Dシーンのカメラに指定 ○ 3Dコンテンツが現実空間と統一される ● 3Dシーン 対 現実の縮尺 (単位) は 1.0 = 1メートル ● 例: ヘッド座標から Z -2.0 に (1.0,1.0,1.0) のキューブを描くと 1m² のキューブ (中心) が 2メートル先に表示される Magic Leap 2 の3Dマッピング
Slide 19
Slide 19 text
● コントローラ使わない入力方法の1つ ● 両手を同時に認識できる ● 各指を個別に認識 ○ 少し隠れても大丈夫 ● 30fps程度の更新 ● MLGesture API による ジェスチャー認識を対応 ○ つまむ、指差し、 手のひら、拳など ハンドトラッキング
Slide 20
Slide 20 text
● 各目の向いてる方向を個別に認識 (各目カメラ2台) ● 両眼の輻輳 (ふくそう) を 3D座標として取得できる ● 精度は結構荒め ○ うまく取れるには ユーザー毎にヘッドセット のフィット較正を行う 必要がある アイトラッキング
Slide 21
Slide 21 text
● コンテンツは 現実の上 に 必ず 表示される ○ リアルで近くにある物体が表示を影響しない ● しかし空間認識で3Dメッシュデータはある ● MLOcclusion APIに よりオクルージョン データを取得できる ● 現実で遮蔽されている 物体で表示を変えれる ● ⚠ Experimental API ● サンプルまだない! オクルージョン(遮蔽・しゃへい) イメージです(加工した画像)
Slide 22
Slide 22 text
● 壁・地面の平らなとこ以外な場所にも認識が可能 ● マーカーの3D座標と回転を取得できる ● 小さいサイズ (数cm) でもOK ● フォーマット幅広く対応 ○ ArUco (アルコ) ○ AprilTag v2 ○ QRコード (v1 & v2) ○ EAN-13 / UPC-A マーカー認識 ※ ズレは画面キャプチャツールによる現象
Slide 23
Slide 23 text
● アシスタントみたいに音声で操作が可能 ○ 「Hey Magic Leap, turn the volume down」で 音量を下げるなど ● MLVoiceIntent API によりアプリケーション側の 音声コマンド登録が可能 ● 音声認識はオンデバイスで行う ○ ネットワークアクセス必要ない ● 英語・日本語・フランス語など複数言語対応 ○ ただし、認識言語は OSシステム言語 に限る 音声認識
Slide 24
Slide 24 text
● 複数人がそれぞれの違う視点で同じ3Dコンテンツを見 ることができる ○ リモート参加も可能 ● ただし、ARCloud (Developerライセンス) が必要 空間共有
Slide 25
Slide 25 text
● Khronosグループが開発した VR/AR/XR 共通のオー プン標準API ● ML2 がネイティブで対応 ○ C言語サンプルある ● ウェブブラウザ内で 動く WebXR にも対応 OpenXR / WebXR
Slide 26
Slide 26 text
● 開発環境をもっと便利に使えるツール ● ML2のOSアップデート ● ML2のアプリ / データ管理 ● CPUプロファイル / 消費電力の表示 ● アプリシミュレータ ○ ML2持ってなくても 開発ができる! Magic Leap Hub
Slide 27
Slide 27 text
● PCへの映像ストリーミング ○ 現実と表示されているコンテンツの合体化 ● 972 x 1080 @ 30fps ● スクリーンショット ● 動画 (.mp4) ● 直接USB-Cか WiFi環境あれば 無線も可能 Magic Leap Hub
Slide 28
Slide 28 text
● 建設前は3Dコンテンツ として表示できる ● 建設中の建物の内部 ユーティリティ (電源、 水道、ガス、排水など) を3Dで見れる ● 建設完成後でも リフォームなどに役立つ Magic Leap 2 の実用(工事現場) https://www.youtube.com/watch?v=Jy-IKZ2w3aE より
Slide 29
Slide 29 text
● 本来、心臓にカテーテルを通す時はわかりにくい2D画 面を確認する必要がある ● ML2を利用すること でリアルタイム3Dで 表示することが可能 ● IEC 60601 認証を 取得し手術室での 使用が許可されている Magic Leap 2 の実用(医療) https://www.youtube.com/watch?v=UoBiWisaQbM より
Slide 30
Slide 30 text
Q & A / ライブデモ
Slide 31
Slide 31 text
ご清聴ありがとうございます! 本資料は SpeakerDeck に公開されています! https://bit.ly/ml2explore