あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 2022-09-11 11:05~11:45 iOSDC Japan 2022 Track E レギュラートーク
株式会社ZOZO 技術本部技術戦略部創造開発ブロック / CTOブロックブロック長 / XR Specialist 諸星一行 a.k.a @ikkou (HEAVEN chan) Copyright © ZOZO, Inc. Speaker Deck 公開版

• 本資料はSpeaker Deckに公開済みです！ ◦ URLはハッシュタグ #iOSDC つきでツイート済みです！ • 録画映像は 2022-08-28
現在の情報に基づいています！ • 表記上、®マークや™マークを省略しています • Speaker Deck公開版の資料はPDF化しているため動画等が再生されませんはじめに

© ZOZO, Inc. 2022-09-11 iOSDC Japan 2022 - あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 Speaker
Deck 公開版 Snap社のCustom Landmarker、ARCoreのGeospatial API、Niantic社の Lightship、そしてARKit 6で東京にも対応したLocation Anchorなど、これらはすべてVPSと呼ばれるものです。ここで言うVPSは“Virtual Private Server”ではなく“Visual Positioning System” です。緯度経度をもとにするGPSこと“Global Positioning System”に対し、画像による空間情報をもとに自己位置推定する技術がVPSです。本セッションでは、今後ARにおける重大な要素技術となりうる"VPS"そのものとその周辺技術、実例や概況に加え、VPSソリューションを用いた「実際に動作するデモ」を交えて解説します。プロポーザル

Deck 公開版 ZOZO, Inc. 創造開発ブロック / CTOブロック DevRel 諸星一行 a.k.a @ikkou Avatar Name: HEAVEN chan XR(VR/AR/MR) × Fashionという軸で試行錯誤中メタバースやWeb3も守備範囲 • 2022-2023 Microsoft MVP for Mixed Reality • 日本バーチャルリアリティ学会VR技術者 • 知的財産管理技能士 TwitterではHEAVEN chanとして生きていますがVTuberではありません:) https://twitter.com/ikkou

Deck 公開版こんな人です iOS 15.4におけるWebXR Device APIの現状確認 Zenn #WebXR ( WebVR/WebAR ) の現状確認 2021 Winter Zenn コロナ禍におけるWebXR (WebVR/WebAR ) のイマ！ CEDEC2021 WebXR 最前線 2022 メタバースとWeb3を添えて CEDEC2022 iOSではじめるWebAR iOSDC Japan 2020 iOSではじめるWebAR 2021 iOSDC Japan 2021

Deck 公開版本日お話しすること 1. VPSとはなにか? 2. 既にこんなにあるVPS 3. 来たるべきVPS時代

VPSとはなにか? Source: https://unsplash.com/photos/Q1p7bh3SHj8

Deck 公開版 VPSとはなにか? • カメラ経由で得た周囲の映像と、事前に登録されている周囲の情報を照合して、「位置」と「向き」を高精度で合わせる技術 • GPSよりも高精度での位置合わせを実現できる • 現実世界に作用する「AR」と相性が良い画像引用元: ARを進化させる「VPS」とは？特定の位置と向きに ARを表示する仕組みを解説｜ TIME＆SPACE by KDDI 画像引用元: Lightship VPS – Niantic Lightship Persist AR content across sessions and users

Deck 公開版 HYPER-REALITYの世界画像引用元: HYPER-REALITY - Keiichi Matsuda, 2016 Question: 「HYPER-REALITY」の世界はVPSが普及すれば遠くない?

Deck 公開版既に実現できる世界動画提供: https://twitter.com/korinVR/status/1527212311861411840 - こりん@VR (@korinVR), 2022 「ARCore Geospatial APIによる位置合わせ」と「PLATEAUを利用したオクルージョン」で実現

Deck 公開版 Yelp's Monocle 画像引用元: Updated Yelp for Android lets you explore menus (pictures) - CNET 2012 周囲の状況に応じてコンテンツを重畳するコンセプトはこれまでにも複数存在している

Deck 公開版セカイカメラ画像引用元: SekaiCameraDemoVideo of TechCrunch50 - tonchidot, 2008 iPhone 3Gと同じ2008年にリリースされた「セカイカメラ」はカメラ映像 + GPS + 方位磁石でエアタグを平面に重畳

Deck 公開版 ARの定義 • ARはAugmented Realityの略、学術的な日本語訳は拡張現実感 ◦ AppleのAR関連ライブラリはARKit、汎用的なライブラリの先駆けは“国産”のARToolKit • 15,000件近い被引用数を誇るAzuma氏の“A Survey of Augmented Reality”に拠るARの構成要素は次の3つ 1. Combines real and virtual 現実世界とバーチャルな世界の組み合わせ 2. Interactive in real time 実時間で動作する 3. Registered in 3-D 三次元の整合性が取れている Real desk with virtual lamp and two virtual chairs. 画像引用元: A Survey of Augmented Reality, Azuma 1997

Deck 公開版 ARの種類 1. Vision based AR ◦ 1.1Marker-based AR ▪ マーカーに基づいてコンテンツを重畳する • 二次元コード、ポスターなど事前に定めたものの画像認識 etc. ◦ 1.2 Markerless AR ▪ マーカー以外のものに基づいてコンテンツを重畳する • 地面などの平面認識、ARメイクなどの顔認識 etc. 2. Location based AR ▪ 場所に基づいてコンテンツを重畳する • GPS、VPS 画像引用元: AR.jsのHiroマーカー画像引用元: パーフェクト株式会社AR メイクのプレスリリース画像引用元: 『ポケモン GO』とは？『ポケモン GO』公式サイト

Deck 公開版空間レベルで拡げる? 画像引用元: Niantic, 2022 画像引用元: 株式会社リクルートプレスリリース, 2021 Room scale City scale VPSによってARが及ぼす範囲をRoom scaleから、より広い空間・領域が対象のCity scaleにスケールアップしやすくなる ※ City scaleが優れていてRoom scaleが劣っているという話ではない

Deck 公開版 GPSだけでは実現できない? VPSとGPSの違い VPS GPSを含むGNSS 位置合わせカメラ映像 + 事前に取得した3Dマップ VPSによってはGPSも併用している各種センサー例えばiPhone 13系に搭載されているセンサーは内蔵GPS、GLONASS、Galileo、QZSS、BeiDou 向き 3次元で取得できる取得できない地図アプリなどは方位磁石を併用して2次元で取得誤差 ◎ 数mmから数cm単位 ◯ 数mから数十m 屋外 ◎ ただし3Dマップが展開されているエリアに限られる ◯ ただしトンネルなどの遮蔽物やビル街では精度が低下する屋内 ◎ ただし3Dマップが展開されているエリアに限られる △ 屋内はデータが受信できなくなるので精度が低下する必要なものカメラ、3Dマップ測位衛星、測位衛星のデータを受信できるセンサーと受信できる環境

Deck 公開版「みちびき」なら数センチ単位の位置合わせができるのでは? 「みちびき」を使ってもiPhoneなどのスマートフォンで数センチ単位の位置合わせはできない • 前提としてGPSによる位置合わせには4機の衛星が必要 ◦ 三角測量用の3機 + 衛星の原子時計とスマートフォンのクォーツ時計の差分を補正する1機 • 「みちびき」はGPSと互換性を持つ国産の準天頂衛星システム(QZSS) ◦ 4機体制で運用中、ただし常に日本の上空にいるのは1機以上 ◦ iPhoneシリーズの場合、iPhone 6s以降からQZSS(L1C/A)を利用できる • 「みちびき」の性能を100%活用するためには国内の電子基準点に対応した専用の受信チップが必要となる ◦ センチメータ級測位補強サービスのL6信号の受信が必要 ◦ スマートフォンに搭載するにはコストやバッテリー消費量の問題がある画像引用元: iPhone 6s - 技術仕様画像引用元: みちびき（準天頂衛星システム：QZSS）公式サイト - 内閣府 2022年8月現在

Deck 公開版カーナビはGPSを使っていても道路から何mもズレていないのでは? カーナビはGPSに加え、ジャイロセンサー、加速度センサー、そしてカーナビ特有の膨大な地図データを利用して自己位置を補正しているさらに最近のカーナビは「SBAS」に対応している • カーナビはカメラ経由のVPSとは異なる形で地図データを用いて補正している ◦ この『マップマッチング』による補正はカーナビメーカー各社によるノウハウの賜物 • みちびきの『SBAS』(衛星航法補強システム)で精度を上げられる • 搭載されているセンサー類が異なるのでスマートフォンのカーナビは車載用のカーナビよりも精度が低くなることがある画像引用元: 自車位置精度ナビ能力パイオニア株式会社

Deck 公開版 VPSとNFTの違い • NFT(Natural Feature Tracking)はいわゆる「画像認識」の仕組み ◦ Non-Fungible Tokenを意味するNFTではない ◦ WebARライブラリのAR.jsはNFTではなくImage Trackingと表現している • 特定の2D画像にあわせてオブジェクトを重畳させる • VPSのような3Dマップを必要としない代わりに、対象となる画像の特徴点が必要 ◦ 特徴点の少ない画像(単色や反射が多い)は向いていない ◦ VPSのような3Dの空間を特徴点にはできない • 例えばマーカーとなるポスターの上にオブジェクトを重畳させるケースなど、平面には向いているが、 VPSと比較して距離や一定以上の角度に弱い ◦ 向き不向きの話でありVPSではなくNFTが適しているケースもある画像引用元: palanAR お知らせ無料AR作成サービスpalanARで画像認識機能の精度が向上しました！

Deck 公開版 VPSの位置合わせ(Localization) • 「カメラ経由で得た周囲の映像」と、「事前に得ている周囲の情報を照合」して、「位置と向きを合わせる」 • どのようにして周辺の情報を事前に得るのか? ◦ 独自に収集 ▪ GoogleやAppleなど ◦ ユーザー自身が登録 ▪ SnapやNianticなど ◦ 衛星写真から3Dマップを作成 ▪ Sturfee • 座標系の話は割愛画像引用元: Google AI Blog: Using Global Localization to Improve Navigation, 2019

既にこんなにあるVPS Source: https://unsplash.com/photos/-1_RZL8BGBM

Deck 公開版既にこんなにあるVPS • ARKit Location Anchors @ Apple • ARCore Geospatial API @ Google • Azure Spatial Anchors @ Microsoft • Lightship VPS @ Niantic • Custom Landmarkers @ Snap • Immersal @ Hexagon AB • Sturfee @ Sturfee (KDDIと戦略的パートナーシップを締結) • Pretia @ プレティア･テクノロジーズ • Vuforia Area Target @ PTC • Indoor Visual Positioning @ Blippar ※ 本ページで取り上げている項目は代表的な一例であり、すべてではありません

Deck 公開版 ARKit Location Anchors • ARKit 4から搭載された緯度経度・高度を指定してオブジェクトをピンポイントで設置できる iOS/iPadOS向けの機能 ◦ ARKit 4、ARKit 5まで日本は非対応 ◦ ARKit 6で東京・大阪・京都・名古屋・福岡・広島・横浜の一部地域が対応🎉 • Apple純正「マップ」アプリで「ARウォーキング」として利用されている ◦ ARKit 6での対応に先行して2022年5月から国内の対象地域で実際に試せる • ARKit 6リリース以降にリリースされるであろうアプリが待ち遠しい😆 アップル純正「マップ」アプリで雷門から浅草駅までの経路を「ARウォーキング」で表示 Objective-C Swift

Deck 公開版 ARCore Geospatial API • Google I/O 2022で発表された機能 • GCPを併用して緯度経度・高度、向きを指定する • 先行してGoogleマップの「ライブビュー」としてリリースされている機能 ◦ ARCore Geospatial APIの対象エリアは Googleマップのストリートビューの対象エリア • “ARCore”という文字列が含まれているが ARKitが動作するiOS/iPadOSでも動作する ◦ AndroidはARCoreが動作する端末が必要 Googleマップで雷門から浅草駅までの経路を「ライブビュー」で表示 Unity Java Objective-C

Deck 公開版サンプルコードをビルドして試すARCore Geospatial API 1. git clone https://github.com/google-ar/arcore-ios-sdk.git 2. Google Cloud Platform(GCP)で任意のプロジェクトを作成 3. GCPのAPI ライブラリからARCore APIを有効化 4. GCPの認証情報を作成からAPI キーを作成してコピー 5. ViewController.mにGCPで作成したAPI キーを貼り付ける 6. ターミナルでpod install 7. ビルドしてiPhone実機で実行 ARCore Geospatial APIのサンプル #1 周囲の情報を取得できていない状態 ※ACCURACYは低いほど精度が高い M1 MacBook Air / macOS 12.5 Monterey beta 5 / ARCore SDK for iOS v1.33.0 / Homebrew 3.5.10 / rbenv 1.2.0 / ruby 3.0.0p0 の環境においてRosettaを使用せずにビルドできることを可能

Deck 公開版もっと簡単にノーコードではじめるARCore Geospatial API Orange moon社の「AR Street Editor」はARCore Geospatial APIベースのVPSコンテンツをノーコードで作成できるツール • エディタ上でオブジェクトごとに緯度経度・高度、拡大倍率、回転を設定 ◦ 緯度と経度はGoogleマップベースのウェブエディタから設定可能 • 表示できるコンテンツはテキスト、画像、3Dモデル(GLBファイル)の3種類 • ユーザーは専用アプリ「AR Street」を利用 ◦ 全ユーザーに公開されるので特に自宅周辺でのテストは要注意 • 非商用利用に限り無料 AR Streetで雷門前の交差点に鯨の3Dモデルを表示 #1 Glass whale Free 3D model Royalty Free License

Deck 公開版 Lightship VPS • 2022年5月の「Lightship Summit」で発表したNianticによるVPS ◦ パブリックベータ版が公開されている • 専用アプリ「Niantic Wayfarer」でユーザーから集めたWaypointを利用 ◦ Ingress Prime のレベル 10 以上またはPokémon GO のレベル 37 以上のユーザーが対象 ◦ 開発者であればTestFlightで配布されているNiantic Wayfarerアプリを利用できる • 日本は東京、京都、大阪、名古屋に対応 Lightship VPSが対応しているエリア、左から東京、京都・大阪、名古屋画像引用元: Lightship VPS – Niantic Lightship Unity

Deck 公開版 Custom Landmarkers • SnapchatによるVPS • もともとは一部地域でのみ利用できた機能が2022年3月世界中に開放された ◦ 26の名所はLandmarker Templatesとして配布されている • 誰でも簡単にVPSのスポットとなるCustom Landmarkersを作成してノーコードでそのスポットに重畳されるARコンテンツを設定できる ◦ スキャンにはLiDARを搭載しているiPhone/iPadが必要 ▪ ARCoreには非対応 ◦ コンテンツの作成にはWindows/macOS向けのLens Studioが必要画像引用元: Landmarker Guide - Lens Studio Docs Snapchat

Deck 公開版ノーコードではじめるCustom Landmarkers (1/2) SnapchatのCustom Landmarker CreatorとLens Studioを使ったCustom Landmarker作成の流れ 1. Snapchatでの作業(右の動画を参照) • Custom Landmarker Creator Lensから作成画面を起動 • LiDAR搭載iPhone/iPadで対象をスキャンしてメッシュを作成 • 作成したメッシュをアップロード 2. Lens Studioでの作業 • Lens Studioを起動してCustom Landmarkerのテンプレートにメッシュを読み込んでオブジェクトを配置 ◦ Landmarker Meshは非表示を推奨 • 公開 Custom Landmarker Creatorでの作成画面

Deck 公開版ノーコードではじめるCustom Landmarkers (2/2) Snapchatで本ページのマーカーをスキャンすると、株式会社ZOZOの西千葉オフィスの屋外に設置されているブロンズ製ZOZO箱のモニュメントで実際の挙動を確認可能！周囲のメッシュを作成しているのでブロンズ製ZOZO箱の周りを歩いてもオブジェクトが固定して表示されているブロンズ製ZOZO箱のモニュメントの上部に iOSDC Japan 2022のテキストが表示されるブロンズ製ZOZO箱のモニュメントで試せる Custom Landmarkerを起動するマーカー

Deck 公開版 Immersal • 2021年にHexagon ABが買収した“City-scale AR”を謳うVPS • 2D写真をもとに自身で必要な3Dマップを作成する(LiDARは使わない) ◦ スキャンに必要なImmersal MapperアプリはiOSとAndroid用がそれぞれ提供されている • スマートフォンだけではなくNrealLightやMagic Leapなどのデバイスにも対応 • 今回挙げているVPSの中では先行しているので利用事例が多い画像引用元: ノエビアスタジアム神戸での実証実験の様子 - 楽天モバイルプレスリリース画像引用元: ノエビアスタジアム神戸の3D点群とビジュアルマップのイメージ - 楽天モバイルプレスリリース Unity Swift

Deck 公開版 VPSソリューションの選び方 • 公共の既にある3Dマップを使いたい ◦ 地図情報をもとにした広い範囲 ▪ iOS/iPadOSに最適化させたいならARKit Location Anchors (一部地域) ▪ iOS/iPadOSに加えてAndroidも対象にしたいならARCore Geospatial API (日本全域) ◦ 狭い範囲 ▪ Niantic WayfarerのWaypointを使いたいならNiantic Lightship VPS • 自分で登録した3Dマップを使いたい ◦ 室内などの狭い範囲からサッカースタジアムなどの広い範囲まで汎用的に使いたいならImmersal ◦ 直径10ｍ以内でLiDARによる高精度の位置合わせを実現したいならNiantic Lightship VPS • アプリを開発するリソースがない、または一時的なキャンペーンなどで利用したい ◦ SnapのCustom Landmarkers ※ 本ページで記載している選び方はあくまで一例であり、用途によって最適な手段は異なります

Deck 公開版 VPSを生かしたコンテンツ開発で気をつけたいこと • 多くのVPSソリューションはUnityでの開発を前提としている ◦ 年間20万USD (≒2,750万円) 以上の収益がある企業での商用利用はUnity Proの契約が必要 • “自然なAR”を実現するオクルージョンはVPSだけでは実現できない ◦ ARKitで実現できるのは人を対象とした「ピープルオクルージョン」のみ ◦ 都市ベースであれば国土交通省のPLATEAUで解決している事例がある • ロケーションベースARであるがゆえに現地でのデバッグが重要 ◦ ARCore Recording and Playback APIを適用できるのであればリモートデバッグも可能 • 現実空間に重畳する3Dアセットが表現の大半を左右する

来たるべきVPS時代 Source: https://unsplash.com/photos/HOrhCnQsxnQ

Deck 公開版 ARコンテンツにおける歩きスマホ問題 • 多くのARコンテンツはスマートフォンで動作する • 特にGPS、VPSを利用した場所に基づくARコンテンツは「歩きスマホ」が発生しやすい • 事故などを防ぐためには「歩きスマホ」への対策が必要となる ◦ Googleマップの「ライブビュー」は立ち止まっているときにARで経路が表示されるが、その状態で数歩歩くだけで警告メッセージが表示される • スマートフォンを周囲に「かざす」という行動が、他者からは「撮られている」という勘違いを引き起こす可能性がある Googleマップの「ライブビュー」で意図的に警告を表示させている様子 ※周囲を十分に警戒し人通りが少ない時間帯に撮影

Deck 公開版 ARグラス(眼鏡型ARデバイス) • ARやVPSの普及とあわせて語られることの多いARグラス • 現在はスマートフォンと物理的に繋ぐテザー型が一般的 • VPSが“融けた”世界では常に身につけているARグラスのようなデバイスが向いている? ◦ 結果的に「歩きスマホ問題」を解決する一助となるか? ◦ 現時点では眼鏡 on 眼鏡、バッテリー消費や熱の課題などが挙げられる NrealLightとVPS技術を組み合わせた「HYPER LANDSCAPE」画像引用元: 株式会社Psychic VR Lab プレスリリース画像引用元: NrealLight - au SMARTGLASSES

Deck 公開版 AR空間は誰のものか? 屋外広告の上にARオブジェクトを重畳することの法的課題 VPSが当たり前の技術となり、多くの人がCity scaleのVPSで彩られた時代、屋外広告Aの上に競合他社が意図的に屋外広告Bを“ARで重畳”した場合の問題は? • 前提として“AR”に関する法律は存在しない ◦ “物理的な”屋外広告は「屋外広告物法」が適用される ◦ 権利侵害に関するものは「著作権法」が適用される ◦ “スマホAR”で適用されるその他の事例としては「不法侵入」に関するものが挙げられる ◦ 例えば誹謗中傷にあたるものであれば名誉毀損として問えるか? ▪ 名誉毀損の成立要件は“現実世界の社会的評価の低下”とされている中、中の人が公知の事実となっているVTuberへの名誉毀損が認められる判決が出ている • 技術の発展に法律が追いついていないが、頭の片隅に入れておく必要がある

Deck 公開版 ARKit 6の正式リリース後にARKit Location Anchorsを使用したVPSコンテンツは増えるか? • 増えてほしい(希望) • 実際の対応エリアが重要 ◦ 日本国内において“一部地域にのみ対応”という点はLightship VPSと同じ ◦ 狭い範囲を対象とした“点”のLightship VPSに対し、ARKit Location Anchors は道路を基準とする“面”に対応している • 重要なのはインストールする必然性のあるVPSコンテンツかどうか ◦ VPSは「目的」ではなく「手段」 • 将来のARグラス的なデバイスに期待?

おわりに Source: https://unsplash.com/photos/CKlHKtCJZKk

Deck 公開版あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 • VPSが普及することでARの可能性が「手元から部屋へ」、「部屋から建物全体へ」、「建物全体から街へ」と空間レベルで拡がっていく • 各社の動向を鑑みるにVPSはこれからますます普及していく ◦ 今はまだ“VPS”と銘打つことが多いが、将来的には社会に“融けた”自然な形になることを期待したい • もちろんVPSだけでは解決できない問題も多い ◦ VPSを生かしたコンテンツには、オブジェクトを自然に配置するオクルージョンや、高精細なアセットを描画するためのクラウドストリーミング、スマートフォンに代わるARグラス(眼鏡型ARデバイス)などの合わせ技が必要 • ARKit Location Anchorsが正式リリース済みの来年のiOSDCに乞うご期待!?

Deck 公開版 41

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

More Decks by ikkou

Other Decks in Technology

Featured

Transcript