あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

あなたの知らないARの可能性を
空間レベルで拡げるVPSの世界
2022-09-11 11:05~11:45 iOSDC Japan 2022 Track E レギュラートーク
株式会社ZOZO
技術本部技術戦略部創造開発ブロック / CTOブロック
ブロック長 / XR Specialist
諸星一行 a.k.a @ikkou (HEAVEN chan)
Copyright © ZOZO, Inc.
Speaker
Deck
公
開
版

View Slide

● 本資料はSpeaker Deckに公開済みです！
○ URLはハッシュタグ #iOSDC つきでツイート済みです！
● 録画映像は 2022-08-28 現在の情報に基づいています！
● 表記上、®マークや™マークを省略しています
● Speaker Deck公開版の資料はPDF化しているため動画等が
再生されません
はじめに

View Slide

© ZOZO, Inc. 2022-09-11 iOSDC Japan 2022 - あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 Speaker Deck 公開版
Snap社のCustom Landmarker、ARCoreのGeospatial API、Niantic社の
Lightship、そしてARKit 6で東京にも対応したLocation Anchorなど、これらはす
べてVPSと呼ばれるものです。
ここで言うVPSは“Virtual Private Server”ではなく“Visual Positioning System”
です。
緯度経度をもとにするGPSこと“Global Positioning System”に対し、画像による
空間情報をもとに自己位置推定する技術がVPSです。
本セッションでは、今後ARにおける重大な要素技術となりうる"VPS"そのものとそ
の周辺技術、実例や概況に加え、VPSソリューションを用いた「実際に動作するデ
モ」を交えて解説します。
プロポーザル

View Slide

ZOZO, Inc.
創造開発ブロック / CTOブロック DevRel
諸星一行 a.k.a @ikkou
Avatar Name: HEAVEN chan
XR(VR/AR/MR) × Fashionという軸で試行錯誤中
メタバースやWeb3も守備範囲
● 2022-2023 Microsoft MVP for Mixed Reality
● 日本バーチャルリアリティ学会VR技術者
● 知的財産管理技能士
TwitterではHEAVEN chanとして生きていますがVTuberではありません:)
https://twitter.com/ikkou

View Slide

こんな人です
iOS 15.4におけるWebXR Device APIの現状確認
Zenn
#WebXR ( WebVR/WebAR ) の現状確認 2021 Winter
Zenn
コロナ禍におけるWebXR (WebVR/WebAR ) のイマ！
CEDEC2021
WebXR 最前線 2022 メタバースとWeb3を添えて
CEDEC2022
iOSではじめるWebAR
iOSDC Japan 2020
iOSではじめるWebAR 2021
iOSDC Japan 2021

View Slide

本日お話しすること
1. VPSとはなにか?
2. 既にこんなにあるVPS
3. 来たるべきVPS時代

View Slide

VPSとはなにか?
Source: https://unsplash.com/photos/Q1p7bh3SHj8

View Slide

VPSとはなにか?
● カメラ経由で得た周囲の映像と、事前に登録されている周囲の情報を照合し
て、「位置」と「向き」を高精度で合わせる技術
● GPSよりも高精度での位置合わせを実現できる
● 現実世界に作用する「AR」と相性が良い
画像引用元: ARを進化させる「VPS」とは？特定の位置と向きに ARを表示する仕組みを解説｜ TIME＆SPACE by KDDI 画像引用元: Lightship VPS – Niantic Lightship Persist AR content across sessions and users

View Slide

HYPER-REALITYの世界
画像引用元: HYPER-REALITY - Keiichi Matsuda, 2016
Question: 「HYPER-REALITY」の世界はVPSが普及すれば遠くない?

View Slide

既に実現できる世界
動画提供: https://twitter.com/korinVR/status/1527212311861411840 - こりん@VR (@korinVR), 2022
「ARCore Geospatial APIによる位置合わせ」と「PLATEAUを利用したオクルージョン」で実現

View Slide

Yelp's Monocle
画像引用元: Updated Yelp for Android lets you explore menus (pictures) - CNET 2012
周囲の状況に応じてコンテンツを重畳するコンセプトはこれまでにも複数存在している

View Slide

セカイカメラ
画像引用元: SekaiCameraDemoVideo of TechCrunch50 - tonchidot, 2008
iPhone 3Gと同じ2008年にリリースされた「セカイカメラ」はカメラ映像 + GPS + 方位磁石でエアタグを平面に重畳

View Slide

ARの定義
● ARはAugmented Realityの略、学術的な日本語訳は拡張現実感
○ AppleのAR関連ライブラリはARKit、汎用的なライブラリの先駆けは“国産”のARToolKit
● 15,000件近い被引用数を誇るAzuma氏の“A Survey of Augmented Reality”に
拠るARの構成要素は次の3つ
1. Combines real and virtual
現実世界とバーチャルな世界の組み合わせ
2. Interactive in real time
実時間で動作する
3. Registered in 3-D
三次元の整合性が取れている
Real desk with virtual lamp and two virtual chairs.
画像引用元: A Survey of Augmented Reality, Azuma 1997

View Slide

ARの種類
1. Vision based AR
○ 1.1Marker-based AR
■ マーカーに基づいてコンテンツを重畳する
● 二次元コード、ポスターなど事前に定めたものの画像認識 etc.
○ 1.2 Markerless AR
■ マーカー以外のものに基づいてコンテンツを重畳する
● 地面などの平面認識、ARメイクなどの顔認識 etc.
2. Location based AR
■ 場所に基づいてコンテンツを重畳する
● GPS、VPS
画像引用元: AR.jsのHiroマーカー
画像引用元: パーフェクト株式会社AR
メイクのプレスリリース
画像引用元: 『ポケモン GO』とは？
『ポケモン GO』公式サイト

View Slide

空間レベルで拡げる?
画像引用元: Niantic, 2022
画像引用元: 株式会社リクルートプレスリリース, 2021
Room scale City scale
VPSによってARが及ぼす範囲をRoom scaleから、より広い空間・領域が対象のCity scaleにスケールアップしやすくなる
※ City scaleが優れていてRoom scaleが劣っているという話ではない

View Slide

GPSだけでは実現できない?
VPSとGPSの違い
VPS GPSを含むGNSS
位置合わせ
カメラ映像 + 事前に取得した3Dマップ
VPSによってはGPSも併用している
各種センサー
例えばiPhone 13系に搭載されているセンサーは
内蔵GPS、GLONASS、Galileo、QZSS、BeiDou
向き 3次元で取得できる
取得できない
地図アプリなどは方位磁石を併用して2次元で取得
誤差
◎
数mmから数cm単位
◯
数mから数十m
屋外
◎
ただし3Dマップが展開されているエリアに限られる
◯
ただしトンネルなどの遮蔽物やビル街では精度が低下する
屋内
◎
ただし3Dマップが展開されているエリアに限られる
△
屋内はデータが受信できなくなるので精度が低下する
必要なものカメラ、3Dマップ
測位衛星、測位衛星のデータを受信できるセン
サーと受信できる環境

View Slide

「みちびき」なら数センチ単位の位置合わせができるのでは?
「みちびき」を使ってもiPhoneなどのスマートフォンで数センチ単位の位置合わ
せはできない
● 前提としてGPSによる位置合わせには4機の衛星が必要
○ 三角測量用の3機 + 衛星の原子時計とスマートフォンのクォーツ時計の差分を補正する1機
● 「みちびき」はGPSと互換性を持つ国産の準天頂衛星システム(QZSS)
○ 4機体制で運用中、ただし常に日本の上空にいるのは1機以上
○ iPhoneシリーズの場合、iPhone 6s以降からQZSS(L1C/A)を利用できる
● 「みちびき」の性能を100%活用するためには国内の電子基準点に対応した
専用の受信チップが必要となる
○ センチメータ級測位補強サービスのL6信号の受信が必要
○ スマートフォンに搭載するにはコストやバッテリー消費量の問題がある
画像引用元: iPhone 6s - 技術仕様
画像引用元: みちびき（準天頂衛星システム：QZSS）公式サイト - 内閣府
2022年8月現在

View Slide

カーナビはGPSを使っていても道路から何mもズレていないのでは?
カーナビはGPSに加え、ジャイロセンサー、加速度センサー、そしてカーナビ特
有の膨大な地図データを利用して自己位置を補正している
さらに最近のカーナビは「SBAS」に対応している
● カーナビはカメラ経由のVPSとは異なる形で地図データを用いて補正している
○ この『マップマッチング』による補正はカーナビメーカー各社によるノウハウの賜物
● みちびきの『SBAS』(衛星航法補強システム)で精度を上げられる
● 搭載されているセンサー類が異なるのでスマートフォンのカーナビは
車載用のカーナビよりも精度が低くなることがある
画像引用元: 自車位置精度ナビ能力パイオニア株式会社

View Slide

VPSとNFTの違い
● NFT(Natural Feature Tracking)はいわゆる「画像認識」の仕組み
○ Non-Fungible Tokenを意味するNFTではない
○ WebARライブラリのAR.jsはNFTではなくImage Trackingと表現している
● 特定の2D画像にあわせてオブジェクトを重畳させる
● VPSのような3Dマップを必要としない代わりに、対象となる画像の特徴点が必要
○ 特徴点の少ない画像(単色や反射が多い)は向いていない
○ VPSのような3Dの空間を特徴点にはできない
● 例えばマーカーとなるポスターの上にオブジェクトを
重畳させるケースなど、平面には向いているが、
VPSと比較して距離や一定以上の角度に弱い
○ 向き不向きの話でありVPSではなくNFTが適しているケースもある
画像引用元: palanAR お知らせ
無料AR作成サービスpalanARで画像認識機能の精度が向上しました！

View Slide

VPSの位置合わせ(Localization)
● 「カメラ経由で得た周囲の映像」と、「事前に得ている周囲の情報を照合」し
て、「位置と向きを合わせる」
● どのようにして周辺の情報を事前に得るのか?
○ 独自に収集
■ GoogleやAppleなど
○ ユーザー自身が登録
■ SnapやNianticなど
○ 衛星写真から3Dマップを作成
■ Sturfee
● 座標系の話は割愛
画像引用元: Google AI Blog: Using Global Localization to Improve Navigation, 2019

View Slide

既にこんなにあるVPS
Source: https://unsplash.com/photos/-1_RZL8BGBM

View Slide

既にこんなにあるVPS
● ARKit Location Anchors @ Apple
● ARCore Geospatial API @ Google
● Azure Spatial Anchors @ Microsoft
● Lightship VPS @ Niantic
● Custom Landmarkers @ Snap
● Immersal @ Hexagon AB
● Sturfee @ Sturfee (KDDIと戦略的パートナーシップを締結)
● Pretia @ プレティア･テクノロジーズ
● Vuforia Area Target @ PTC
● Indoor Visual Positioning @ Blippar
※ 本ページで取り上げている項目は代表的な一例であり、すべてではありません

View Slide

ARKit Location Anchors
● ARKit 4から搭載された緯度経度・高度を指定
してオブジェクトをピンポイントで設置できる
iOS/iPadOS向けの機能
○ ARKit 4、ARKit 5まで日本は非対応
○ ARKit 6で東京・大阪・京都・名古屋・福岡・広島・
横浜の一部地域が対応🎉
● Apple純正「マップ」アプリで「ARウォーキン
グ」として利用されている
○ ARKit 6での対応に先行して2022年5月から国内の
対象地域で実際に試せる
● ARKit 6リリース以降にリリースされるであろ
うアプリが待ち遠しい😆
アップル純正「マップ」アプリで雷門から浅草駅までの経路を「ARウォーキング」で表示
Objective-C
Swift

View Slide

ARCore Geospatial API
● Google I/O 2022で発表された機能
● GCPを併用して緯度経度・高度、向きを指定
する
● 先行してGoogleマップの「ライブビュー」と
してリリースされている機能
○ ARCore Geospatial APIの対象エリアは
Googleマップのストリートビューの対象エリア
● “ARCore”という文字列が含まれているが
ARKitが動作するiOS/iPadOSでも動作する
○ AndroidはARCoreが動作する端末が必要
Googleマップで雷門から浅草駅までの経路を「ライブビュー」で表示
Unity Java
Objective-C

View Slide

サンプルコードをビルドして試すARCore Geospatial API
1. git clone https://github.com/google-ar/arcore-ios-sdk.git
2. Google Cloud Platform(GCP)で任意のプロジェクトを作成
3. GCPのAPI ライブラリからARCore APIを有効化
4. GCPの認証情報を作成からAPI キーを作成してコピー
5. ViewController.mにGCPで作成したAPI キーを貼り付ける
6. ターミナルでpod install
7. ビルドしてiPhone実機で実行
ARCore Geospatial APIのサンプル #1
周囲の情報を取得できていない状態
※ACCURACYは低いほど精度が高い
M1 MacBook Air / macOS 12.5 Monterey beta 5 / ARCore SDK for iOS v1.33.0 /
Homebrew 3.5.10 / rbenv 1.2.0 / ruby 3.0.0p0 の環境においてRosettaを使用せずに
ビルドできることを可能

View Slide

もっと簡単にノーコードではじめるARCore Geospatial API
Orange moon社の「AR Street Editor」はARCore Geospatial
APIベースのVPSコンテンツをノーコードで作成できるツール
● エディタ上でオブジェクトごとに緯度経度・高度、拡大倍率、
回転を設定
○ 緯度と経度はGoogleマップベースのウェブエディタから設定可能
● 表示できるコンテンツはテキスト、画像、3Dモデル(GLBファ
イル)の3種類
● ユーザーは専用アプリ「AR Street」を利用
○ 全ユーザーに公開されるので特に自宅周辺でのテストは要注意
● 非商用利用に限り無料
AR Streetで雷門前の交差点に鯨の3Dモデルを表示 #1
Glass whale Free 3D model
Royalty Free License

View Slide

Lightship VPS
● 2022年5月の「Lightship Summit」で発表したNianticによるVPS
○ パブリックベータ版が公開されている
● 専用アプリ「Niantic Wayfarer」でユーザーから集めたWaypointを利用
○ Ingress Prime のレベル 10 以上またはPokémon GO のレベル 37 以上のユーザーが対象
○ 開発者であればTestFlightで配布されているNiantic Wayfarerアプリを利用できる
● 日本は東京、京都、大阪、名古屋に対応
Lightship VPSが対応しているエリア、左から東京、京都・大阪、名古屋
画像引用元: Lightship VPS – Niantic Lightship
Unity

View Slide

Custom Landmarkers
● SnapchatによるVPS
● もともとは一部地域でのみ利用できた機能が2022年3月世界
中に開放された
○ 26の名所はLandmarker Templatesとして配布されている
● 誰でも簡単にVPSのスポットとなるCustom Landmarkersを
作成してノーコードでそのスポットに重畳されるARコンテン
ツを設定できる
○ スキャンにはLiDARを搭載しているiPhone/iPadが必要
■ ARCoreには非対応
○ コンテンツの作成にはWindows/macOS向けのLens Studioが必要
画像引用元: Landmarker Guide - Lens Studio Docs
Snapchat

View Slide

ノーコードではじめるCustom Landmarkers (1/2)
SnapchatのCustom Landmarker CreatorとLens Studioを使っ
たCustom Landmarker作成の流れ
1. Snapchatでの作業(右の動画を参照)
● Custom Landmarker Creator Lensから作成画面を起動
● LiDAR搭載iPhone/iPadで対象をスキャンしてメッシュを作成
● 作成したメッシュをアップロード
2. Lens Studioでの作業
● Lens Studioを起動してCustom Landmarkerのテンプレートにメッシュを
読み込んでオブジェクトを配置
○ Landmarker Meshは非表示を推奨
● 公開
Custom Landmarker Creatorでの作成画面

View Slide

ノーコードではじめるCustom Landmarkers (2/2)
Snapchatで本ページのマーカーをスキャンすると、
株式会社ZOZOの西千葉オフィスの屋外に設置されている
ブロンズ製ZOZO箱のモニュメントで実際の挙動を確認可能！
周囲のメッシュを作成しているのでブロンズ製ZOZO箱の
周りを歩いてもオブジェクトが固定して表示されている
ブロンズ製ZOZO箱のモニュメントの上部に
iOSDC Japan 2022のテキストが表示される
ブロンズ製ZOZO箱のモニュメントで試せる
Custom Landmarkerを起動するマーカー

View Slide

Immersal
● 2021年にHexagon ABが買収した“City-scale AR”を謳うVPS
● 2D写真をもとに自身で必要な3Dマップを作成する(LiDARは使わない)
○ スキャンに必要なImmersal MapperアプリはiOSとAndroid用がそれぞれ提供されている
● スマートフォンだけではなくNrealLightやMagic Leapなどのデバイスにも対応
● 今回挙げているVPSの中では先行しているので利用事例が多い
画像引用元: ノエビアスタジアム神戸での実証実験の様子 - 楽天モバイルプレスリリース画像引用元: ノエビアスタジアム神戸の3D点群とビジュアルマップのイメージ - 楽天モバイルプレスリリース
Unity Swift

View Slide

VPSソリューションの選び方
● 公共の既にある3Dマップを使いたい
○ 地図情報をもとにした広い範囲
■ iOS/iPadOSに最適化させたいならARKit Location Anchors (一部地域)
■ iOS/iPadOSに加えてAndroidも対象にしたいならARCore Geospatial API (日本全域)
○ 狭い範囲
■ Niantic WayfarerのWaypointを使いたいならNiantic Lightship VPS
● 自分で登録した3Dマップを使いたい
○ 室内などの狭い範囲からサッカースタジアムなどの広い範囲まで汎用的に使いたいならImmersal
○ 直径10ｍ以内でLiDARによる高精度の位置合わせを実現したいならNiantic Lightship VPS
● アプリを開発するリソースがない、または一時的なキャンペーンなどで利用したい
○ SnapのCustom Landmarkers
※ 本ページで記載している選び方はあくまで一例であり、用途によって最適な手段は異なります

View Slide

VPSを生かしたコンテンツ開発で気をつけたいこと
● 多くのVPSソリューションはUnityでの開発を前提としている
○ 年間20万USD (≒2,750万円) 以上の収益がある企業での商用利用はUnity Proの契約が必要
● “自然なAR”を実現するオクルージョンはVPSだけでは実現できない
○ ARKitで実現できるのは人を対象とした「ピープルオクルージョン」のみ
○ 都市ベースであれば国土交通省のPLATEAUで解決している事例がある
● ロケーションベースARであるがゆえに現地でのデバッグが重要
○ ARCore Recording and Playback APIを適用できるのであればリモートデバッグも可能
● 現実空間に重畳する3Dアセットが表現の大半を左右する

View Slide

来たるべきVPS時代
Source: https://unsplash.com/photos/HOrhCnQsxnQ

View Slide

ARコンテンツにおける歩きスマホ問題
● 多くのARコンテンツはスマートフォンで動作する
● 特にGPS、VPSを利用した場所に基づくARコンテンツは「歩き
スマホ」が発生しやすい
● 事故などを防ぐためには「歩きスマホ」への対策が必要となる
○ Googleマップの「ライブビュー」は立ち止まっているときにARで経路が
表示されるが、その状態で数歩歩くだけで警告メッセージが表示される
● スマートフォンを周囲に「かざす」という行動が、他者からは
「撮られている」という勘違いを引き起こす可能性がある
Googleマップの「ライブビュー」で意図的に
警告を表示させている様子
※周囲を十分に警戒し人通りが少ない時間帯に撮影

View Slide

ARグラス(眼鏡型ARデバイス)
● ARやVPSの普及とあわせて語られることの多いARグラス
● 現在はスマートフォンと物理的に繋ぐテザー型が一般的
● VPSが“融けた”世界では常に身につけているARグラスのようなデバイスが向い
ている?
○ 結果的に「歩きスマホ問題」を解決する一助となるか?
○ 現時点では眼鏡 on 眼鏡、バッテリー消費や熱の課題などが挙げられる
NrealLightとVPS技術を組み合わせた「HYPER LANDSCAPE」
画像引用元: 株式会社Psychic VR Lab プレスリリース
画像引用元: NrealLight - au SMARTGLASSES

View Slide

AR空間は誰のものか?
屋外広告の上にARオブジェクトを重畳することの法的課題
VPSが当たり前の技術となり、多くの人がCity scaleのVPSで彩られた時代、屋外
広告Aの上に競合他社が意図的に屋外広告Bを“ARで重畳”した場合の問題は?
● 前提として“AR”に関する法律は存在しない
○ “物理的な”屋外広告は「屋外広告物法」が適用される
○ 権利侵害に関するものは「著作権法」が適用される
○ “スマホAR”で適用されるその他の事例としては「不法侵入」に関するものが挙げられる
○ 例えば誹謗中傷にあたるものであれば名誉毀損として問えるか?
■ 名誉毀損の成立要件は“現実世界の社会的評価の低下”とされている中、中の人が公知の事
実となっているVTuberへの名誉毀損が認められる判決が出ている
● 技術の発展に法律が追いついていないが、頭の片隅に入れておく必要がある

View Slide

ARKit 6の正式リリース後にARKit Location Anchorsを
使用したVPSコンテンツは増えるか?
● 増えてほしい(希望)
● 実際の対応エリアが重要
○ 日本国内において“一部地域にのみ対応”という点はLightship VPSと同じ
○ 狭い範囲を対象とした“点”のLightship VPSに対し、ARKit Location Anchors
は道路を基準とする“面”に対応している
● 重要なのはインストールする必然性のあるVPSコンテンツかどうか
○ VPSは「目的」ではなく「手段」
● 将来のARグラス的なデバイスに期待?

View Slide

おわりに
Source: https://unsplash.com/photos/CKlHKtCJZKk

View Slide

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界
● VPSが普及することでARの可能性が「手元から部屋へ」、「部屋から建物全体
へ」、「建物全体から街へ」と空間レベルで拡がっていく
● 各社の動向を鑑みるにVPSはこれからますます普及していく
○ 今はまだ“VPS”と銘打つことが多いが、将来的には社会に“融けた”自然な形に
なることを期待したい
● もちろんVPSだけでは解決できない問題も多い
○ VPSを生かしたコンテンツには、オブジェクトを自然に配置するオクルージョ
ンや、高精細なアセットを描画するためのクラウドストリーミング、スマー
トフォンに代わるARグラス(眼鏡型ARデバイス)などの合わせ技が必要
● ARKit Location Anchorsが正式リリース済みの来年のiOSDCに乞うご期待!?

View Slide

View Slide

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

あなたの知らないARの可能性を空間レベルで拡げるVPSの世界 / The World of VPS

ikkou

More Decks by ikkou

Other Decks in Technology

Featured

Transcript