Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
VPS研究者が語る”VPS概論”
Search
Satoshi Gachi Fujimoto
January 06, 2024
Technology
0
320
VPS研究者が語る”VPS概論”
TOKYO NODE “XR HACKATHON” powered by PLATEAU 中間発表会の登壇資料です
Satoshi Gachi Fujimoto
January 06, 2024
Tweet
Share
More Decks by Satoshi Gachi Fujimoto
See All by Satoshi Gachi Fujimoto
バスあと何分ミニサイネージ
satoshirobatofujimoto
0
31
高専で制御を、大学でセンシングを学び、次は脳みそ
satoshirobatofujimoto
0
160
画像生成AIを使って勝負しよう
satoshirobatofujimoto
1
66
ガチマナ会 vol.1
satoshirobatofujimoto
0
120
画像生成AIを使って勝負しよう
satoshirobatofujimoto
0
100
画像からプロンプトを考えて最も似ている画像を生成した人が勝ちのゲーム@AIミーティング
satoshirobatofujimoto
0
72
画像からプロンプトを考えて最も似ている画像を生成した人が勝ちのゲーム
satoshirobatofujimoto
0
120
OpenAI 新機能まとめ(Function callingとAdd your data編)
satoshirobatofujimoto
0
190
PLATEAUを用いた熊本市中心市街地におけるバリアフリー情報の可視化
satoshirobatofujimoto
0
970
Other Decks in Technology
See All in Technology
楽しくGoを学び合う、LayerXの勉強会文化 / LayerX's study culture of having fun and learning Go together
ar_tama
2
350
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
Datadog Cloud SIEMを使ってAWS環境の脅威を可視化した話/lifeistech-datadog-cloud-siem
gidajun
0
480
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
Classmethod Odyssey 登壇資料
yamahiro
0
390
頼られるのが大好きな 皆さんへ - 支援相手との期待の合わせ方、突き放し方 -/For_people_who_like_to_be_relied_on
naitosatoshi
1
290
Flutter研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
160
20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day
nrryuya
3
1.1k
Amazon FSx for NetApp ONTAPのパフォーマンスチューニング要素をまとめてみた #cm_odyssey #devio2024
non97
0
220
スタートアップにおける組織設計とスクラムの長期戦略 / Scrum Fest Kanazawa 2024
yoshikiiida
13
3.6k
Matterport を使ってクラスメソッド各拠点のバーチャルオフィスツアーを作成してみた
wakatsuki
0
160
ソフトウェアエンジニアリングの知見を活かして データ基盤をいい感じにする on Snowflake [MIERUNE BBQ #10]
mtpooh
2
150
Featured
See All Featured
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
35
6.3k
RailsConf 2023
tenderlove
16
720
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
The Brand Is Dead. Long Live the Brand.
mthomps
52
36k
How to Think Like a Performance Engineer
csswizardry
4
590
A better future with KSS
kneath
231
17k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
5 minutes of I Can Smell Your CMS
philhawksworth
200
19k
BBQ
matthewcrist
82
9k
Building Flexible Design Systems
yeseniaperezcruz
323
37k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
12
3.8k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
Transcript
2024/01/06 TOKYO NODE “XR HACKATHON” powered by PLATEAU VPS研究者が語る”VPS概論”
がちもとさん KumaMCNという技術コミュニティを運営 株式会社ナレッジコミュニケーションでAI・XRアプリ開発 崇城大学古賀都市計画研究室の技術顧問でまちづくりの研究 高専で制御を、大学でセンシングを学び、次は脳みそ @sotongshi
まちづくりの研究 AR点字ブロック バリアフリーマップ
Society5.0 サイバー空間(仮想世界)とフィジカル空間(現実世界)を高度に融合させたシステムにより、 経済発展と社会的課題の解決を両立する、人間中心の社会を目指す https://www8.cao.go.jp/cstp/society5_0/
Society5.0におけるXRの位置づけ 可視化(AR) 自動化(ロボット) シミュレーション(VR) デジタルツイン センシング フィードバック ・位置情報 ・カメラ映像 ・視線
・環境マップ など ・環境情報 ・予測情報 ・認識結果 など サイバー空間 フィジカル空間
VPS(Visual Positioning System)とは? • 画像から位置を特定するシステムのこと • 事前マップありの自己位置推定 • ARやVRで現実世界に合わせて仮想コンテンツを表示させるために重要な技術 https://learn.microsoft.com/ja-jp/azure/spatial-anchors/overview
AR/VRの主要機能 1. SLAM(自己位置推定&トラッキングとマップ作成) 2. 現実世界と仮想世界の位置合わせ(VPS) 3. 仮想コンテンツの配置と表示
SLAM(自己位置推定&トラッキングとマップ作成) • 事前マップなしで自己位置推定とマップ作成を同時に行うこと(ARKitやARCore) • リアルタイムでフレーム間の自己位置推定(アプリ開始位置 or ARマーカーが基準座標) ※フォトグラメトリ(SfM/Reconstruction)は、リアルタイムである必要がなく、異なるカメラや時間に撮影した画像群 からでも内部パラメータの推定~カメラ位置とマップを最適化 •
ロストした場合、作成したマップから復帰(Relocalization、VPSと同じ原理) SLAM System 1.特徴抽出 2.特徴対応付け 短期間:特徴追跡 長期間:ループクロージャ フロントエンド マップ作成 バックエンド フレーム R,t
現実世界と仮想世界の位置合わせ • VPSなし • アプリ開始位置またはARマーカーが基準座標 • アプリ開始位置から計測して、現実世界に合わ せて表示するのは困難 • 物理的なマーカーが必要、それに合わせて表示
• VPSあり • 事前にSLAMなどでマップ作成が必要 • 事前マップが基準座標 • 事前マップ上にコンテンツを配置 https://youtu.be/pFn11hYZM2E https://youtu.be/udoSz_UBUdc 2007, http://kougaku-navi.net/ARToolKit/
• iPhone 12 Proで簡単にスキャン • All Dataでエクスポートすることで画像群とカメラの位置や内部パラメータを取得 現実空間のスキャン(3D Scanner App)
事前マップから自己位置推定 • 先ほどエクスポートした画像群から特徴を抽出し、画像特徴データベースを構築 • 現在のフレームから特徴を抽出 • 画像特徴データベースに照合し、最も似ている画像を検索(検索範囲を絞るためにGPSや Bluetooth測位を組み合わせることも) • 2D-3Dの対応付けを行い位置推定(PnP:
Perspective n point) データ ベース フレーム R,t
VPS比較表(2022年8月20日 更新) Spatial Anchors Immersal Pretia Geospatial API マップ作成 セッション内でスキャン
画像アップロード 専用スキャンアプリ Googleがスキャン 座標系 アンカーID マップID マップID グローバルマップ(経度緯度高度) iOS/Android 〇 〇 〇 〇 HoloLens2 〇 〇 × × Reloc API (画像をPOST、自己位置返す) × 〇 × × 屋内 〇 〇 〇 × 屋外 × 〇 〇 ◎(地球規模対応) コンテンツ配置 × × 〇 × Playback API × 〇 〇 〇 備考 ・アンカーを基準にオブジェク トを配置するためマップとの位 置合わせが面倒 ・マップがエクスポートできな いためどの領域を認識できるの か不明 ・アンカー位置の編集が不可能 (削除して再度配置) ・マップを基準にオブジェクトを配 置できる ・マップ作成には画像アップロード するだけ、カメラはなんでもOK、専 用スキャンアプリもある ・Reloc APIがあるためデバイスに依 存しない ・マップを基準にオブジェクト を配置できる ・マップ作成には専用のスキャ ンアプリが必要 ・専用のコンテンツオーサリン グツールやAR Playbackが用意 されている ・Googleがスキャンするため、スキャン する必要がない ・Googleがスキャンできないところでは 使用できない ・Googleがマップを更新するまで認識で きない場所が出てくるかも ・Reloc APIが出たら最強
Spatial Anchorsを用いたナビ作成アプリ「ナレコムVR」 • セッション内でアンカーを配置し、周辺をスキャン • アンカーに対してコンテンツを配置 • アンカーの周辺のみ認識していて、どの領域で位置推定できるのか不明 • アンカーの位置を修正するためには、削除して再度配置する必要がある
https://youtu.be/1R-VGfkI4vA
Immersal x 3D Scanner App • 専用アプリで撮影(3D Scanner Appを使えばスキャンを確認しながら画像取得) •
画像とカメラ情報をImmersalにアップロードし、マップ作成 • ダウンロードしたマップ上にコンテンツを配置 • APIで画像をPOSTすると自己位置推定できる https://twitter.com/sotongshi/status/1431203787796926467
Pretia x ARサイネージ • 専用アプリで3Dスキャン • マップをダウンロードし、コンテンツを配置 • 専用アプリでコンテンツを配置する機能もある (3)
(1)スキャン (2)VRでシミュレーション (3)AR表示 https://twitter.com/sotongshi/status/1492760083503398915
Geospatial API x PLATEAU • Googleが事前にスキャンしている(地球規模対応w つよ • 経度緯度高度の指定だけでコンテンツが置ける •
精度はあまり良くない印象 https://twitter.com/sotongshi/status/1557003609019400194
Gachispatial API • 3D Scanner Appでスキャンし、画像特徴データベースを構築 • 特徴点の抽出と対応付けにはDeep Learningベースの手法(SuperPoint)を利用 •
画像とLiDARの点群の両方を利用したRGB-D SLAM • 画像をサーバーに送信し、自己位置を返すAPIを作成
Gachispatial API x 電動車いすの自動運転 • 事前マップを作成 • 事前マップ上に経路計画 • VPSにより初期位置推定し、自動運転
https://twitter.com/sotongshi/status/1168740395125075968
センサーにやさしい人間になろう! ハッカソン楽しんでください!