Piyogrammer Conference 2021 学生LT会でLT登壇した資料です
ARクラウドがもたらす未来のAR体験について軽率に語ろうPiyogrammerConference 2021にー兄さん(@ninisan_drumath)
View Slide
にー兄さん(@ninisan_drumath)- 筑波大学 情報科学類(coins18)- HoloLab inc.アルバイト- Microsoft Learn Student Ambassadors趣味はUnity、ギター、コーヒー、VTuberオタ活家のネコがかわいいのが自慢です
agenda イントロダクションARクラウドの原理とProject TSUin-MIおわりに
イントロダクション
- 現実の場所に紐づいた3D UI(左図は2Dかも)- 情報のアノテーション現実空間とAR空間は重畳していても別々に切り離されている→現実のどこに表示するのかをコンピュータに提示するのが難しいアニメでよくあるAR表現①ソードアートオンライン オーディナリースケールトレイラームービーよりhttps://youtu.be/kEx6uJeOpMs
- 現実空間とインタラクティブなデジタルオブジェクト- 左図は複数人で見ても同じ場所に見える仕様現実空間はおろか他人のAR空間は自分と隔絶されている→都市スケールのARマルチプレイはシンプルに難しいアニメでよくあるAR表現②電脳コイル(『地球外少年少女』特報映像より)https://youtu.be/BPXgdELm5g8
あの日夢見た風景は、一筋縄ではいかない- 日常生活スケールで場所に紐づくAR体験は難しい- ∵AR空間と現実空間は隔絶されている- 机上のAR体験なら画像マーカーなどが使える- GPSは手軽だが精度がボトルネック- 同様にマルチプレイも楽ではない- 実現したら面白そう&需要ありそう
Q. では諦めるしかないのか
A. 実はできる
A. 実はできるそう、ARクラウドならね
ARクラウドの原理とProject TSUin-MI
ARクラウド開発 特徴的な2つの工程・スキャン連続画像やLiDARセンサなどにより空間を立体的にスキャンしてマップを作る・位置合わせスキャンによって作成したマップと現実空間を照合して自己位置推定する
Visual Positioning System(以下VPS)- ARクラウドにおいて位置合わせを行う技術- GPSは人工衛星によって緯度経度の位置情報を取得- VPSは画像から位置情報を取得する- VPSを提供するサービス- Azure Spatial Anchors- Google Cloud Anchors- Vuforia Area Target- Immersal- (Niantic Lightship ARDK)- (Pretia)などなど
現実空間とAR空間の位置合わせ現実空間AR空間座標の整合性がとれている状態
Project TSUin-MI- 筑波大学を含むつくば市全体のARクラウドを構築・活用する営みのプロトタイプ- 現状の技術で「どこまで可能か」「何ができるのか」を提示することが目的- 成果はすべてネットに公開https://scrapbox.io/project-TSUin-MI/
大学キャンパス内の3Dスキャン
VPSに関する検証開発・OSS公開- Unityサーバーサイド位置合わせパッケージImmersal-Server-Localizer:https://github.com/drumath2237/Immersal-Server-Localizer- オフラインマップスキャンツールImmersalマップつくる君β:https://github.com/drumath2237/immersal-rest-map-constructor- ARCore PlaybackAPIを用いたリモートデバッグ検証https://zenn.dev/drumath2237/scraps/8ad4731e55d693- WebAR、HoloLensによる位置合わせの検証
ARコンテンツのプロトタイプ開発
おわりに
まとめ・未来の展望- ARクラウド技術は現実とAR空間を結びつける3DスキャンとVPSによる位置合わせ- 日常生活スケールで展開されるAR体験の向上- 今後ARグラスなどが普及し”空間”に対する関心は増していく- 適切な体験を得るための空間インフラを拡充- まだ社会実装が追い付いてない→草の根でやっていこう
参考文献Project TSUin-MI:https://scrapbox.io/project-TSUin-MI/Immersal:https://immersal.com/VPSとは:https://xr-hub.com/archives/22580筑波大学情報特別演習:https://kdb.tsukuba.ac.jp/syllabi/2021/GB13312/jpn/