CV勉強会@関東 MAGICIAN: Efficient Long-Term Planning with Imagined Gaussians for Active Mapping

Transcript

1. MA G I C I A N: Ef fi c i en t L on g - T er m P la n ni n g w i th I ma g i ne d Ga us si a ns fo r A ct i v e M ap p i n g 第67回 コンピュ ータビジョン 勉強会＠関東 （後編） 2026/ 08/ 29 東北大学/Cr eo creato rs/磐井AI 菊地 佑太 1
2. 自己紹介 代表紹介 役職等 菊地 佑太 Kikuchi Yuta 2001年岩 手県 奥州 市生 まれ。 2024年3月に 一関 高専 専攻 科を卒 業後 、 同4月に東北大学大学院情報科学研究科に入学。 東北大学 GSIS 博士1年 Creo creators 映像クリエイター 磐井AI(株) 取締役 CMO (一社)まるごとラボ 理事 一関修紅高等学校 非常勤講師 一関高専 バド部 コーチ 外部リンク 取り組みについては こちらのリンクをご覧ください。 https://linktr.ee/YKikuchi 2
3. 磐井AI(株) 3
4. CVPR 現地の様子 ワークショップにポスターを出したので現地参加してきました 3DGSがまるまる一つのセクションになっていて注目度の高さを感じました 4
5. Oral 未知の環境を効率よく3D再構成(3DGS)するために、「まだ見ていない部分の想像地図」を作り、 それを使って数手先までの撮影経路を計画するシステムを作った ※特に断りがない場合、式や図は本論文もしくはプロジェクトページ内から引用しています 5
6. 問題設定 解く課題 • メッシュで作られた3D空間の中で、3Dモデル(3DGS)を再構成するための最適な経路を見つける 取得可能な情報 ある時刻における… • カメラパラメータ（ドローンの位置や向き） • RGBと深度情報 ある位置のカメラから見た情報のみ取得可能 逆にできないこと • 一度に空間全てのRGB、深度情報を取得すること つまり… LiDARセンサーを積んだドローンから得られる情報をだけ使える 6
7. 関連研究① 3D再構成 3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）[2] 写真や映像から3D再構成するタスクにおいて、高速なレンダリングと非常に高いクオリティを両立している点 が特徴。 Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, Vol. 42, No. 4, July 2023. (SIGGRAPH 2023) 7
8. 関連研究① 3D再構成 3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）の3D表現 既存手法を用いて構成された点群データに対して、3Dガウシアンを被せることで、点群間が滑らかで綺麗な 3D再構成ができる。 ガウシアンは最適化の過程で増えたり消えたり、伸びたり縮んだりする メッシュで再現しづらい水面などにも強い 生成された画像と GT画像の 誤差が 少なくな るよ うに ガウシアン を調 整する Po i nt Clo u d 従来の 手法で点 群デー タを 作成する 3Dモデ ルを ガウシアン で表現 する 持っ てる パラメ ー タは 、 位置・分散・色・透明度 8
9. 関 連 研 究 ② [3] FisherRF , [4] NextBestPathなどの経路探索手法 問題点 次の一手で新規視点が一番多くなるように経路を選択するため… • 同じ場所でスタックする • 同じ場所を往復する 9
10. 本 論 文 の チ ャ レ ンジ Key Idea 探索の前と最中に環境全体を想像し、それに基づいて長期計画する 3 つの課題 1. 6D 動作計画が難しすぎて、お手本データが存在しない 2. 特に見えていない部分について、空間全体ををどう想像するか 3. 長期計画のために、候補姿勢をどう効率的に評価するか 10
11. ア ル ゴ リ ズ ム の 概要 概要 ※経路探索が目的なので、3Dの再構成は終わった後でやる ① 表面点群を更新 ② Imagined Gaussians(後述) を更新し、まだどこが撮られていないかを判定する ③ ビームサーチという経路探索手法を使ってまだ撮られてなさそうな方向へ10手先まで予測 ④ 10手先まで考えた上で、最適そうな方へ1歩だけ進む（10歩進んで9歩もどるイメージ）→①へ… 11
12. 手順① 表面点群を更新 前提として、以下が取得可能なので、簡単に求められる ↓ 取得可能な情報 ある時刻における… • カメラパラメータ（ドローンの位置や向き） • RGBと深度情報 ある位置のカメラから見た情報のみ取得可能 12
13. 手 順② Im a gi n ed G a u ssi a n s を 更 新 し 、 ま だ どこ が 撮 ら れ て い な い か を 判 定 す る 未撮影の表面積を計算する理想的な方法 → 計算は重い coverage gain 意味 値 σ (occupancy) そこに固体表面はあるか 1_E(x) ∈ {0,1} o (occlusion) このカメラから見えるか 遮蔽なら 0、可視なら 1 γ (novelty) まだ観測していない点か C_t で未観測なら 1 13
14. 手 順② Im a gi n ed G a u ssi a n s を 更 新 し 、 ま だ どこ が 撮 ら れ て い な い か を 判 定 す る Imagined Gaussiansとは（新規性） 3DGSと基本同じだが色情報は持たずに、そのGaussianが 撮影済み = 0、未撮影 = 1 をとる そのような Imagined Gaussians が実際に作れているとして… これを3DGSと同様の手法でレンダリングすると、先ほどの coverage gain よりも 20倍程度高速に未撮影の場所が判定できる。 パラメータ 値 更新されるか 中心位置 μ 3D 座標 されない（固定） スケール 半径のみ（等方性） されない（固定） 不透明度 [0,1] 実観測のたびに再推論して 上書き {0,1} の二値 1 → 0 へ落ちるのみ ※当たり判定 色 ※撮影済みかどうか 14
15. 手 順② Im a gi n ed G a u ssi a n s を 更 新 し 、 ま だ どこ が 撮 ら れ て い な い か を 判 定 す る そもそもImagined Gaussians ってどうやって作られるの？ 使えるモデル・情報 Imagined Gaussians を作る手順 ShapeNetで事前学習済みの「占有ネットワーク」 （Transformerベース） ① 3D空間にガウシアンをランダムにばら撒く 入力：点群やカメラ姿勢 出力：そこに物体があるか ② 各 Gaussian がある位置を占有ネットワークに 問い合わせて、そこに何があるか聞く。 ③ もしそこに何かあったら色の代わりに novelty(新規性)のパラメータを0にする 15
16. 手 順② Im a gi n ed G a u ssi a n s を 更 新 し 、 ま だ どこ が 撮 ら れ て い な い か を 判 定 す る 16
17. 手 順③ ビ ー ム サ ー チ と いう 経 路 探 索 手 法 を 使 っ て 、 進 む べ き方 向 を 決 め る ビームサーチで経路探索する手続き ① 各ビームが将来軌道の仮説で、Imagined Gaussian状態の独立なコピーを持つ。 ② 各反復で全ビームを1手ずつ展開し（軌道終端から到達可能な全ポーズを列挙） ③ それぞれの利得を対応するビームのガウシアンで計算して、上位 N_b 本だけ残す。 論文では上位10本残す ④ これを10手先まで読む 17
18. 結果 得られた経路を辿って3DGSで3D再構成を試みる。 ※ここでいう3DGSは色情報を持つふつうの Gaussian の集合 18
19. 結果 得られた経路を辿って3DGSで3D再構成を試みる。 ※ここでいう3DGSは色情報を持つふつうの Gaussian の集合 ファインチューニング不要でSOTAを達成している点がすごい 19
20. さいごに まとめ • 未観測領域を占有ネットワークで「想像」し、3DGS化（Imagined Gaussians） • 新規性を色としてレンダリング → 被覆利得が1回の描画で求まり25倍高速 • ゼロショットでSOTAを達成した 所感 • 最短経路を探索するために一度スキャンしないといけないので二度手間になる？ • 同時に撮影を行うこともできそうだが、その場合はドローン上で計算しないといけなさそう 参考文献 [1] MAGICIAN: Efficient Long-Term Planning with Imagined Gaussians for Active Mapping, Li et al. CVPR 2026 [2] 3D Gaussian Splatting for Real-Time Radiance Field Rendering, Kerbl et al. ACM TOG 2023 [3] FisherRF: Active View Selection and Mapping with Radiance Fields using Fisher Information, Jiang et al. ECCV 2024 [4] NextBestPath: Efficient 3D Mapping of Unseen Environments, Li et al. ICLR 2025 20