CV勉強会@関東DroneSplat: 3D Gaussian Splatting for Robust 3D Reconstruction from In-the-Wild Drone Imagery

Transcript

1. DroneSplat: 3D Gaussian Splatting for Robust 3D Reconstruction from In-the-Wild Drone Imagery 東 北 大 学 / C r e o c r e a t o rs / 磐 井 A I 菊 地 佑 太 第 6 4 回 コ ン ピ ュ ー タ ビ ジ ョ ン 勉 強 会 ＠ 関 東 （ 後 編 ） 2 0 2 5/ 0 8 / 2 3
2. 2025 Creo creators All Right Reserved 自己紹介 役職等 東 北 大 学 C r e o c r e a t o r s 磐 井 A I ( 株 ) ( 一 社 ) ま る ご と ラ ボ 一 関 修 紅 高 等 学 校 一 関 高 専 代表紹介 菊地 佑太 2 0 0 1 年 岩 手 県 奥 州 市 生 ま れ 。 2 0 2 4 年 3 月 に 一 関 高 専 専 攻 科 を 卒 業 後 、 同 4 月 に 東 北 大 学 大 学 院 情 報 科 学 研 究 科 に 入 学 。 Kikuchi Yuta 2 2 外部リンク 取り組みについては こちらのリンクをご覧ください。 https://linktr.ee/YKikuchi G S I S 修 士 2 年 映 像 ク リ エ イ タ ー 取 締 役 C M O 理 事 非 常 勤 講 師 バ ド 部 コ ー チ
3. 2025 Creo creators All Right Reserved 磐井AI( 株) 3
4. 2025 Creo creators All Right Reserved 今回紹介する論文 4 DroneSplat: 3D Gaussian Splatting for Robust 3D Reconstruction from In-the-Wild Drone Imagery Jiadong Tang1 · Yu Gao1 · Dianyi Yang1 · Liqi Yan2 · Yufeng Yue1 · Yi Yang1 1Beijing Institute of Technology 2Hangzhou Dianzi University ド ロ ー ン 画 像 に よ る 3 D 再 構 築 は 、 動 的 物 体 の 混 入 や 視 点 制 約 が 課 題 と な っ て き た 。 D r o n e S p l a t は 、 動 い て い る 物 体 を 自 動 検 出 し 、 そ の 部 分 だ け 学 習 の 対 象 外 に す る こ と が で き る 。 D r o n e S p l a t は 3 D G S や N e R F を 上 回 る 性 能 を 示 し た 。 → 動 い て い る 人 や 車 の マ ス ク を 作 る 研 究
5. 2025 Creo creators All Right Reserved 提案手法の成果 5 ① データセット中で動いているものを自動でマスクできるようになった →映り込みを無視できるので結果的に3DGSの再構成精度が向上した ② 撮影中に人や物が動いているデータセットを作った 3DGSで写真や画像から3D空間を再構成する過程において…
6. 2025 Creo creators All Right Reserved 研究の概要 6 どんなもの？ 先行研究と比べてどこがすごい？ 技術や手法の肝はどこ？ どうやって有効だと検証した？ 議論はある？ 次に読むべき論文は？ ド ロ ー ン 画 像 を 3 D G S に 使 う 時 、 人 や 車 の 映 り 込 み に 対 応 す る た め の 研 究 。 自 動 で 動 い て い る も の を 自 動 で 同 定 し て マ ス ク で き る （ 学 習 対 象 外 に で き る ） 。 こ の 手 法 は 学 習 中 に 不 要 な 物 体 を 自 動 的 に 検 出 し て 無 視 す る 。 マ ス キ ン グ の 閾 値 は 、 学 習 画 像 や 反 復 の 進 行 状 況 に 応 じ て 調 整 さ れ る 。 W i l d G a u s s i a n s [ N e u r I P S 2 4 ] を 上 回 る 性 能 を 示 し た 。 A d a p t i v e L o c a l M a s k i n g を 用 い た 高 精 度 な マ ス キ ン グ に よ り 、 画 像 ご と に 閾 値 を 自 動 調 整 す る 。 さ ら に 、 ク ロ ス イ メ ー ジ 認 識 モ ジ ュ ー ル に よ っ て 、 一 時 的 に 停 止 し て い る 物 体 （ 赤 信 号 で 止 ま っ て い る 車 な ど ） も 検 出 ・ 除 去 で き る 。 標 準 的 な 評 価 指 標 P S N R 、 S S I M 、 L P I P S を 用 い て 評 価 し た 。 独 自 デ ー タ セ ッ ト で 最 先 端 の 結 果 を 達 成 。 マ ス ク さ れ た 領 域 の み を C O L M A P で 使 用 し た 場 合 で も 、 W i l d G a u s s i a n s [ N e u r I P S 2 4 ] を 上 回 る こ と が あ る 。 小 さ な 物 体 に 対 し て は ト ラ ッ キ ン グ が 失 敗 す る 。 -
7. 2025 Creo creators All Right Reserved 先行研究① 7 3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS） 写真や映像から3D再構成するタスクにおいて、高速なレンダリングと非常に高いクオリティを両立している点 が特徴。 Bernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics, Vol. 42, No. 4, July 2023. (SIGGRAPH 2023)
8. 2025 Creo creators All Right Reserved 先行研究① 8 従来 の手法 で点 群データを 作成 する 3Dモ デル を ガウシ アンで表 現する 持って るパ ラメータは 、 位置 ・分散・色 ・透明度 生成 された画像 とGT画像 の 誤差 が少な くなるように ガウシ アンを調整する Point Cloud 3D Gaussian Splatting for Real-Time Radiance Field Rendering（3DGS）の3D表現 既存手法を用いて構成された点群データに対して、3Dガウシアンを被せることで、点群間が滑らかで綺麗な 3D再構成ができる。 ガウシアンは最適化の過程で増えたり消えたり、伸びたり縮んだりする メッシュで再現しづらい水面などにも強い
9. 2025 Creo creators All Right Reserved 先行研究② 9 Segment Anything Model v2（SAM2） Meta社が作ったセグメントモデル Nikhila Ravi, Valentin Gabeur, Yuan-Ting Hu, Ronghang Hu, Chaitanya Ryali, Tengyu Ma, Haitham Khedr, Roman Rädle, Chloe Rolland, Laura Gustafson, Eric Mintun, Junting Pan, Kalyan Vasudev Alwala, Nicolas Carion, Chao-Yuan Wu, Ross Girshick, Piotr Dollár, Christoph Feichtenhofer. SAM 2: Segment Anything in Images and Videos. arXiv preprint arXiv:2408.00714 (v2), submitted 1 Aug 2024, revised 28 Oct 2024
10. 2025 Creo creators All Right Reserved 3DGSの課題 10 3DGSは撮影対象が静止していることを前提としているため、車や人の写り込みがあると品質に悪影響を及ぼす。 This Paper Existing Method Ground Truth Output こんな場面は難しい モヤのようのな合成誤差が生じる
11. 2025 Creo creators All Right Reserved 3DGSの課題 11 撮影中の一貫性が保たれていないと、再構成画像が収束しない。
12. 2025 Creo creators All Right Reserved 提案手法 12 ① 画像中の物体を全てセグメントする ② その中から動いていそうな物体はマスクして学習に使わない（キモ） ③ 3DGSで再構成する 基 本 戦 略
13. 2025 Creo creators All Right Reserved 提案手法 13 SAMを使って画像中のオブジェクトを全てセグメンテーションする どこまでシビアに検出するかはSAMのハイパラチューニングで調整可能 削 除 の 対 象 と な る 候 補 を 洗 い 出 す
14. 2025 Creo creators All Right Reserved 提案手法 14 • オブジェクトの中からどれを学習の対象外にする かを決めるアルゴリズム • 撮影中に動いたものを推定したい • 学習用画像1フレームごとに独立してマスクを監視 する （フレーム間の関係は考慮しない） • 再構成した画像とGT画像の差（レンダリング残 差）を比べてアーティファクト（もや）が起きて いる部分を同定する • 学習の過程で閾値をいい感じに自動で調整してオ ブジェクトを学習対象外とするか判断する A d a p t i v e L o c a l M a s k i n g
15. 2025 Creo creators All Right Reserved 提案手法 15 ① ひとつのマスク・物体ごとの平均残差を計算する ② 一般的なピクセルでは普通どれくらいの誤差が 出るのか？を計算。(7) 期待値。 その期待値各ピクセルがどれくらいバラついているか？ を計算(8) 誤差分散 A d a p t i v e L o c a l M a s k i n g
16. 2025 Creo creators All Right Reserved 提案手法 16 ③誤差と分散からマスクに入れるかどうかの閾値を決める 最後の括弧の部分は学習が進むにつれて大きくなる 誤差が激しい学習序盤は大きな誤差も許す→削除リストに追加されづらい 収束してきた学習終盤は小さな誤差も許さない→削除リストに追加されやすい ④閾値を超えたらマスクに追加する A d a p t i v e L o c a l M a s k i n g
17. 2025 Creo creators All Right Reserved 提案手法 17 • 時間の中で、あるフレームでは静止しているが別のフレー ムでは動いている物体を追跡する。 （フレーム間の追跡は SAM2 に基づく。） 例：赤信号で停止している車 閾値の計算は Adaptive Local Masking よりも厳しく行う 残差が大きい場合、そのマスクを SAM2 に送って追跡させる。 一度追跡されたマスクは、その後の学習から除外され続ける C o m p l e m e n t G l o b a l M a s k i n g
18. 2025 Creo creators All Right Reserved 提案手法 18 • 新たに24のデータセットを作成した • ドローンで撮影された映像で、小さな動く物体（デストラクタ）が多く含まれていることが特徴 • 現在は以下の2つのデータセットが公開されている • が、データが画像かつ25枚くらいしか一般公開はされていない デ ー タ セ ッ ト
19. 2025 Creo creators All Right Reserved 結果 19 自前のデータセット。ほとんどのシーンにおいて、提案手法が精度が良かった。
20. 2025 Creo creators All Right Reserved 結果 20 既存のデータセットにおいても精度良く再構成できる。動いているものがとても多い環境でも 精度良く再構成できるという主張。
21. 2025 Creo creators All Right Reserved 結果 21 動かしてみた（ Train images → 14 , Test images → 10 , Iteration → 7,000）
22. 2025 Creo creators All Right Reserved コメント 22 • 不 要 な 部 分 を マ ス ク し て 学 習 し て い る わ け な の で 、 単 純 な G Tと の 誤 差 を 比 較 す る だ け で は 適 切 な 評 価 に な っ て い な さ そ う ？ • バ ニ ラ の 3 D GS と そ こ ま で 変 わ ら な い 速 度 で 学 習 で き る 。 2 5 枚 7 , 0 0 0 It er で 3 0 分 く ら い RT X 4 09 0 • 小 さ い オ ブ ジ ェ ク ト へ の 対 応 は や は り 難 し そ う 。 → こ こ は S A Mの 限 界 S A M 3に 期 待 ？ • ほ と ん ど の 場 合 で 止 ま っ て い る け ど 、 数 枚 の シ ー ン で 動 い て い る 物 体 が あ る 場 合 は 再 構 成 の 精 度 が 下 が る 。 → 拡 散 モ デ ル の 穴 埋 め が 今 後 の 展 望 と し て 挙 げ ら れ て い る • 日 照 差 が あ る 場 合 は 厳 し い ？
23. 2025 Creo creators All Right Reserved まとめ 23 DroneSplat: 3D Gaussian Splatting for Robust 3D Reconstruction from In-the-Wild Drone Imagery Jiadong Tang1 · Yu Gao1 · Dianyi Yang1 · Liqi Yan2 · Yufeng Yue1 · Yi Yang1 1Beijing Institute of Technology 2Hangzhou Dianzi University ド ロ ー ン 画 像 に よ る 3 D 再 構 築 は 、 動 的 物 体 の 混 入 や 視 点 制 約 が 課 題 と な っ て き た 。 D r o n e S p l a t は 、 動 い て い る 物 体 を 自 動 検 出 し 、 そ の 部 分 だ け 学 習 の 対 象 外 に す る こ と が で き る 。 D r o n e S p l a t は 3 D G S や N e R F を 上 回 る 性 能 を 示 し た 。 → 動 い て い る 人 や 車 の マ ス ク を 作 る 研 究