3D Gaussian Splatting勉強会

社内勉強会資料

Transcript

1. 3D Gaussian Splatting勉強会 2026/09/04 @natsutan 1
2. 自己紹介 名前：夏谷実 仕事：ピッキングロボットで動くAIの開発 X:@natsutan https://natsutan.hatenablog.com/ 2
3. 3D Gaussian Splattingとは 複数の画像から三次元の情報を計算して、綺麗に表示する技術 実際には動画で撮ることが多い 3
4. 三次元構築の歴史 ステレオビジョン の研究 3D形状をコンピュ 複数カメラからの三 CUDA登場 ターを使って描画 次元復元の体系化 する技術の実用化 https://roboticsarchiv e.library.cmu.edu/nod e/100373 1970年頃 COLMAP 3D Gaussian Spatting！ https://colmap.github.i o/index.html 3D Gaussian Splatting for RealTime Radiance Field Rendering Fig5 お勧め！ 1990年頃 2000年頃 2007年 2016年 2023年 4
5. 3D Gaussian Splattingの流れ 動画を撮る iPhoneでOK。 30秒～2分程度 https://www.irasutoya.com/2014/11/ blog-post_362.html 大量の画像にする COLMAPで点群のよう な物を作る。正確には 3D Gaussian。 大量の画像を使って3D Gaussianを学習する。 学習結果を使って 色をつける。 5
6. 三次元復元基礎 xは対象物 画像の中のSIFT、AKAZEのような特徴点 3DGSではそれぞれを点群の初期値として 使う。 カメラ1で撮 った画像 カメラ2で撮 った画像 カメラ2 カメラ1 Multiple View Geometry Fig. 9.1. Point correspondence geometry 基本は三角測量と同じ。 二つのカメラから撮った同じ物が、それぞれの画像のどの位置（ピクセル）にあるかを見て、カメ ラと点の位置関係を構築する。 カメラの位置が違うことが重要、同じ位置のカメラで向きを変えただけだと三角測量にならない。 ↑動画を撮るときのポイント 6
7. COLMAP 全ての画像でSIFT 特徴点を見つける マッチングをして、同 じ所を見つける カメラの位置推定 点群の作成 （Sparse 3D Point Cloud） 7
8. COLMAPの工夫 Sequential Matchingという高速化手法がとられている。 （他にもいっぱい工夫があるが、今日はここだけ） 大量の画像をそのままマッチングすると計算量が膨大になる。 例えば画像が1800枚（30fpsで1分）の場合、マッチングが約162万回。 これを、 Sequential Matchingを使うことで2万回弱に減らせる。 総当たりでマッチングするのではなく、時間的に近い画像をマッチングして結果を合わせ込む。 ここでマッチング。 画像があまり変わらないのでマッチングしやすい 動画撮像時、カメラの位置はゆっくりと連続的に変えること。 急激に変えるとSequential Matchingが上手く働かなくなり、点群が上手く作れない可能性がある 8
9. 3D Gaussian Splattingの流れ 動画を撮る iPhoneでOK。 30秒～2分程度 https://www.irasutoya.com/2014/11/ blog-post_362.html 大量の画像にする COLMAPで点群のよう な物を作る。正確には 3D Gaussian。 大量の画像を使って3D Gaussianを学習する。 学習結果を使って 色をつける。 9
10. 3D Gaussian 一次元のガウス分布 二次元のガウス分布 （等高線/Contour lines ） 10
11. 3D Gaussian 三次元ガウス分布を、点群として使用する。これ を3D Gaussianと呼ぶ。 3D gaussianには色や透明度の情報も追加されて いる。（位置はμで表現されている） 三次元ガウス分布 COLMAPによって、特徴点が3D gaussianとして 点群化される。 Sparse 3D Point Cloud 11
12. 3D Gaussianの学習1 学習データを一枚選ぶ カメラの位置は、COLMAPで計算済み その位置を使って、点群を投影して画像を作る 投影画像 Sparse 3D Point Cloud Multiple View Geometry Fig. 6.1. Pinhole camera geometry 12
13. 3D Gaussianの学習2 この2つを比較して、一致するように 3DGaussianを修正する。 学習データを一枚選ぶ カメラの位置は、COLMAPで計算済み その位置を使って、点群を投影して画像を作る 投影画像 update Sparse 3D Point Cloud 3D Gaussianが足りないところはコピー して追加する。3D Gaussianが多すぎる ところは結合して一つにする。 Multiple View Geometry Fig. 6.1. Pinhole camera geometry 13
14. 3D Gaussian Splattingの流れ 動画を撮る iPhoneでOK。 30秒～2分程度 https://www.irasutoya.com/2014/11/ blog-post_362.html 大量の画像にする COLMAPで点群のよう な物を作る。正確には 3D Gaussian。 大量の画像を使って3D Gaussianを学習する。 学習結果を使って 色をつける。 14
15. 色を塗る 描画時にそれぞれの3D Gaussianに対して、色 を一気に塗って重ねる。これがSpatting。 その結果として綺麗な絵が生成される。 Viewerで角度を変えたときは、毎回全ての3D Gaussianを塗り直している。 CUDAで高速化されている。 15
16. やってみよう！ > ns-process-data video ¥ --data ~/dofbot_data/mov/IMG_0105.MOV ¥ --output-dir ~/dofbot_data/nerfstudio/IMG_0105_cpu ¥ --num-frames-target 150 ¥ --no-gpu 動画を撮る > ns-train splatfacto ¥ --data ~/dofbot_data/nerfstudio/IMG_0105_cpu コマンドは2行 Nerfstudio Viewer で読み込む。 保存するにはexportでplyを指定。 16
17. 撮影のこつ 基本：ゆっくりと歩きながら、対象物に近づいたり遠ざかったり、上を見たり下を見たりしながら撮影する。 マッチングを上手くするために、カメラの向きを変えるのではなくカメラの位置を変える。 理想型は、距離や高さを変えながら対象物を何周かする。 動く物はあっては駄目。マッチングがずれるので。 真っ白な壁とかも駄目。SIFT特徴量が取れないので。 https://wp.nyu.edu/shanghai-iann/2024/02/26/mini-project-photogrammetry-part-one/ 17
18. 応用事例1：工事の着工前事前調査 関西大学の改修時に、3DGSを使って現場を再現。 STUDIO55と竹中工務店による事例 設計時の図面はあるが、現在配管などが実 際にどう通っているのか確証が持てない。 地形の勾配などは図面から読み取れない こういうカメラで現地を歩い てデータを集め、3DGSで再 現。 https://built.itmedia.co.jp/bt/articles/2604/07/news070.html 木の太さなどを実際にはから ずに把握したり、重機の搬入 ルートなどの確認を行った。 https://www.alibaba.com/product-detail/SOUTH-X1-Ultra-Light-HandheldSLAM_1601805184752.html 18
19. 応用事例2：観光事業・アーカイブ 京都・金輪寺 本堂内観のバーチャルツアー https://www.cg-makers.jp/assets/video/service/3dgs/movie_01.mp4 松本城の3DGS化 ドローンを使用 https://asolab.co.jp/wp-content/uploads/matsumoto-castle-3dmodeling.mp4 19
20. 応用事例3：農業 Object-centric 3D Gaussian splatting for strawberry plant reconstruction and phenotyping https://arxiv.org/abs/2511.02207 ロボットで屋内のイチゴを撮影して、3DGS後イチゴの大きさを測定して収穫の判断をする。 ・屋内のみ ・先にSegmentationで背景を消す。 ・近くに大きさが既知の物を置き、それと比較して7mm程度の誤差に納めた。 20
21. 応用事例4：ピッキングロボット＋デジタルツイン A high-fidelity digital twin for robotic manipulation based on 3D Gaussian Splatting ピッキングロボットの環境を3DGSして 3Dモデルを作る。Segmentationで、 背景と対象物を分離する。 Unityで読み込み、物理特性を付加して、 Unity内でシミュレーションを行う。 対象物よりも、ロボット周辺の環境が 正確に3D化できるとうれしい。 https://arxiv.org/abs/2601.03200 21
22. おしまい 22