GPUでステレオマッチング / Stereo-matching with GPU

Explanation of GPU architecture and Stereo-matching algorithm.
Conduct experiment to prove cuda implementation of stereo-matching greatly improve a performance.

1. GPUでステレオマッチング shun sato
2. GPUとCUDAアーキテクチャ
3. GPUとは Graphics Processing Unit (画像処理ユニット) • 並列計算がいっぱいできる • CPUよりでかい • 電力消費高い・熱い GPUの例：RTX 3090
4. CPUとGPUの違い CPU • 少数の強力なコア • 遅延の少ない処理 • 幅広いタスクに対応 GPU • 大量の弱いコア • データ移動で遅延が起きやすい • 演算タスクに特化
5. CUDAについて Compute Unified Device Architecture • NVIDIA社が提供しているGPUプログラミング環境 • C言語でCUDAのAPIを利用可能 • NVCCでコンパイル • リソースを監視できるプロファイラもある • PyTorchやTensorflowもCUDAのAPIを使っている
6. CUDAのアーキテクチャ スレッド∈ブロック∈グリッドの関係 • スレッドがプログラムを実行する • 実行単位を分けてメモリアクセスを制限 ◦ レジスタ：各スレッド ◦ シェアードメモリ：各ブロック ◦ グローバルメモリ：全体 • 並列化を自然に実装できるアーキテクチャ
7. GPUと画像処理の相性 画像処理は局所処理が多い 画像処理を行うときに離れている画素は あまり相互作用しない 例：ぼかし、グレースケール変換... ⇢ 独立した処理が多い ⇢ 並列化に向いている ⇢ GPUと相性が良い◎
8. ステレオマッチング
9. ステレオカメラについて カメラを左右に取り付けたデバイス • 左右カメラから同時に画像を取得できるだけ
10. ステレオマッチングとは 視差を推定する画像アルゴリズム • 視差：2枚の画像間での同一物体のピクセル差 • 視差が分かれば三角形の相似から物体の距離がわかる！
11. ステレオマッチングの準備 左右画像の平行化 • 平行化：同一の物体が乗る直線が水平になるようにする • 水平に探索を行えばよくなる →マッチングの高速化
12. セミグローバルマッチング ステレオマッチングの一般的なアルゴリズム 1. 画像の平滑化とグレイスケール変換をする 2. 決められたウィンドウで画像をセンサス変換する 3. マッチングコストを許容視差の範囲で計算 4. 動的計画法を使ったアルゴリズムでマッチングコストを最小化 →最適な視差マップが完成 読みたい人は読んで ↓ https://github.com/opencv/opencv_contrib/blob/4.7.0/modules/cudastereo/src/stereosgm.cpp https://github.com/opencv/opencv_contrib/blob/4.7.0/modules/cudastereo/src/cuda/stereosgm.cu
13. センサス変換 (Census Transform) • ある画素を周辺のピクセルを使って特徴量化 →中心画素との輝度差を{0,1}に変換してbit列化 • 左右画像で照明条件が変 わってもロバスト • 特徴量の比較が非常に高 速(XNOR)
14. マッチングコストの計算 • 許容する視差の横幅でセンサス変換の特徴量をスコア化 →左右画像の特徴量のハミング距離がスコア • ここでスコアの最小値を採用しても滑らかな視差マップが得られない ノイズのような視差マップ
15. 最適な視差マップの生成 • 周辺ピクセルに対するマッチングコストを使った動的計画法 • 視差=0 → ペナルティー無し • 視差=1 → P1を追加 • 視差>1 → P2を追加 • 水平ラインを左から右にアルゴリズム適用 ノイズのような視差マップ 滑らかな視差マップ
16. ステレオマッチングの並列化
17. 考えてみる 1. センサス変換： → 各ピクセルごとに周辺との輝度差をスコア化 2. マッチングコストの計算： → 左右画像各ピクセルの特徴量のハミング距離を計算 3. 最適な視差マップの生成： → 各y座標ごとに左から右に動的計画法 • 独立した操作が存在 ⇒ 並列化が可能！
18. CPUとGPUの比較実験 OpenCVのcv::StereoSGBM(cpu)とcv::cuda::StereoSGM(gpu)を比較 • 実験環境 • OpenCV: 4.7.0 • CUDA: 12.1 • CPU: Core i7-10700K (16コア) • GPU: RTX 3090 (24GB) • メモリ: 16GB • 結果 ◦ CPU平均: 1200 ms ◦ GPU平均: 6 ms ➡ 約200倍の高速化を確認 (※ RTX 3060は多分100~150倍ぐらい)
19. まとめ
20. スライドまとめ • GPUは並列計算に特化した大規模な計算ユニットの集合 • 画像処理は並列計算と相性が〇 • ステレオマッチングはGPUで超高速化できる • みんなもCUDAで並列プログラムを書こう！
21. ステレオマッチングもっと知りたい人へ 自分が前に書いた記事 検索トップだから読んで (誰もやってないということ)
22. 参考 • https://www.d3.ntt-east.co.jp/00101/ • https://e-words.jp/w/CUDA.html • https://developer.nvidia.com/blog/cuda-refresher-cuda-programming-model/ • http://www.sanko-shoko.net/note.php?id=cbgw • https://wooptix.com/drawbacks-of-widespread-stereo-matching-techniques/ • https://www.researchgate.net/figure/Census-transform-and-Hamming-distanc e-for-3-x-3-windows_fig2_261269856