Upgrade to Pro — share decks privately, control downloads, hide ads and more …

高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門

hsanto
April 17, 2023

 高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門

第232回CVIM研究会チュートリアル(2023年1月)
図などは各論文から引用したものです.

hsanto

April 17, 2023
Tweet

Transcript

  1. ⾼精細3次元計測のための データ駆動型「深層照度差ステレオ」⼊⾨ 1. 背景 2. 照度差ステレオ法 ‐ 照度差ステレオ法とは ‐ 古典的な照度差ステレオ法

    ‐ 撮影環境 3. 深層照度差ステレオ法 ‐ 回帰問題としての照度差ステレオ法 ‐ データ表現とネットワーク構造 ‐ 学習データ ‐ 評価 4. 発展的な研究とまとめ 2
  2. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ 視点1 視点2

    𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差(disparity): 𝑑 深度 𝑧 𝑏 9 (三⾓測量)
  3. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ フォトグラメトリ (Structure‐from‐Motion

    + 多眼ステレオ) 𝑖 カメラ ✅ ⼤域的な形状推定 ❌疎な形状推定 (対応点探索がボトルネック) 10 (三⾓測量) 視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差(disparity): 𝑑 深度 𝑧 𝑏
  4. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック

    ✅ 密な形状(法線⽅向)推定 ❌ 局所的な形状しか推定できない 12 照度差ステレオ法 光源⽅向 観測 表⾯の傾き (法線⽅向) 推定
  5. 古典的な照度差ステレオ法 ⼊射光⽅向 𝒍 𝑙 𝑙 𝑙 観測⽅向 法線 𝒏 𝑛

    𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 𝜃 ランバートの余弦則 𝒍 1 𝒏 1
  6. 古典的な照度差ステレオ法 観測⽅向 法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓

    輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 複数の光源を考えてみる︓ 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 ↓ 𝒎 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 𝜌𝒏 𝑳𝜌𝒏 ⼊射光⽅向 𝒍 𝒍 𝒍 𝑳の逆⾏列を計算すると 𝜌𝒏 𝒏 𝑳 𝒎 𝒏 𝒏 𝒏 𝜌 𝒏 (光源数 > 3のときは擬似逆⾏列を⽤いる) ∵ 𝒏 1 𝒏 1
  7. 照度差ステレオの撮影 25 (a) カメラ LED (b‐1) (b‐2) カメラ LED (c)

    カメラ LED 回転台 (a) Santo+, ECCV 2020 (b) Li+, TIP 2020 (c) Mecca+ , BMVC 2021
  8. 古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル 画像⽣成モデル︓ 𝑚 𝜌𝒍 𝒏 28 • ⾮ランバートな反射モデル

    画像⽣成モデル︓ 𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 拡散反射率 𝜌 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 双⽅向反射率分布関数 (Bidirectional Reflectance Distribution Function, BRDF)
  9. ⾮ランバートな照度差ステレオ法 ⽅針 1. ロバスト推定 ‐ 拡散反射成分(ランバート反射)が⽀配的 ‐ 鏡⾯反射など⾮ランバート反射が外れ値的に存在 2. 柔軟な反射モデル

    (BRDF) ‐ Phongモデル,Cook‐Torranceモデル etc. 29 [2012] • 実世界の幅広い反射を扱うには • 照度差ステレオ法として解けるのか (𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏)
  10. 回帰問題としての照度差ステレオ法 画像⽣成モデル︓ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏

    𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 ⋮ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 回帰問題︓ 𝒏 F 𝑚 , 𝑚 , ⋯ , 𝑚 , 𝒍 , 𝒍 , ⋯ , 𝒍 31 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 観測輝度 𝑚
  11. Deep Photometric Stereo Network (DPSN)* 32 * Santo+, “Deep Photometric

    Stereo Network,” ICCVW 2017. 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 ・ ・ ・ ・・・ 𝑛 𝑛 𝑛 全結合層 (MLP) 観測輝度ベクトル 𝑚 𝑚 𝑚 𝑚 ・ ・ ・ 𝑚 ・ ・ ・ シンプルな⼿法で データ駆動型アプローチの有⽤性を⽰した
  12. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General

    Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 34
  13. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General

    Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 35
  14. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV

    2018 36 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
  15. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV

    2018 37 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤
  16. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV

    2018 38 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
  17. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV

    2018 39 ネットワーク構造 ✅ ⼊射光⽅向を離散化 → 固定⻑のマップで表現 ❌ 観測数が少ない場合に疎なマップとなって精度低下 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
  18. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General

    Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 41
  19. Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV

    2018 42 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ ∈ ℝ ネットワーク構造 ✅ 光源ごとの観測から特徴量を抽出 ✅ Max‐poolingによって可変⻑の⼊⼒を統合 ❌ 画像空間での特徴抽出→過剰な平滑化
  20. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General

    Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 43
  21. Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020 44 グラフ

    ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量 𝑚 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ✅ GCNによるピクセル単位(per‐pixel)の特徴量抽出 + 画像空間での回帰 ネットワーク構造
  22. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General

    Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 45
  23. Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,”

    BMVC, 2021 46 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度と ⼊射光⽅向ベクトルの集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 ✅ 位置符号化を⽤いないTransformerによって可変⻑かつ順不同の集合から特徴量抽出 Transformerによる特徴量抽出 𝒙 𝒙 ⋮ 𝒙
  24. Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,”

    BMVC, 2021 47 ピクセル単位の特徴量抽出 画像ごとに重みを共有したCNNで 特徴量マップを抽出
  25. 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦

    , 𝑧 𝑤 CNN-PS 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ PS-FCN グラフ ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量︓ 𝑚 , 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 GPS-NET 光源1 光源2 光源 𝑓 ︙ 集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 PS-Transformer 特徴マップ 𝒙 𝒙 ⋮ 𝒙
  26. 合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 55

    Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている
  27. 合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 56

    Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている ✅ 無限に⽣成可能 ❌ 実世界の観測とモデリングのギャップ
  28. 60

  29. 評価 (96光源) 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR

    POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9.0 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 61 平均⾓度誤差(度)
  30. 評価 (10光源) 62 平均⾓度誤差(度) 平均 HARVEST COW READING GOBLET BUDDHA

    POT2 BEAR POT1 CAT BALL 16.1 31.32 26.48 19.37 19.23 16.02 15.65 9.84 9.59 8.9 4.58 ランバート 10.19 18.82 9.97 14.34 11.21 10.54 10.37 5.7 8.38 8.24 4.35 PS-FCN 13.53 19.36 13.83 16.07 15.74 13.39 15.04 11.89 12.79 9.0 8.21 CNN-PS 10.35 19.05 8.8 16.13 10.43 10.07 11.79 5.99 8.77 7.52 4.96 SPLINE-NET 9.43 16.92 9.34 15 10.79 8.87 8.38 6.34 7.5 6.81 4.33 GPS-NET 7.66 14.41 6.54 11.24 9.28 8.65 6.97 4.88 6.06 5.34 3.27 PS-Transformer
  31. 深層照度差ステレオ法 • Santo+, “Deep Photometric Stereo Network (DPSN),” ICCVW 2017.

    • [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. ( Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.) • [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. • [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. • [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 63
  32. 評価 (96光源) w/ SDPS‐Net 平均 HARVEST COW READING GOBLET BUDDHA

    POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 9.51 17.43 8.48 14.9 11.91 8.97 7.5 6.89 8.14 8.06 2.77 SDPS-Net 73 平均⾓度誤差(度) 較正結果を使⽤していない