高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門

by hsanto

Slide 1

Slide 1 text

⾼精細3次元計測のためのデータ駆動型「深層照度差ステレオ」⼊⾨第232回CVIM研究会 (2023年1⽉) ⼤阪⼤学⼭藤浩明 1

Slide 2

Slide 2 text

⾼精細3次元計測のためのデータ駆動型「深層照度差ステレオ」⼊⾨ 1. 背景 2. 照度差ステレオ法 ‐ 照度差ステレオ法とは ‐ 古典的な照度差ステレオ法 ‐ 撮影環境 3. 深層照度差ステレオ法 ‐ 回帰問題としての照度差ステレオ法 ‐ データ表現とネットワーク構造 ‐ 学習データ ‐ 評価 4. 発展的な研究とまとめ 2

Slide 3

Slide 3 text

1. 背景 3

Slide 4

Slide 4 text

画像からの3次元復元 • バーチャルリアリティ (VR)，メタバース・デジタルツイン • デジタルアーカイブ化 4 [Twitter(@iwamah1)より引⽤] バーチャルオープンキャンパス [⼤阪⼤学情報科学研究科]

Slide 5

Slide 5 text

デジタルアーカイブ化 5 ⽴体複製画 [デトロイト美術館展 by RICOH] デジタルアーカイブ観測画像復元結果を⽤いたレンダリング

Slide 6

Slide 6 text

2. 照度差ステレオ法 6

Slide 7

Slide 7 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 姿勢 𝑹|𝒕 7

Slide 8

Slide 8 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ視点1 視点2 8 対応点

Slide 9

Slide 9 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差（disparity）: 𝑑 深度 𝑧 𝑏 9 (三⾓測量)

Slide 10

Slide 10 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラフォトグラメトリ (Structure‐from‐Motion + 多眼ステレオ) 𝑖 カメラ ✅ ⼤域的な形状推定 ❌疎な形状推定（対応点探索がボトルネック） 10 (三⾓測量) 視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差（disparity）: 𝑑 深度 𝑧 𝑏

Slide 11

Slide 11 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック照度差ステレオ法光源⽅向観測表⾯の傾き（法線⽅向）推定 11

Slide 12

Slide 12 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 12 照度差ステレオ法光源⽅向観測表⾯の傾き（法線⽅向）推定

Slide 13

Slide 13 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定（対応点探索がボトルネック） ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 13

Slide 14

Slide 14 text

幾何 (Geometry‐based) 3次元復元測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定（対応点探索がボトルネック） ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 14

Slide 15

Slide 15 text

照度差ステレオ法の基本原理 ~画像⽣成モデル~ 材質３次元形状照明環境画像 15

Slide 16

Slide 16 text

照度差ステレオ法の基本原理 ~物理ベースビジョン~ 材質３次元形状照明環境画像 16

Slide 17

Slide 17 text

照度差ステレオ法の基本原理材質３次元形状照明環境画像 17

Slide 18

Slide 18 text

照度差ステレオ法の基本原理材質３次元形状照明環境画像 18 ? ?

Slide 19

Slide 19 text

古典的な照度差ステレオ法における仮定材質３次元形状画像 19 ? 照明環境複数の，⽅向が既知の無限遠光源（並⾏光源）⼊射光⽅向 𝒍

Slide 20

Slide 20 text

古典的な照度差ステレオ法における仮定３次元形状画像 20 照明環境複数の，⽅向が既知の無限遠光源（並⾏光源）⼊射光⽅向 𝒔 材質ランバート拡散反射モデル（等⽅拡散反射）

Slide 21

Slide 21 text

古典的な照度差ステレオ法３次元形状照明環境画像 21 無限遠光源（並⾏光源）ランバート拡散反射

Slide 22

Slide 22 text

古典的な照度差ステレオ法⼊射光⽅向 𝒍 𝑙 𝑙 𝑙 観測⽅向法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 𝜃 ランバートの余弦則 𝒍 1 𝒏 1

Slide 23

Slide 23 text

古典的な照度差ステレオ法観測⽅向法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 複数の光源を考えてみる︓ 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 ↓ 𝒎 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 𝜌𝒏 𝑳𝜌𝒏 ⼊射光⽅向 𝒍 𝒍 𝒍 𝑳の逆⾏列を計算すると 𝜌𝒏 𝒏 𝑳 𝒎 𝒏 𝒏 𝒏 𝜌 𝒏 （光源数 > 3のときは擬似逆⾏列を⽤いる） ∵ 𝒏 1 𝒏 1

Slide 24

Slide 24 text

古典的な照度差ステレオ法 24 https://github.com/yasumat/RobustPhotometricStereo 法線マップ⼊⼒画像

Slide 25

Slide 25 text

照度差ステレオの撮影 25 (a) カメラ LED (b‐1) (b‐2) カメラ LED (c) カメラ LED 回転台 (a) Santo+, ECCV 2020 (b) Li+, TIP 2020 (c) Mecca+ , BMVC 2021

Slide 26

Slide 26 text

照度差ステレオの撮影 26 [Shi+, TPAMI 2019] [Santo+, ECCV 2020]

Slide 27

Slide 27 text

古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル素焼きの陶器 27 • ⾮ランバートな反射モデル⾦属，陶磁器，プラスチック etc.

Slide 28

Slide 28 text

古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル画像⽣成モデル︓ 𝑚 𝜌𝒍 𝒏 28 • ⾮ランバートな反射モデル画像⽣成モデル︓ 𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 拡散反射率 𝜌 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 双⽅向反射率分布関数 (Bidirectional Reflectance Distribution Function, BRDF)

Slide 29

Slide 29 text

⾮ランバートな照度差ステレオ法⽅針 1. ロバスト推定 ‐ 拡散反射成分（ランバート反射）が⽀配的 ‐ 鏡⾯反射など⾮ランバート反射が外れ値的に存在 2. 柔軟な反射モデル (BRDF) ‐ Phongモデル，Cook‐Torranceモデル etc. 29 [2012] • 実世界の幅広い反射を扱うには • 照度差ステレオ法として解けるのか（𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏）

Slide 30

Slide 30 text

3. 深層照度差ステレオ法 30

Slide 31

Slide 31 text

回帰問題としての照度差ステレオ法画像⽣成モデル︓ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 ⋮ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 回帰問題︓ 𝒏 F 𝑚 , 𝑚 , ⋯ , 𝑚 , 𝒍 , 𝒍 , ⋯ , 𝒍 31 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 観測輝度 𝑚

Slide 32

Slide 32 text

Deep Photometric Stereo Network (DPSN)* 32 * Santo+, “Deep Photometric Stereo Network,” ICCVW 2017. 観測画像光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 ・・・・・・ 𝑛 𝑛 𝑛 全結合層 (MLP) 観測輝度ベクトル 𝑚 𝑚 𝑚 𝑚 ・・・ 𝑚 ・・・シンプルな⼿法でデータ駆動型アプローチの有⽤性を⽰した

Slide 33

Slide 33 text

深層照度差ステレオ法の難しさ観測輝度ベクトルの順番で⼊射光⽅向の情報を表現 ↓ 光源の数や⼊射光⽅向は撮影装置に依存撮影装置ごとに推定器を学習しなければならない 33 観測画像光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 可変⻑かつ順不同の観測データをどのように扱うか

Slide 34

Slide 34 text

データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 34

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 36 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤

Slide 37

Slide 37 text

Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 37 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤

Slide 38

Slide 38 text

Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 38 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤

Slide 39

Slide 39 text

Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 39 ネットワーク構造 ✅ ⼊射光⽅向を離散化 → 固定⻑のマップで表現 ❌ 観測数が少ない場合に疎なマップとなって精度低下 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤

Slide 40

Slide 40 text

疎な観測マップに特化した⼿法 (SPLINE‐NET*) 40 * Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.

Slide 41

Slide 41 text

Slide 42

Slide 42 text

Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018 42 観測画像光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ ∈ ℝ ネットワーク構造 ✅ 光源ごとの観測から特徴量を抽出 ✅ Max‐poolingによって可変⻑の⼊⼒を統合 ❌ 画像空間での特徴抽出→過剰な平滑化

Slide 43

Slide 43 text

Slide 44

Slide 44 text

Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020 44 グラフ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量 𝑚 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ✅ GCNによるピクセル単位(per‐pixel)の特徴量抽出 + 画像空間での回帰ネットワーク構造

Slide 45

Slide 45 text

Slide 46

Slide 46 text

Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021 46 観測画像光源1 光源2 光源 𝑓 ︙ 観測輝度と⼊射光⽅向ベクトルの集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 ✅ 位置符号化を⽤いないTransformerによって可変⻑かつ順不同の集合から特徴量抽出 Transformerによる特徴量抽出 𝒙 𝒙 ⋮ 𝒙

Slide 47

Slide 47 text

Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021 47 ピクセル単位の特徴量抽出画像ごとに重みを共有したCNNで特徴量マップを抽出

Slide 48

Slide 48 text

𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤 CNN-PS 観測画像光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ PS-FCN グラフ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量︓ 𝑚 , 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 GPS-NET 光源1 光源2 光源 𝑓 ︙ 集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 PS-Transformer 特徴マップ 𝒙 𝒙 ⋮ 𝒙

Slide 49

Slide 49 text

学習データ • ⼊⼒︓観測画像 + ⼊射光⽅向 • 真値︓法線マップ実世界で収集するのは困難 → 合成データを⽣成（レンダリング）しようレンダリングエンジン（レンダラー） 49

Slide 50

Slide 50 text

カメラ光源

Slide 51

Slide 51 text

学習⽤合成シーンの⽣成 51 ３次元形状照明環境画像材質 (BRDF)

Slide 52

Slide 52 text

学習⽤合成シーンの⽣成 52 材質 (BRDF) ３次元形状照明環境画像無限遠光源（並⾏光源）

Slide 53

Slide 53 text

学習⽤合成シーンの⽣成 53 照明環境画像無限遠光源（並⾏光源）３次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質 (BRDF)

Slide 54

Slide 54 text

合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 54 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル

Slide 55

Slide 55 text

合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 55 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている

Slide 56

Slide 56 text

合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 56 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている ✅ 無限に⽣成可能 ❌ 実世界の観測とモデリングのギャップ

Slide 57

Slide 57 text

学習⽤合成シーンの⽣成 57 照明環境画像無限遠光源（並⾏光源）３次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質 (BRDF)

Slide 58

Slide 58 text

⽣成画像の例 58

Slide 59

Slide 59 text

評価 DiLiGenTデータセット [Shi+, 2019] • 10物体 • 96光源環境下 • 真値の法線マップ (レーザセンサ) 59

Slide 60

Slide 60 text

Slide 61

Slide 61 text

評価（96光源）平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9.0 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 61 平均⾓度誤差（度）

Slide 62

Slide 62 text

評価（10光源） 62 平均⾓度誤差（度）平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 16.1 31.32 26.48 19.37 19.23 16.02 15.65 9.84 9.59 8.9 4.58 ランバート 10.19 18.82 9.97 14.34 11.21 10.54 10.37 5.7 8.38 8.24 4.35 PS-FCN 13.53 19.36 13.83 16.07 15.74 13.39 15.04 11.89 12.79 9.0 8.21 CNN-PS 10.35 19.05 8.8 16.13 10.43 10.07 11.79 5.99 8.77 7.52 4.96 SPLINE-NET 9.43 16.92 9.34 15 10.79 8.87 8.38 6.34 7.5 6.81 4.33 GPS-NET 7.66 14.41 6.54 11.24 9.28 8.65 6.97 4.88 6.06 5.34 3.27 PS-Transformer

Slide 63

Slide 63 text

深層照度差ステレオ法 • Santo+, “Deep Photometric Stereo Network (DPSN),” ICCVW 2017. • [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. （ Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.） • [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. • [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. • [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 63

Slide 64

Slide 64 text

4. 発展的な研究とまとめ 64

Slide 65

Slide 65 text

照度差ステレオ法材質 (BRDF) ３次元形状照明環境画像 65

Slide 66

Slide 66 text

古典的な照度差ステレオ法３次元形状照明環境画像 66 無限遠光源（並⾏光源）ランバート拡散反射

Slide 67

Slide 67 text

深層照度差ステレオ法３次元形状照明環境画像 67 無限遠光源（並⾏光源） MERL BRDFなど

Slide 68

Slide 68 text

光源条件の緩和 • 近接照度差ステレオ法 68 • 未較正照度差ステレオ法無限遠光源近接点光源 ? ?

Slide 69

Slide 69 text

光源条件の緩和 • 近接照度差ステレオ法 69 • 未較正照度差ステレオ法無限遠光源近接点光源 ? ? ⼩規模な装置で撮影可能に

Slide 70

Slide 70 text

未較正深層照度差ステレオ法* 70 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019.

Slide 71

Slide 71 text

未較正深層照度差ステレオ法* 71 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019. PS‐FCN ⼊射光推定ネットワーク

Slide 72

Slide 72 text

未較正深層照度差ステレオ法* 72 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019. PS‐FCN ⼊射光⽅向

Slide 73

Slide 73 text

評価（96光源） w/ SDPS‐Net 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 9.51 17.43 8.48 14.9 11.91 8.97 7.5 6.89 8.14 8.06 2.77 SDPS-Net 73 平均⾓度誤差（度）較正結果を使⽤していない

Slide 74

Slide 74 text

74 (CVPR 2021)

Slide 75

Slide 75 text

実世界で活躍する照度差ステレオ法へ • 材質に関する制約の緩和 → 推定精度の改善 • より簡便な⼿法の登場（光源数の削減，未較正） 75

Slide 76

Slide 76 text

まとめ • 照度差ステレオ法の基本原理について解説 • 深層照度差ステレオ法の理解に不可⽋な重要ポイントを解説 ‐ データ表現 ‐ ネットワーク構造 ‐ 学習データ • 発展的な⼿法として未較正照度差ステレオ法などについて解説 76