高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門

第232回CVIM研究会チュートリアル（2023年1月）
図などは各論文から引用したものです．

Transcript

1. ⾼精細3次元計測のための データ駆動型「深層照度差ステレオ」⼊⾨ 第232回CVIM研究会 (2023年1⽉) ⼤阪⼤学 ⼭藤 浩明 1
2. ⾼精細3次元計測のための データ駆動型「深層照度差ステレオ」⼊⾨ 1. 背景 2. 照度差ステレオ法 ‐ 照度差ステレオ法とは ‐ 古典的な照度差ステレオ法 ‐ 撮影環境 3. 深層照度差ステレオ法 ‐ 回帰問題としての照度差ステレオ法 ‐ データ表現とネットワーク構造 ‐ 学習データ ‐ 評価 4. 発展的な研究とまとめ 2
3. 1. 背景 3
4. 画像からの3次元復元 • バーチャルリアリティ (VR)，メタバース・デジタルツイン • デジタルアーカイブ化 4 [Twitter(@iwamah1)より引⽤] バーチャルオープンキャンパス [⼤阪⼤学 情報科学研究科]
5. デジタルアーカイブ化 5 ⽴体複製画 [デトロイト美術館展 by RICOH] デジタルアーカイブ 観測画像 復元結果を⽤いた レンダリング
6. 2. 照度差ステレオ法 6
7. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 7
8. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ 視点1 視点2 8 対応点
9. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ 視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差（disparity）: 𝑑 深度 𝑧 𝑏 9 (三⾓測量)
10. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ フォトグラメトリ (Structure‐from‐Motion + 多眼ステレオ) 𝑖 カメラ ✅ ⼤域的な形状推定 ❌疎な形状推定 （対応点探索がボトルネック） 10 (三⾓測量) 視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差（disparity）: 𝑑 深度 𝑧 𝑏
11. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック 照度差ステレオ法 光源⽅向 観測 表⾯の傾き （法線⽅向） 推定 11
12. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 12 照度差ステレオ法 光源⽅向 観測 表⾯の傾き （法線⽅向） 推定
13. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定 （対応点探索がボトルネック） ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 13
14. 幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定 （対応点探索がボトルネック） ✅ 密な形状（法線⽅向）推定 ❌ 局所的な形状しか推定できない 14
15. 照度差ステレオ法の基本原理 ~画像⽣成モデル~ 材質 ３次元形状 照明環境 画像 15
16. 照度差ステレオ法の基本原理 ~物理ベースビジョン~ 材質 ３次元形状 照明環境 画像 16
17. 照度差ステレオ法の基本原理 材質 ３次元形状 照明環境 画像 17
18. 照度差ステレオ法の基本原理 材質 ３次元形状 照明環境 画像 18 ? ?
19. 古典的な照度差ステレオ法における仮定 材質 ３次元形状 画像 19 ? 照明環境 複数の，⽅向が既知の 無限遠光源（並⾏光源） ⼊射光⽅向 𝒍
20. 古典的な照度差ステレオ法における仮定 ３次元形状 画像 20 照明環境 複数の，⽅向が既知の 無限遠光源（並⾏光源） ⼊射光⽅向 𝒔 材質 ランバート拡散反射モデル （等⽅拡散反射）
21. 古典的な照度差ステレオ法 ３次元形状 照明環境 画像 21 無限遠光源（並⾏光源） ランバート拡散反射
22. 古典的な照度差ステレオ法 ⼊射光⽅向 𝒍 𝑙 𝑙 𝑙 観測⽅向 法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 𝜃 ランバートの余弦則 𝒍 1 𝒏 1
23. 古典的な照度差ステレオ法 観測⽅向 法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 複数の光源を考えてみる︓ 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 ↓ 𝒎 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 𝜌𝒏 𝑳𝜌𝒏 ⼊射光⽅向 𝒍 𝒍 𝒍 𝑳の逆⾏列を計算すると 𝜌𝒏 𝒏 𝑳 𝒎 𝒏 𝒏 𝒏 𝜌 𝒏 （光源数 > 3のときは擬似逆⾏列を⽤いる） ∵ 𝒏 1 𝒏 1
24. 古典的な照度差ステレオ法 24 https://github.com/yasumat/RobustPhotometricStereo 法線マップ ⼊⼒画像
25. 照度差ステレオの撮影 25 (a) カメラ LED (b‐1) (b‐2) カメラ LED (c) カメラ LED 回転台 (a) Santo+, ECCV 2020 (b) Li+, TIP 2020 (c) Mecca+ , BMVC 2021
26. 照度差ステレオの撮影 26 [Shi+, TPAMI 2019] [Santo+, ECCV 2020]
27. 古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル 素焼きの陶器 27 • ⾮ランバートな反射モデル ⾦属，陶磁器，プラスチック etc.
28. 古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル 画像⽣成モデル︓ 𝑚 𝜌𝒍 𝒏 28 • ⾮ランバートな反射モデル 画像⽣成モデル︓ 𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 拡散反射率 𝜌 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 双⽅向反射率分布関数 (Bidirectional Reflectance Distribution Function, BRDF)
29. ⾮ランバートな照度差ステレオ法 ⽅針 1. ロバスト推定 ‐ 拡散反射成分（ランバート反射）が⽀配的 ‐ 鏡⾯反射など⾮ランバート反射が外れ値的に存在 2. 柔軟な反射モデル (BRDF) ‐ Phongモデル，Cook‐Torranceモデル etc. 29 [2012] • 実世界の幅広い反射を扱うには • 照度差ステレオ法として解けるのか （𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏）
30. 3. 深層照度差ステレオ法 30
31. 回帰問題としての照度差ステレオ法 画像⽣成モデル︓ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 ⋮ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 回帰問題︓ 𝒏 F 𝑚 , 𝑚 , ⋯ , 𝑚 , 𝒍 , 𝒍 , ⋯ , 𝒍 31 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 観測輝度 𝑚
32. Deep Photometric Stereo Network (DPSN)* 32 * Santo+, “Deep Photometric Stereo Network,” ICCVW 2017. 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 ・ ・ ・ ・・・ 𝑛 𝑛 𝑛 全結合層 (MLP) 観測輝度ベクトル 𝑚 𝑚 𝑚 𝑚 ・ ・ ・ 𝑚 ・ ・ ・ シンプルな⼿法で データ駆動型アプローチの有⽤性を⽰した
33. 深層照度差ステレオ法の難しさ 観測輝度ベクトルの順番で⼊射光⽅向の情報を表現 ↓ 光源の数や⼊射光⽅向は撮影装置に依存 撮影装置ごとに推定器を学習しなければならない 33 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 可変⻑ かつ 順不同の観測データを どのように扱うか
34. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 34
35. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 35
36. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 36 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
37. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 37 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤
38. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 38 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
39. Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018 39 ネットワーク構造 ✅ ⼊射光⽅向を離散化 → 固定⻑のマップで表現 ❌ 観測数が少ない場合に疎なマップとなって精度低下 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
40. 疎な観測マップに特化した⼿法 (SPLINE‐NET*) 40 * Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.
41. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 41
42. Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018 42 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ ∈ ℝ ネットワーク構造 ✅ 光源ごとの観測から特徴量を抽出 ✅ Max‐poolingによって可変⻑の⼊⼒を統合 ❌ 画像空間での特徴抽出→過剰な平滑化
43. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 43
44. Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020 44 グラフ ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量 𝑚 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ✅ GCNによるピクセル単位(per‐pixel)の特徴量抽出 + 画像空間での回帰 ネットワーク構造
45. データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 45
46. Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021 46 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度と ⼊射光⽅向ベクトルの集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 ✅ 位置符号化を⽤いないTransformerによって可変⻑かつ順不同の集合から特徴量抽出 Transformerによる特徴量抽出 𝒙 𝒙 ⋮ 𝒙
47. Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021 47 ピクセル単位の特徴量抽出 画像ごとに重みを共有したCNNで 特徴量マップを抽出
48. 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤 CNN-PS 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ PS-FCN グラフ ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量︓ 𝑚 , 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 GPS-NET 光源1 光源2 光源 𝑓 ︙ 集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 PS-Transformer 特徴マップ 𝒙 𝒙 ⋮ 𝒙
49. 学習データ • ⼊⼒︓観測画像 + ⼊射光⽅向 • 真値︓法線マップ 実世界で収集するのは困難 → 合成データを⽣成（レンダリング）しよう レンダリングエンジン（レンダラー） 49
50. カメラ 光源
51. 学習⽤合成シーンの⽣成 51 ３次元形状 照明環境 画像 材質 (BRDF)
52. 学習⽤合成シーンの⽣成 52 材質 (BRDF) ３次元形状 照明環境 画像 無限遠光源（並⾏光源）
53. 学習⽤合成シーンの⽣成 53 照明環境 画像 無限遠光源（並⾏光源） ３次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質 (BRDF)
54. 合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 54 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル
55. 合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 55 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている
56. 合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 56 Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている ✅ 無限に⽣成可能 ❌ 実世界の観測とモデリングのギャップ
57. 学習⽤合成シーンの⽣成 57 照明環境 画像 無限遠光源（並⾏光源） ３次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質 (BRDF)
58. ⽣成画像の例 58
59. 評価 DiLiGenTデータセット [Shi+, 2019] • 10物体 • 96光源環境下 • 真値の法線マップ (レーザセンサ) 59
61. 評価 （96光源） 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9.0 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 61 平均⾓度誤差（度）
62. 評価 （10光源） 62 平均⾓度誤差（度） 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 16.1 31.32 26.48 19.37 19.23 16.02 15.65 9.84 9.59 8.9 4.58 ランバート 10.19 18.82 9.97 14.34 11.21 10.54 10.37 5.7 8.38 8.24 4.35 PS-FCN 13.53 19.36 13.83 16.07 15.74 13.39 15.04 11.89 12.79 9.0 8.21 CNN-PS 10.35 19.05 8.8 16.13 10.43 10.07 11.79 5.99 8.77 7.52 4.96 SPLINE-NET 9.43 16.92 9.34 15 10.79 8.87 8.38 6.34 7.5 6.81 4.33 GPS-NET 7.66 14.41 6.54 11.24 9.28 8.65 6.97 4.88 6.06 5.34 3.27 PS-Transformer
63. 深層照度差ステレオ法 • Santo+, “Deep Photometric Stereo Network (DPSN),” ICCVW 2017. • [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. （ Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.） • [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. • [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. • [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 63
64. 4. 発展的な研究とまとめ 64
65. 照度差ステレオ法 材質 (BRDF) ３次元形状 照明環境 画像 65
66. 古典的な照度差ステレオ法 ３次元形状 照明環境 画像 66 無限遠光源（並⾏光源） ランバート拡散反射
67. 深層照度差ステレオ法 ３次元形状 照明環境 画像 67 無限遠光源（並⾏光源） MERL BRDFなど
68. 光源条件の緩和 • 近接照度差ステレオ法 68 • 未較正照度差ステレオ法 無限遠光源 近接点光源 ? ?
69. 光源条件の緩和 • 近接照度差ステレオ法 69 • 未較正照度差ステレオ法 無限遠光源 近接点光源 ? ? ⼩規模な装置で撮影可能に
70. 未較正深層照度差ステレオ法* 70 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019.
71. 未較正深層照度差ステレオ法* 71 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019. PS‐FCN ⼊射光推定 ネットワーク
72. 未較正深層照度差ステレオ法* 72 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019. PS‐FCN ⼊射光⽅向
73. 評価 （96光源） w/ SDPS‐Net 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 9.51 17.43 8.48 14.9 11.91 8.97 7.5 6.89 8.14 8.06 2.77 SDPS-Net 73 平均⾓度誤差（度） 較正結果を使⽤していない
74. 74 (CVPR 2021)
75. 実世界で活躍する照度差ステレオ法へ • 材質に関する制約の緩和 → 推定精度の改善 • より簡便な⼿法の登場 （光源数の削減，未較正） 75
76. まとめ • 照度差ステレオ法の基本原理について解説 • 深層照度差ステレオ法の理解に不可⽋な重要ポイントを解説 ‐ データ表現 ‐ ネットワーク構造 ‐ 学習データ • 発展的な⼿法として未較正照度差ステレオ法などについて解説 76