第232回CVIM研究会チュートリアル（2023年1月） 図などは各論文から引用したものです．
⾼精細3次元計測のためのデータ駆動型「深層照度差ステレオ」⼊⾨第232回CVIM研究会 (2023年1⽉)⼤阪⼤学 ⼭藤 浩明1
View Slide
⾼精細3次元計測のためのデータ駆動型「深層照度差ステレオ」⼊⾨1. 背景2. 照度差ステレオ法‐ 照度差ステレオ法とは‐ 古典的な照度差ステレオ法‐ 撮影環境3. 深層照度差ステレオ法‐ 回帰問題としての照度差ステレオ法‐ データ表現とネットワーク構造‐ 学習データ‐ 評価4. 発展的な研究とまとめ2
1. 背景3
画像からの3次元復元• バーチャルリアリティ (VR)，メタバース・デジタルツイン• デジタルアーカイブ化4[Twitter(@iwamah1)より引⽤] バーチャルオープンキャンパス [⼤阪⼤学 情報科学研究科]
デジタルアーカイブ化5⽴体複製画 [デトロイト美術館展 by RICOH] デジタルアーカイブ観測画像 復元結果を⽤いたレンダリング
2. 照度差ステレオ法6
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)姿勢 𝑹|𝒕7
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)姿勢 𝑹|𝒕ステレオカメラ視点1 視点28対応点
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)姿勢 𝑹|𝒕ステレオカメラ視点1 視点2𝑓𝑧𝑑𝑏焦点距離: 𝑓ベースライン: 𝑏視差（disparity）: 𝑑深度 𝑧 𝑏9(三⾓測量)
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)姿勢 𝑹|𝒕ステレオカメラフォトグラメトリ (Structure‐from‐Motion + 多眼ステレオ)𝑖 カメラ✅ ⼤域的な形状推定❌疎な形状推定（対応点探索がボトルネック）10(三⾓測量)視点1 視点2𝑓𝑧𝑑𝑏焦点距離: 𝑓ベースライン: 𝑏視差（disparity）: 𝑑深度 𝑧 𝑏
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)𝑹|𝒕• ⼤域的な形状推定が可能• 対応点探索がボトルネック照度差ステレオ法光源⽅向 観測 表⾯の傾き（法線⽅向）推定11
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)𝑹|𝒕• ⼤域的な形状推定が可能• 対応点探索がボトルネック✅ 密な形状（法線⽅向）推定❌ 局所的な形状しか推定できない12照度差ステレオ法光源⽅向 観測 表⾯の傾き（法線⽅向）推定
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)𝑹|𝒕✅ ⼤域的な形状推定が可能❌疎な形状推定（対応点探索がボトルネック）✅ 密な形状（法線⽅向）推定❌ 局所的な形状しか推定できない13
幾何 (Geometry‐based)3次元復元測光 (Photometry‐based)𝑹|𝒕✅ ⼤域的な形状推定が可能❌疎な形状推定（対応点探索がボトルネック）✅ 密な形状（法線⽅向）推定❌ 局所的な形状しか推定できない14
照度差ステレオ法の基本原理~画像⽣成モデル~材質３次元形状照明環境画像15
照度差ステレオ法の基本原理~物理ベースビジョン~材質３次元形状照明環境画像16
照度差ステレオ法の基本原理材質３次元形状照明環境画像17
照度差ステレオ法の基本原理材質３次元形状照明環境画像18??
古典的な照度差ステレオ法における仮定材質３次元形状画像19?照明環境複数の，⽅向が既知の無限遠光源（並⾏光源）⼊射光⽅向 𝒍
古典的な照度差ステレオ法における仮定３次元形状画像20照明環境複数の，⽅向が既知の無限遠光源（並⾏光源）⼊射光⽅向 𝒔材質ランバート拡散反射モデル（等⽅拡散反射）
古典的な照度差ステレオ法３次元形状照明環境画像21無限遠光源（並⾏光源）ランバート拡散反射
古典的な照度差ステレオ法⼊射光⽅向𝒍 𝑙 𝑙 𝑙観測⽅向法線 𝒏 𝑛 𝑛 𝑛拡散反射率 𝜌ランバート拡散反射モデル︓輝度値 𝑚 𝜌 𝑙 𝑙 𝑙𝑛𝑛𝑛𝜌𝒍 𝒏輝度値 𝑚𝜃ランバートの余弦則𝒍 1𝒏 1
古典的な照度差ステレオ法観測⽅向法線 𝒏 𝑛 𝑛 𝑛拡散反射率 𝜌ランバート拡散反射モデル︓輝度値 𝑚 𝜌 𝑙 𝑙 𝑙𝑛𝑛𝑛𝜌𝒍 𝒏輝度値 𝑚複数の光源を考えてみる︓𝑚 𝜌𝒍 𝒏𝑚 𝜌𝒍 𝒏𝑚 𝜌𝒍 𝒏↓𝒎 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 𝜌𝒏 𝑳𝜌𝒏⼊射光⽅向 𝒍𝒍𝒍𝑳の逆⾏列を計算すると𝜌𝒏 𝒏 𝑳 𝒎𝒏𝒏𝒏𝜌 𝒏（光源数 > 3のときは擬似逆⾏列を⽤いる）∵ 𝒏 1𝒏 1
古典的な照度差ステレオ法24https://github.com/yasumat/RobustPhotometricStereo法線マップ⼊⼒画像
照度差ステレオの撮影25(a)カメラLED(b‐1) (b‐2)カメラLED(c)カメラLED回転台(a) Santo+, ECCV 2020(b) Li+, TIP 2020(c) Mecca+ , BMVC 2021
照度差ステレオの撮影26[Shi+, TPAMI 2019] [Santo+, ECCV 2020]
古典的な照度差ステレオ法の限界• ランバート拡散反射モデル素焼きの陶器27• ⾮ランバートな反射モデル⾦属，陶磁器，プラスチック etc.
古典的な照度差ステレオ法の限界• ランバート拡散反射モデル画像⽣成モデル︓𝑚 𝜌𝒍 𝒏28• ⾮ランバートな反射モデル画像⽣成モデル︓𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏⼊射光⽅向 𝒍観測⽅向 𝒗法線 𝒏拡散反射率 𝜌⼊射光⽅向 𝒍観測⽅向 𝒗法線 𝒏双⽅向反射率分布関数 (Bidirectional Reflectance Distribution Function, BRDF)
⾮ランバートな照度差ステレオ法⽅針1. ロバスト推定‐ 拡散反射成分（ランバート反射）が⽀配的‐ 鏡⾯反射など⾮ランバート反射が外れ値的に存在2. 柔軟な反射モデル (BRDF)‐ Phongモデル，Cook‐Torranceモデル etc.29[2012]• 実世界の幅広い反射を扱うには• 照度差ステレオ法として解けるのか （𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏）
3. 深層照度差ステレオ法30
回帰問題としての照度差ステレオ法画像⽣成モデル︓𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏⋮𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏回帰問題︓𝒏 F 𝑚 , 𝑚 , ⋯ , 𝑚 , 𝒍 , 𝒍 , ⋯ , 𝒍31⼊射光⽅向 𝒍観測⽅向 𝒗法線 𝒏観測輝度 𝑚
Deep Photometric Stereo Network (DPSN)*32* Santo+, “Deep Photometric Stereo Network,” ICCVW 2017.観測画像光源1光源2光源 𝑓︙観測輝度ベクトル𝑚𝑚𝑚・・・・・・𝑛𝑛𝑛全結合層 (MLP)観測輝度ベクトル𝑚𝑚𝑚𝑚・・・𝑚・・・シンプルな⼿法でデータ駆動型アプローチの有⽤性を⽰した
深層照度差ステレオ法の難しさ観測輝度ベクトルの順番で⼊射光⽅向の情報を表現↓光源の数や⼊射光⽅向は撮影装置に依存撮影装置ごとに推定器を学習しなければならない33観測画像光源1光源2光源 𝑓︙観測輝度ベクトル𝑚𝑚𝑚可変⻑ かつ 順不同の観測データをどのように扱うか
データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂[観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.[画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.[グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.[集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.34
データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂[観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.[画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.[グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.[集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.35
Ikehata, “CNN‐PS: CNN‐based Photometric Stereofor General Non‐Convex Surfaces,” ECCV 201836𝑢𝑣観測マップ(observation map)⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧𝑢 int 𝑤𝑥 12𝑣 int 𝑤𝑦 12𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereofor General Non‐Convex Surfaces,” ECCV 201837𝑢𝑣観測マップ(observation map)⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereofor General Non‐Convex Surfaces,” ECCV 201838𝑢𝑣観測マップ(observation map)⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧𝑢 int 𝑤𝑥 12𝑣 int 𝑤𝑦 12𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereofor General Non‐Convex Surfaces,” ECCV 201839ネットワーク構造✅ ⼊射光⽅向を離散化 → 固定⻑のマップで表現❌ 観測数が少ない場合に疎なマップとなって精度低下𝑢𝑣観測マップ(observation map)⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧𝑢 int 𝑤𝑥 12𝑣 int 𝑤𝑦 12𝑤
疎な観測マップに特化した⼿法 (SPLINE‐NET*)40* Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.
データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂[観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.[画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.[グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.[集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.41
Chen+, “PS‐FCN: A Flexible Learning Frameworkfor Photometric Stereo,” ECCV 201842観測画像光源1光源2光源 𝑓︙,⼊射光⽅向,,︙∈ ℝネットワーク構造✅ 光源ごとの観測から特徴量を抽出✅ Max‐poolingによって可変⻑の⼊⼒を統合❌ 画像空間での特徴抽出→過剰な平滑化
データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂[観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.[画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.[グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.[集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.43
Zhuokun+, “GPS‐Net: Graph‐basedPhotometric Stereo Network,” NeurIPS, 202044グラフ⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧ノード特徴量𝑚 𝑥 , 𝑦 , 𝑧観測輝度: 𝑚⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧観測輝度: 𝑚✅ GCNによるピクセル単位(per‐pixel)の特徴量抽出 + 画像空間での回帰ネットワーク構造
データ表現とネットワーク構造最新⼿法の理解に不可⽋な4つの論⽂[観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.[画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.[グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.[集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.45
Ikehata, “PS‐Transformer: Learning Sparse Photometric StereoNetwork using Self‐Attention Mechanism,” BMVC, 202146観測画像光源1光源2光源 𝑓︙観測輝度と⼊射光⽅向ベクトルの集合𝑚𝑚𝑚𝒍𝒍𝒍✅ 位置符号化を⽤いないTransformerによって可変⻑かつ順不同の集合から特徴量抽出Transformerによる特徴量抽出𝒙𝒙⋮𝒙
Ikehata, “PS‐Transformer: Learning Sparse Photometric StereoNetwork using Self‐Attention Mechanism,” BMVC, 202147ピクセル単位の特徴量抽出画像ごとに重みを共有したCNNで特徴量マップを抽出
𝑢𝑣観測マップ(observation map)⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧𝑤CNN-PS 観測画像光源1光源2光源 𝑓︙,⼊射光⽅向,,︙PS-FCNグラフ⼊射光⽅向𝒍 𝑥 , 𝑦 , 𝑧ノード特徴量︓ 𝑚 , 𝑥 , 𝑦 , 𝑧観測輝度: 𝑚GPS-NET光源1光源2光源 𝑓︙集合𝑚𝑚𝑚𝒍𝒍𝒍PS-Transformer特徴マップ𝒙𝒙⋮𝒙
学習データ• ⼊⼒︓観測画像 + ⼊射光⽅向• 真値︓法線マップ実世界で収集するのは困難 → 合成データを⽣成（レンダリング）しようレンダリングエンジン（レンダラー）49
カメラ光源
学習⽤合成シーンの⽣成51３次元形状照明環境画像材質 (BRDF)
学習⽤合成シーンの⽣成52材質 (BRDF)３次元形状照明環境画像無限遠光源（並⾏光源）
学習⽤合成シーンの⽣成53照明環境画像無限遠光源（並⾏光源）３次元形状[DPSN, PS‐FCN, CNN‐PS]材質 (BRDF)
合成シーンの⽣成に⽤いる材質 (BRDF)MERL BRDF Database [Matusik+ 2003]• 100種類の実測したBRDFのデータベース54Disney Principled BRDF [Burley+, 2012]• 11パラメータで制御するモデル
合成シーンの⽣成に⽤いる材質 (BRDF)MERL BRDF Database [Matusik+ 2003]• 100種類の実測したBRDFのデータベース55Disney Principled BRDF [Burley+, 2012]• 11パラメータで制御するモデル✅ 実測値である❌ 100種類に限定されている
合成シーンの⽣成に⽤いる材質 (BRDF)MERL BRDF Database [Matusik+ 2003]• 100種類の実測したBRDFのデータベース56Disney Principled BRDF [Burley+, 2012]• 11パラメータで制御するモデル✅ 実測値である❌ 100種類に限定されている✅ 無限に⽣成可能❌ 実世界の観測とモデリングのギャップ
学習⽤合成シーンの⽣成57照明環境画像無限遠光源（並⾏光源）３次元形状[DPSN, PS‐FCN, CNN‐PS]材質 (BRDF)
⽣成画像の例58
評価DiLiGenTデータセット [Shi+, 2019]• 10物体• 96光源環境下• 真値の法線マップ (レーザセンサ)59
60
評価 （96光源）平均HARVESTCOWREADINGGOBLETBUDDHAPOT2BEARPOT1CATBALL15.3930.6225.619.818.514.9214.658.398.898.414.1ランバート10.218.47.9215.810.913.89.737.058.737.052.49DPSN8.3915.857.3313.338.67.917.257.557.136.162.82PS-FCN7.2114.087.9212.127.428.076.384.25.374.382.12CNN-PS9.6317.937.4415.59.6210.3610.895.288.296.494.51SPLINE-NET7.8115.146.1413.589.07.777.015.076.045.422.92GPS-NET7.613.535.9611.299.1210.077.554.616.245.022.58PS-Transformer61平均⾓度誤差（度）
評価 （10光源）62平均⾓度誤差（度）平均HARVESTCOWREADINGGOBLETBUDDHAPOT2BEARPOT1CATBALL16.131.3226.4819.3719.2316.0215.659.849.598.94.58ランバート10.1918.829.9714.3411.2110.5410.375.78.388.244.35PS-FCN13.5319.3613.8316.0715.7413.3915.0411.8912.799.08.21CNN-PS10.3519.058.816.1310.4310.0711.795.998.777.524.96SPLINE-NET9.4316.929.341510.798.878.386.347.56.814.33GPS-NET7.6614.416.5411.249.288.656.974.886.065.343.27PS-Transformer
深層照度差ステレオ法• Santo+, “Deep Photometric Stereo Network (DPSN),” ICCVW 2017.• [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo forGeneral Non‐Convex Surfaces,” ECCV 2018.（ Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through LightingInterpolation and Normal Estimation Networks,” ICCV 2019.）• [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework forPhotometric Stereo,” ECCV 2018.• [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric StereoNetwork,” NeurIPS, 2020.• [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning SparsePhotometric Stereo Network using Self‐Attention Mechanism,” BMVC,2021.63
4. 発展的な研究とまとめ64
照度差ステレオ法材質 (BRDF)３次元形状照明環境画像65
古典的な照度差ステレオ法３次元形状照明環境画像66無限遠光源（並⾏光源）ランバート拡散反射
深層照度差ステレオ法３次元形状照明環境画像67無限遠光源（並⾏光源）MERL BRDFなど
光源条件の緩和• 近接照度差ステレオ法68• 未較正照度差ステレオ法無限遠光源 近接点光源??
光源条件の緩和• 近接照度差ステレオ法69• 未較正照度差ステレオ法無限遠光源 近接点光源??⼩規模な装置で撮影可能に
未較正深層照度差ステレオ法*70* Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019.
未較正深層照度差ステレオ法*71* Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019.PS‐FCN⼊射光推定ネットワーク
未較正深層照度差ステレオ法*72* Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR 2019.PS‐FCN⼊射光⽅向
評価 （96光源） w/ SDPS‐Net平均HARVESTCOWREADINGGOBLETBUDDHAPOT2BEARPOT1CATBALL15.3930.6225.619.818.514.9214.658.398.898.414.1ランバート10.218.47.9215.810.913.89.737.058.737.052.49DPSN8.3915.857.3313.338.67.917.257.557.136.162.82PS-FCN7.2114.087.9212.127.428.076.384.25.374.382.12CNN-PS9.6317.937.4415.59.6210.3610.895.288.296.494.51SPLINE-NET7.8115.146.1413.5897.777.015.076.045.422.92GPS-NET7.613.535.9611.299.1210.077.554.616.245.022.58PS-Transformer9.5117.438.4814.911.918.977.56.898.148.062.77SDPS-Net73平均⾓度誤差（度）較正結果を使⽤していない
74(CVPR 2021)
実世界で活躍する照度差ステレオ法へ• 材質に関する制約の緩和 → 推定精度の改善• より簡便な⼿法の登場 （光源数の削減，未較正）75
まとめ• 照度差ステレオ法の基本原理について解説• 深層照度差ステレオ法の理解に不可⽋な重要ポイントを解説‐ データ表現‐ ネットワーク構造‐ 学習データ• 発展的な⼿法として未較正照度差ステレオ法などについて解説76
wingnus
gihoz_support
arimuri
utokyoissr2360
yhkondo
kaityo256
kfujita
kattsuuya
oripsolob
naokikato
malarkey
frogandcode
orderedlist
bryan
rmw
paulrobertlloyd
eileencodes
addyosmani
kastner
jcasabona
morganepeng
panda_program