論文紹介 DSRNet: Single Image Reflection Separation via Component Synergy (ICCV 2023)

社内のCV輪講で使用した資料です。
ICCV2023で発表された「DSRNet: Single Image Reflection Separation via Component Synergy」について紹介しました。

以下スライド中の参考文献のリンク
[1] https://openaccess.thecvf.com/content_ICCV_2017/papers/Fan_A_Generic_Deep_ICCV_2017_paper.pdf
[2] https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Single_Image_Reflection_CVPR_2018_paper.pdf
[3] https://proceedings.neurips.cc/paper/2021/file/cf1f78fe923afe05f7597da2be7a3da8-Paper.pdf
[4] https://openaccess.thecvf.com/content_CVPR_2019/papers/Wen_Single_Image_Reflection_Removal_Beyond_Linearity_CVPR_2019_paper.pdf
[5] https://ieeexplore.ieee.org/document/1315047
[6] https://www.cs.columbia.edu/cg/pdfs/114-flashReflectionsRaskarSig05.pdf
[7] https://openaccess.thecvf.com/content_cvpr_2014/papers/Guo_Robust_Separation_of_2014_CVPR_paper.pdf
[8] https://link.springer.com/article/10.1023/A:1007937815113
[9] https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136670017.pdf

Transcript

1. AI 2023.2.9 @tattaka_sun 株式会社ディー・エヌ・エー ＋ GO株式会社 論文紹介 DSRNet: Single Image Reflection Separation via Component Synergy (ICCV 2023)
2. AI 2 ▪ 私生活で水槽写真を撮る時に写り込みに悩まされる ▪ 現在のReflection RemovalのSOTA 論文紹介のモチベーション
3. AI 3 ▪ ガラスのような遮蔽物を通して撮影された画像から、 透過層Tと反射層Rを分離するタスク ▪ 本論文では透過層Tと反射層RのGTが存在する設定 Reflection Removalについて
4. AI 4 関連研究 Single image Multiple image DL based Opt based • 分離後の画像の勾配にペナルティをつけて 滑らかになるような損失関数 [1] • VGG19を用いたPerceptual loss [2] • 反射層と透過層の相互関係を重視する ような2ストリームのネットワーク構造 [3] • ブレンディングマップを推定して 非線形な反射をシミュレート [4] • フラッシュon/off [6] • 違う位置から撮影 [7] • 偏光フィルムの条件を 変えて撮影 [8] • 分離後の エッジが滑 らかになる よう最適化 [5]
5. AI 5 ▪ Reflection Separationの再定式化 ▪ 出力となる透過層と反射層を効率的に抽出できる ネットワーク構造 DSRNetのcontributionまとめ
6. AI 6 手法
7. AI 7 シンプルな仮定だと、I = T + Rと表すことが多い (Iは元画像、Tは透過層、Rは反射層)が、実世界の 複雑なシチュエーションに対応できないため、様々な変種が存在する • I = αT + βR ◦ 拡散などにより透過成分や反射成分が弱まる可能性があるた め線形に足し合わせる ◦ 露出オーバーなどに対応できない • I = W◦T + (1 - W)◦R ◦ ブレンディングマップを導入 ◦ 自由度が高くなり、難易度が上がる Reflection Separationの再定式化 (1/2)
8. AI 8 この研究では I = T + R + Φ(T, R) で表す (Φは学習可能な関数) Φを十分深くすることで、前ページの定式化を含む色々なパターンを 包括することができる また、残差項として表すことで透過層Tと反射層Rの品質を 保つことができる Reflection Separationの再定式化 (2/2)
9. AI 9 全体としては学習済みVGGの特徴マップから、DSFNet(stage1)と DSDNet (Stage2)を用いてTとRを生成、生成したTとRを入力とする LRMで残差項Φ(T, R)を生成 ネットワーク構造 (1/4) VGG
10. AI 10 • DSFNet (Dual-stream Semantic-aware Network): Pixel ShuffleとMuGI Blockを用いてVGGの特徴マップを拡大して いき、inputと合流させる • MuGI(Mutually-gated Interactive) Block: 2入力を混ぜながら特徴抽出していくアーキテクチャ ネットワーク構造 (2/4)
11. AI 11 • DSDNet (Dual-Stream fine-grained Decomposition Network): MuGI BlockとPixelShuffleを用いたU-Net likeなネットワーク DSFNetの出力を入力として透過層T・反射層Rを出力する • LRM (Learnable Residue Module): 透過層Tと反射層Rを入力として、 残差項Φ(T, R)を生成する ネットワーク構造 (3/4)
12. AI 12 • SCA (Simplified Channel Attention): SE Attetionを簡略化した もの • NAF Block (Nonlinear Activation Free Block): 入力を2分割し、それぞれの積をとる(GLUのActivationなしな Module) Simple GateとSCAを使ったBlock NAFNet (ECCV2022) [9] で提案 ネットワーク構造 (4/4)
13. AI 13 • Pixel Loss: 本論文ではα = 2 • Perceptual Loss: VGG19を使用 損失関数 (1/3)
14. AI 14 • Exclusion Loss: 透過層と反射層のエッジは 重なり合いづらいため、透過層と反射層の相関を抑える損失関数 正規化された複数解像度のTとRの勾配の積を計算する Single Image Reflection Separation with Perceptual Losses (CVPR2018) で提案 損失関数(2/3)
15. AI 15 • Reconstruction Loss ここまでの損失関数を係数をつけて足し合わせる 損失関数(3/3)
16. AI 16 評価
17. AI 17 90のリアルデータとPASCAL VOCから合成された 7643のデータをtrainデータとして用いる 合成データの場合、係数γ1 ∈ [0.8, 1.0] , γ2 ∈ [0.4, 1.0]を 用いて以下のように合成する 使用したデータセット
18. AI 18 様々なtestデータセットに対してSOTA 定量評価
19. AI 19 • w/ Linear Recons: 残差項がないと大幅に性能down • w/o Feature Inter: Dual-Stream内で特徴交換なし • w/ YTMT Inter: • w/o Feature Enc: DSFNetなし ablation study
20. AI 20 定性評価 透過層の推定 反射層の推定
21. AI 21 自前の画像でもやってみる (1/3) Input T R Φ(T, R)
22. AI 22 自前の画像でもやってみる (2/3) Input T R Φ(T, R)
23. AI 23 自前の画像でもやってみる (3/4) Input T R Φ(T, R)
24. AI 24 自前の画像でもやってみる (4/4) Input T R Φ(T, R)
25. AI 25 • 定式化を見直すことで反射分離のSOTAを達成 • MuGI Blockはシンプルな構造でありながら効果が大きそう • 元々のモチベーションであった水槽撮影には 軽微な写り込みであれば消すことはできそう ◦ ガッツリ写り込んでいる場合でも弱めることはできている • 残差項が露出オーバーな部分や水中で反射している成分をカバー していることが確認できる まとめ・感想
26. AI 26 [1] https://openaccess.thecvf.com/content_ICCV_2017/papers/Fan_A_Generic_Deep_ICCV_2017_paper.pdf [2] https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Single_Image_Reflection_CVPR_2018_paper.pdf [3] https://proceedings.neurips.cc/paper/2021/file/cf1f78fe923afe05f7597da2be7a3da8-Paper.pdf [4] https://openaccess.thecvf.com/content_CVPR_2019/papers/Wen_Single_Image_Reflection_Removal_Beyond_Lin earity_CVPR_2019_paper.pdf [5] https://ieeexplore.ieee.org/document/1315047 [6] https://www.cs.columbia.edu/cg/pdfs/114-flashReflectionsRaskarSig05.pdf [7] https://openaccess.thecvf.com/content_cvpr_2014/papers/Guo_Robust_Separation_of_2014_CVPR_paper.pdf [8] https://link.springer.com/article/10.1023/A:1007937815113 [9] https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136670017.pdf 参考文献