AI 2023.2.9 @tattaka_sun 株式会社ディー・エヌ・エー ＋ GO株式会社 論文紹介 DSRNet: Single Image Reflection Separation via Component Synergy (ICCV 2023)

AI 2 ▪ 私生活で水槽写真を撮る時に写り込みに悩まされる ▪ 現在のReflection RemovalのSOTA 論文紹介のモチベーション

AI 3 ▪ ガラスのような遮蔽物を通して撮影された画像から、 透過層Tと反射層Rを分離するタスク ▪ 本論文では透過層Tと反射層RのGTが存在する設定 Reflection Removalについて

AI 4 関連研究 Single image Multiple image DL based Opt based ● 分離後の画像の勾配にペナルティをつけて 滑らかになるような損失関数 [1] ● VGG19を用いたPerceptual loss [2] ● 反射層と透過層の相互関係を重視する ような2ストリームのネットワーク構造 [3] ● ブレンディングマップを推定して 非線形な反射をシミュレート [4] ● フラッシュon/off [6] ● 違う位置から撮影 [7] ● 偏光フィルムの条件を 変えて撮影 [8] ● 分離後の エッジが滑 らかになる よう最適化 [5]

AI 5 ▪ Reflection Separationの再定式化 ▪ 出力となる透過層と反射層を効率的に抽出できる ネットワーク構造 DSRNetのcontributionまとめ

AI 6 手法

AI 7 シンプルな仮定だと、I = T + Rと表すことが多い (Iは元画像、Tは透過層、Rは反射層)が、実世界の 複雑なシチュエーションに対応できないため、様々な変種が存在する ● I = αT + βR ○ 拡散などにより透過成分や反射成分が弱まる可能性があるた め線形に足し合わせる ○ 露出オーバーなどに対応できない ● I = W○T + (1 - W)○R ○ ブレンディングマップを導入 ○ 自由度が高くなり、難易度が上がる Reflection Separationの再定式化 (1/2)

AI 8 この研究では I = T + R + Φ(T, R) で表す (Φは学習可能な関数) Φを十分深くすることで、前ページの定式化を含む色々なパターンを 包括することができる また、残差項として表すことで透過層Tと反射層Rの品質を 保つことができる Reflection Separationの再定式化 (2/2)

AI 9 全体としては学習済みVGGの特徴マップから、DSFNet(stage1)と DSDNet (Stage2)を用いてTとRを生成、生成したTとRを入力とする LRMで残差項Φ(T, R)を生成 ネットワーク構造 (1/4) VGG

AI 10 ● DSFNet (Dual-stream Semantic-aware Network): Pixel ShuffleとMuGI Blockを用いてVGGの特徴マップを拡大して いき、inputと合流させる ● MuGI(Mutually-gated Interactive) Block: 2入力を混ぜながら特徴抽出していくアーキテクチャ ネットワーク構造 (2/4)

AI 11 ● DSDNet (Dual-Stream fine-grained Decomposition Network): MuGI BlockとPixelShuffleを用いたU-Net likeなネットワーク DSFNetの出力を入力として透過層T・反射層Rを出力する ● LRM (Learnable Residue Module): 透過層Tと反射層Rを入力として、 残差項Φ(T, R)を生成する ネットワーク構造 (3/4)

AI 12 ● SCA (Simplified Channel Attention): SE Attetionを簡略化した もの ● NAF Block (Nonlinear Activation Free Block): 入力を2分割し、それぞれの積をとる(GLUのActivationなしな Module) Simple GateとSCAを使ったBlock NAFNet (ECCV2022) [9] で提案 ネットワーク構造 (4/4)

AI 13 ● Pixel Loss: 本論文ではα = 2 ● Perceptual Loss: VGG19を使用 損失関数 (1/3)

AI 14 ● Exclusion Loss: 透過層と反射層のエッジは 重なり合いづらいため、透過層と反射層の相関を抑える損失関数 正規化された複数解像度のTとRの勾配の積を計算する Single Image Reflection Separation with Perceptual Losses (CVPR2018) で提案 損失関数(2/3)

AI 15 ● Reconstruction Loss ここまでの損失関数を係数をつけて足し合わせる 損失関数(3/3)

AI 16 評価

AI 17 90のリアルデータとPASCAL VOCから合成された 7643のデータをtrainデータとして用いる 合成データの場合、係数γ1 ∈ [0.8, 1.0] , γ2 ∈ [0.4, 1.0]を 用いて以下のように合成する 使用したデータセット

AI 18 様々なtestデータセットに対してSOTA 定量評価

AI 19 ● w/ Linear Recons: 残差項がないと大幅に性能down ● w/o Feature Inter: Dual-Stream内で特徴交換なし ● w/ YTMT Inter: ● w/o Feature Enc: DSFNetなし ablation study

AI 20 定性評価 透過層の推定 反射層の推定

AI 21 自前の画像でもやってみる (1/3) Input T R Φ(T, R)

AI 22 自前の画像でもやってみる (2/3) Input T R Φ(T, R)

AI 23 自前の画像でもやってみる (3/4) Input T R Φ(T, R)

AI 24 自前の画像でもやってみる (4/4) Input T R Φ(T, R)

AI 25 ● 定式化を見直すことで反射分離のSOTAを達成 ● MuGI Blockはシンプルな構造でありながら効果が大きそう ● 元々のモチベーションであった水槽撮影には 軽微な写り込みであれば消すことはできそう ○ ガッツリ写り込んでいる場合でも弱めることはできている ● 残差項が露出オーバーな部分や水中で反射している成分をカバー していることが確認できる まとめ・感想

AI 26 [1] https://openaccess.thecvf.com/content_ICCV_2017/papers/Fan_A_Generic_Deep_ICCV_2017_paper.pdf [2] https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Single_Image_Reflection_CVPR_2018_paper.pdf [3] https://proceedings.neurips.cc/paper/2021/file/cf1f78fe923afe05f7597da2be7a3da8-Paper.pdf [4] https://openaccess.thecvf.com/content_CVPR_2019/papers/Wen_Single_Image_Reflection_Removal_Beyond_Lin earity_CVPR_2019_paper.pdf [5] https://ieeexplore.ieee.org/document/1315047 [6] https://www.cs.columbia.edu/cg/pdfs/114-flashReflectionsRaskarSig05.pdf [7] https://openaccess.thecvf.com/content_cvpr_2014/papers/Guo_Robust_Separation_of_2014_CVPR_paper.pdf [8] https://link.springer.com/article/10.1023/A:1007937815113 [9] https://www.ecva.net/papers/eccv_2022/papers_ECCV/papers/136670017.pdf 参考文献