Removing Reflections from RAW Photos

第64回 コンピュータビジョン勉強会＠関東（後編）2025/08/24
https://kantocv.connpass.com/event/360322/
での発表資料です。

Title: Removing Reflections from RAW Photos
Authors: Eric Kee, Adam Pikielny, Kevin Blackburn-Matzen, Marc Levoy
Conference: CVPR2025 (Oral)

Project Page:
https://erickee.com/reflections/cvpr2025.html
OpenAccess:
https://openaccess.thecvf.com/content/CVPR2025/html/Kee_Removing_Reflections_from_RAW_Photos_CVPR_2025_paper.html
arXiv:
https://arxiv.org/abs/2404.14414

#cvsaisentan #CVPR2025

Transcript

1. © LayerX Inc. Removing Reflections from RAW Photos (Oral) 2025/08/24 飯⽥啄⺒ コンピュータビジョン勉強会＠関東
2. ⽬次 Agenda • ⾃⼰紹介 • 紹介する論⽂ • 背景 • 先⾏研究 • 前提知識 • 提案⼿法 • 結果 • まとめ
3. 3 © LayerX Inc. ⾃⼰紹介 @frkake 飯⽥啄⺒ これまで： ⾃動運転したり、医⽤画像処理したり 現在： 領収書の処理 ひとこと： 最近引っ越しました
4. 特に記載がなければ、図表は紹介論⽂または 発表者が作成した画像です
5. 5 © LayerX Inc. 紹介する論⽂ 選定理由 • 「画像をレイヤに分離する」という考え ⽅‧タスクがDisentangleしてる感じが あって好き • RAW画像について学べると思ったから • オーラルだったから ガラスに反射する写り込みを除去する論⽂
6. 6 © LayerX Inc. 背景 背後にある⾵景がガラスで反射して、正⾯の⾵景がうまく撮影できないことがある └反射画像            └透過画像 ショーウィンドウの写真。 背景が写り込んで商品がきれいに撮影できない。 （出典：File:Shop window, Rue du Pas-de-la-Mule, Paris 2007.jpg, CCライセンス） 部屋から撮影した外の写真 写り込み
7. © LayerX Inc. 7 先⾏研究 混合画像と反射画像をそれぞれ撮影して、差分を取る 1. ガラス越しに撮影 2. ガラスの向こう側を黒い布で覆って撮影→背景のみが撮影可能 ナイーブなアプローチ（≒正解データの集め⽅） ガラス なにか黒いもの これらの差分を計算することで 透過画像が得られる ※ RAW画像の場合
8. © LayerX Inc. 8 先⾏研究 フラッシュを焚く‧焚かない場合の2枚の画像を撮影し、差分を取ると透過画像に近いものが得られる RAW画像を⽤いた反射除去 こんな画像が得られる [2] より引⽤ [2] より引⽤ アーティファクトが発⽣する⽋点がある • ⾊の歪みや影＋陰が変わってしまう • フラッシュの距離によって光の強さが変わってしまう • フラッシュによりホコリが⽬⽴つ＋ガラスにハイライト → アーティファクト除去のためのネットワークを学習 フラッシュありなしで撮影したデータが⼤量に必要
9. © LayerX Inc. 9 前提知識 RAW画像とは • 撮像素⼦で記録した光データ。いわば画像化される前の値 • 光データをベイヤー配列で変換することでRGBになる RAW画像 ベイヤー配列(GRBG) 光データ 補間 RAW画像の利点 RAWだと線形に画像同⼠の⾜し引きができる。⼀⽅でRGBだとできない 理由：RGBにする過程で⾮線形になるため 線形化 （レンズ周辺の⾊落ち除去、 ブラックレベル除去など） デモザイク （ベイヤー配列を⽤いたピクセル化） ブラックレベル除去 XYZ表⾊系への変換 ホワイトバランス調整 RGB表⾊系への変換 コントラスト調整 （トーンマッピングなど） ガンマ補正 ⾮線形 😢 ⾮線形 😢 Adobe Camera RAW (ACR) パイプライン
10. © LayerX Inc. 10 コラム カメラ内での⽩さの基準を補正すること オートホワイトバランス（AWB）で普段は⾃動調整されてる 例えば • 最も明るいのを⽩にする • 画素平均をグレーにする ホワイトバランス調整ってなんだっけ [4] より引⽤
11. © LayerX Inc. 11 提案⼿法 RAW画像を使った混合画像⽣成 • RAW画像を使って混合画像を⽣成するのは初 • 幾何学的にありえそうな反射を考慮して⽣成 全体感 コンテクスト画像を⽤いた反射除去 • 反射画像らしき画像をヒントとして与える • 混合画像と同じ画⾓でなくてもOKI 画像1 画像2 反射⽣成 混合 画像 混合 画像 コンテ クスト 画像 反射除去 混合 画像 透過 画像 反射 画像 RAW⽣成 (Optional) 画⾓ 違っても OK
12. © LayerX Inc. 12 提案⼿法 • 本来のRAW画像ではなく、現像過程の値で処理 • 学習データの⽣成とモデル内部の処理では、 扱う表⾊系が異なる ◦ 混合画像の⽣成 光の⾜し合わせが素直にできるXYZ表⾊系 ◦ 反射画像の除去（モデル部分） 既存のネットワーク重み（VGGなど）を 利⽤しやすいRGB表⾊系 処理を⾏う場所 線形化 （レンズ周辺の⾊落ち除去、 ブラックレベル除去など） デモザイク （ベイヤー配列を⽤いたピクセル化） ブラックレベル除去 XYZ表⾊系への変換 ホワイトバランス調整 RGB表⾊系への変換 コントラスト調整 （トーンマッピングなど） ガンマ補正 ACRのパイプライン（再掲） ⾮線形 😢 センサ⾮依存 😆 センサ固有の処理 😢 ⾮線形 😢 混合画像の⽣成 反射画像の除去
13. © LayerX Inc. 13 ⼿法 カメラの設定条件の除去 露出による差をなくす →シーン本来の明るさへ戻す RAW画像を⽤いた混合画像⽣成 物理ベースでの合成 幾何学的にありえそうな⽣成を⾏う • カメラ⾓度の⼀致 • フレネル減衰 反射⾓度によって、写り込み具合が異なる 例）斜めだと激しい • デフォーカス • ⼆重反射 合成画像＝画像1/露出1 + 画像2/露出2 明暗差
14. © LayerX Inc. 14 ⼿法 背後の写真を撮影して反射画像のヒントを与える └コンテクスト画像 コンテクスト画像を⽤いた反射除去 背後の写真を撮影 • 反射画像と同じように撮影するのは難しい ⼀致しなくてもヒントとして使えるように • 学習時に全く同じオブジェクトがあると、 モデルがコピペ不正をする可能性がある 学習データ作成時は、あえて反射画像と被らない コンテクスト画像にする ctx refle ction 反射画像として使うソース画像 実際に学習に使うパッチ Q. 同じ物体を含まなくてもヒントとして使える A. 以下のようなヒントが得られる   1. ホワイトバランス調整   2. シーンのセマンティクス
15. © LayerX Inc. 15 ⼿法 RAW画像を読み込んで、RGBで透過画像‧反射画像を推論 その後、RAW現像の逆処理を⾏って、同じ混合画像が得られるか計算 反射除去モデル ベースモデル コンテクスト画像をヒントに 透過画像と反射画像を出⼒ 損失 • Perceptual Loss (T) • Adversarial Loss (T) • L1 Loss (R) • Exclusion Loss 透過画像と反射画像のエッ ジを分離する損失 エッジ同⼠の相関を最⼩化 アップサンプラー 解像度を拡⼤していくモジュール 損失 • Cycle Consistency Loss ダウンサンプリングして ⼀致するか • Perceptual Loss • Gradient Loss • L1 Loss • L2 Loss RGB RAW RAW [3] より引用
16. © LayerX Inc. 16 結果 ⽣成元のRAW画像データセット • MIT5K • RAISE • Lavel Indoors 屋内：10,547枚 屋外：14,623枚 256x256: train/val/test = 1,241,091/ 8,991/ 46,121 2048x2048: train/val/test = 1,079,631/ 7,448/ 39,916 混合データセットの⽣成 RAW画像25,170枚相当 混合画像と透過画像（GT） との⽐較 すべてを抜いた場合 Post White Balancing Scene-reffered Linear Mixing 室外が⻘く、室内が ⻩⾊っぽくなる
17. © LayerX Inc. 17 結果 透過画像と反射画像に分離することで、好きな⽐率で混合させることができる 反射の編集
18. © LayerX Inc. 18 結果 本論⽂のRAW画像で先⾏研究を学習させてみても、性能が⼤きく向上 RAW画像を⽤いて学習した結果 公開されている8bitモデルを評価 本論⽂のデータセットで再学習
19. © LayerX Inc. 19 感想 • 黒い布をかけたときや、室内と室外の明暗差が激しいときの反射具合すごかった • 現像パイプラインで線形性が失われるということを意識させられた • ⽣成データのみで既存⼿法を超えていて良い。⼿軽に実験できるようになった。 • RAW画像で単純に画像を⽣成するだけでなく、しっかりと幾何学的な現象やカメラ条件の差を吸収 していて丁寧な論⽂だと感じた 論⽂を読んでみて
20. © LayerX Inc. 20 宣伝 採⽤、やってます 最近採用サイトが強くなった https://jobs.layerx.co.jp/
21. 21 © LayerX Inc. 参考⽂献 [1] Kee, E. et al. “Removing Reflections from RAW Photos”. 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2025, DOI.org (Crossref), https://doi.org/10.48550/arXiv.2404.14414. [2] Lei, Chenyang, and Qifeng Chen. “Robust Reflection Removal with Reflection-Free Flash-Only Cues.” 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2021, pp. 14806–15. DOI.org (Crossref), https://doi.org/10.1109/CVPR46437.2021.01457. [3] Zhang, Xuaner, et al. “Single Image Reflection Separation with Perceptual Losses.” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2018, pp. 4786–94. DOI.org (Crossref), https://doi.org/10.1109/CVPR.2018.00503. [3] ホワイトバランス, https://www.sony.jp/support/ichigan/enjoy/photo/word8.html?srsltid=AfmBOopwWB9OkBG6opUKkQpi1rF3wxL_UnE2EsNxu9lAqzqTwQBgfkC8, Access: 2025/08/20 [4] Hold-Geoffroy, Y., Sunkavalli, K., Eisenmann, J., Fisher, M., Gambaretto, E., Hadap, S., Lalonde, J.-F., 2018. A Perceptual Measure for Deep Single Image Camera Calibration, in: 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Presented at the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, Salt Lake City, UT, USA, pp. 2354–2363. https://doi.org/10.1109/CVPR.2018.00250
22. Supplemental 補⾜資料
23. © LayerX Inc. 23 Appendix カメラ姿勢 Adobeの発表したカメラ姿勢を推定する論⽂[4]の モデルを利⽤。なおソース、モデル未公開。 幾何を意識した合成
24. © LayerX Inc. 24 Appendix ベースモデル 反射除去モデルのアーキテクチャ
25. © LayerX Inc. 25 Appendix アップサンプラー 反射除去モデルのアーキテクチャ
26. © LayerX Inc. 26 Appendix ⽣成した混合画像
27. © LayerX Inc. 27 Appendix 反射除去の結果
28. © LayerX Inc. 28 Appendix • ⼈が⾒ても難しい例だと難しい • 光源が⾒逃される場合がある 反射除去結果（失敗例）