[kantocv] The Perception-Distortion Tradeoff

Transcript

1. 第54回 コンピュータビジョン勉強会＠関東 The Perception-Distortion Tradeoff Presenter: @s_aiueo32

2. 論⽂情報 ü タイトル: The Perception-Distortion Tradeoff ü 著者: Yochai Blau

   and Tomer Michaeli (Technion) ü 採択状況: CVPR2018 Orals/Spotlights ü 内容 ü メトリックと知覚品質のトレードオフに関して考察 ü (トレードオフを横断するのに) GANはいいぞ

3. Image Restoration ü 画像の劣化(Degradation)を修復し，元の画像を再構成する問題 Super Resolution Inpain0ng Dehazing Denoising debruring

4. Image Restorationのゴール Low Distortion ü GTに近い画像を⽣成できればいい ü 画像間の距離で測る ü MAE,

   MSE, PSNR, SSIM etc. Good Perceptual Quality ü 「⾃然」な画像を⽣成できればいい ü 単⼀画像を⽤いて計測 ü BRISQUE, NIQE etc. (本論文の主張) 2つのゴールを同時に達成することは不可能 Mr. Intuition 「距離がゼロならそれは自然な画像では？」 無理

5. 経験的には結構⾔われてた 滑らかすぎる PSNRが 低 い ！

6. 他のアルゴリズムでの結果 両立しているモデルは存在しない Better Better 敵 「RMSEがダメなだけでは？」

7. 他の指標での結果

8. ここからちょっと算数

9. Image Restoration ∼ # 自然画像 再構成画像 % 劣化画像 '|# )

   #|' Algorithm

10. Distortion [Δ(, ) )] SSD, SSIM, MS-SSIM, IFC, VIF, VGG,

    … ∼ # 自然画像 再構成画像 % 非負性: Δ , ≥ 0 同一律: Δ , = 0

11. Perceptual Quality ∼ # 自然画像 再構成画像 % Real or Fake

    7899:77 ∝ =>(#, ) # ) 50% 50% ∼ ) #

12. Perceptual Quality (#, ) # ) TV, KL, Hellinger, @,

    Renyi, Wasserstein, … ∼ # 自然画像 再構成画像 % 非負性: , ≥ 0 同一律: , = 0 ⟺ = ∼ ) #

13. 本論⽂の問題設定 問題 → → ) 尺度の定式化 Distortion: [Δ(, ) )]

    Perceptual Quality: (# , ) # ) [Δ(, ) )] (#, ) # ) このトレードオフの 存在を証明

14. Low Distortionは？

15. 簡単なパラメータ推定の例 ü ノイズ を含んだ観測値 からパラメータ を推定 = + ü は次の確率質量関数に従う確率変数

    #() = G H = ±1 K = 0 ü は正規分布に従う ~(0, 1) この設定でMMSEとMAP推定を行う

16. MMSE と MAP推定 ü MMSE ü 推定値は条件付期待値で与えられる % NNOP =

    = ü ) #QQRS は確率密度 ü MAP推定 ü 事後確率最⼤のパラメータを出⼒ % NTU = argmax[∈{^H,K,H} ( = |) ü 今回の設定だとsign(⋅)と同じ

17. MNISTでMMSE/MAP推定した結果 ü MNISTとBlank画像を混ぜたデータでDenoising 高ノイズレベルで ぼやける 高ノイズレベルでは Blankがほとんど

18. トレードオフについて

19. Tradeoff Function ü Distortionレベルごとの下界を求める関数を定義 = min fg h|i #, )

    # . . Δ , ) ≤ ü (, )がに関して凸なら， ()は単調減少&凸関数 (= Tradeoff!!) ü -divergenceはに関して凸 = + の例でのプロット

20. トレードオフを横断 ü ⺠「トレードオフがあるのは分かったけど， 下界に近づきたい」 ü 神「GANを使いましょう」 = min fg h|i

    #, ) # . . Δ , ) ≤ ℓp:q = ℓrs7tuvtsuq + ℓxry ≈ Δ , ) + (#, ) # ) ⟷

21. 実験 ü WGANで ∈ [0, 0.3]を変えながらDenoising ü 理論的な下界に沿って品質をコントロールできることを確認

22. 既存のアルゴリズムの評価 ü ⾔葉の定義 ü A dominates B: AがBにDistortionでもPerceptual Qualityでも勝ってる ü

    A is admissible: Aはどのアルゴリズムにもdominateされてない ü admissibleな⼿法が下界に近い⼿法

23. レート歪との関係 ü 許容歪に対してどれくらい圧縮できるか？ ü Perception-Distortion Tradeoffと似た形 = min fg h|h

    ; ) s. t. Δ , ) ≤ ü レート歪とのPerception-Distortion Tradeoffの違い 1. レート歪は) #|# を考えるけど，こっちは) #|' を考える 2. ; ) はと ) の同時分布に依存するけど， #, ) # は依存しない ü 著者はICML2019にこんな論⽂通している ü “Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff”

24. まとめ ü DistortioinとPerceptual Qualityの間にトレードオフがある ü GAN損失の⽐率によってトレードオフ関数を横断できる ü 許容Distortionレベルを決めてから動かすのが良い ü 「最適なアルゴリズム」は応⽤依存

    ü 医⽤画像はDistortion志向, 写真はPerceptual Quality志向