[kantocv] The Perception-Distortion Tradeoff

Db88e5ec556878cbfd71c95a787116b2?s=47 Sou Uchida
August 25, 2019

[kantocv] The Perception-Distortion Tradeoff

Db88e5ec556878cbfd71c95a787116b2?s=128

Sou Uchida

August 25, 2019
Tweet

Transcript

  1. 第54回 コンピュータビジョン勉強会@関東 The Perception-Distortion Tradeoff Presenter: @s_aiueo32

  2. 論⽂情報 ü タイトル: The Perception-Distortion Tradeoff ü 著者: Yochai Blau

    and Tomer Michaeli (Technion) ü 採択状況: CVPR2018 Orals/Spotlights ü 内容 ü メトリックと知覚品質のトレードオフに関して考察 ü (トレードオフを横断するのに) GANはいいぞ
  3. Image Restoration ü 画像の劣化(Degradation)を修復し,元の画像を再構成する問題 Super Resolution Inpain0ng Dehazing Denoising debruring

  4. Image Restorationのゴール Low Distortion ü GTに近い画像を⽣成できればいい ü 画像間の距離で測る ü MAE,

    MSE, PSNR, SSIM etc. Good Perceptual Quality ü 「⾃然」な画像を⽣成できればいい ü 単⼀画像を⽤いて計測 ü BRISQUE, NIQE etc. (本論文の主張) 2つのゴールを同時に達成することは不可能 Mr. Intuition 「距離がゼロならそれは自然な画像では?」 無理
  5. 経験的には結構⾔われてた 滑らかすぎる PSNRが 低 い !

  6. 他のアルゴリズムでの結果 両立しているモデルは存在しない Better Better 敵 「RMSEがダメなだけでは?」

  7. 他の指標での結果

  8. ここからちょっと算数

  9. Image Restoration ∼ # 自然画像 再構成画像 % 劣化画像 '|# )

    #|' Algorithm
  10. Distortion [Δ(, ) )] SSD, SSIM, MS-SSIM, IFC, VIF, VGG,

    … ∼ # 自然画像 再構成画像 % 非負性: Δ , ≥ 0 同一律: Δ , = 0
  11. Perceptual Quality ∼ # 自然画像 再構成画像 % Real or Fake

    7899:77 ∝ =>(#, ) # ) 50% 50% ∼ ) #
  12. Perceptual Quality (#, ) # ) TV, KL, Hellinger, @,

    Renyi, Wasserstein, … ∼ # 自然画像 再構成画像 % 非負性: , ≥ 0 同一律: , = 0 ⟺ = ∼ ) #
  13. 本論⽂の問題設定 問題 → → ) 尺度の定式化 Distortion: [Δ(, ) )]

    Perceptual Quality: (# , ) # ) [Δ(, ) )] (#, ) # ) このトレードオフの 存在を証明
  14. Low Distortionは?

  15. 簡単なパラメータ推定の例 ü ノイズ を含んだ観測値 からパラメータ を推定 = + ü は次の確率質量関数に従う確率変数

    #() = G H = ±1 K = 0 ü は正規分布に従う ~(0, 1) この設定でMMSEとMAP推定を行う
  16. MMSE と MAP推定 ü MMSE ü 推定値は条件付期待値で与えられる % NNOP =

    = ü ) #QQRS は確率密度 ü MAP推定 ü 事後確率最⼤のパラメータを出⼒ % NTU = argmax[∈{^H,K,H} ( = |) ü 今回の設定だとsign(⋅)と同じ
  17. MNISTでMMSE/MAP推定した結果 ü MNISTとBlank画像を混ぜたデータでDenoising 高ノイズレベルで ぼやける 高ノイズレベルでは Blankがほとんど

  18. トレードオフについて

  19. Tradeoff Function ü Distortionレベルごとの下界を求める関数を定義 = min fg h|i #, )

    # . . Δ , ) ≤ ü (, )がに関して凸なら, ()は単調減少&凸関数 (= Tradeoff!!) ü -divergenceはに関して凸 = + の例でのプロット
  20. トレードオフを横断 ü ⺠「トレードオフがあるのは分かったけど, 下界に近づきたい」 ü 神「GANを使いましょう」 = min fg h|i

    #, ) # . . Δ , ) ≤ ℓp:q = ℓrs7tuvtsuq + ℓxry ≈ Δ , ) + (#, ) # ) ⟷
  21. 実験 ü WGANで ∈ [0, 0.3]を変えながらDenoising ü 理論的な下界に沿って品質をコントロールできることを確認

  22. 既存のアルゴリズムの評価 ü ⾔葉の定義 ü A dominates B: AがBにDistortionでもPerceptual Qualityでも勝ってる ü

    A is admissible: Aはどのアルゴリズムにもdominateされてない ü admissibleな⼿法が下界に近い⼿法
  23. レート歪との関係 ü 許容歪に対してどれくらい圧縮できるか? ü Perception-Distortion Tradeoffと似た形 = min fg h|h

    ; ) s. t. Δ , ) ≤ ü レート歪とのPerception-Distortion Tradeoffの違い 1. レート歪は) #|# を考えるけど,こっちは) #|' を考える 2. ; ) はと ) の同時分布に依存するけど, #, ) # は依存しない ü 著者はICML2019にこんな論⽂通している ü “Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff”
  24. まとめ ü DistortioinとPerceptual Qualityの間にトレードオフがある ü GAN損失の⽐率によってトレードオフ関数を横断できる ü 許容Distortionレベルを決めてから動かすのが良い ü 「最適なアルゴリズム」は応⽤依存

    ü 医⽤画像はDistortion志向, 写真はPerceptual Quality志向