perception_distortion_tradeoff.pdf

Slide 1

Slide 1 text

早稲⽥⼤学修⼠2年真殿航輝⼈間の知覚情報と歪みの関係性についての研究事例

Slide 2

Slide 2 text

2 ⼈間の知覚情報とは⼈間が画像の中⾝を理解するための情報量中⾝を理解するための情報量がある中⾝を理解するための情報量がない

Slide 3

Slide 3 text

3 ⼈間の知覚情報とは⼈間が画像の中⾝を理解するための情報量中⾝を理解するための情報量がある中⾝を理解するための情報量がない Lenaとわかる何もなしノイズに⾒える

Slide 4

Slide 4 text

4 ⼈間の知覚情報に関する損失関数の⼤枠⼤きく3種類に分類(perceptual information loss) 1. ⼈間の意⾒ (ex) アンケート、⼈間の意⾒を元に損失関数を設計 2. ⾃然画像の統計量との⽐較(No Reference based,NR) (ex) BRISQUE, NIQE, %**7*/& 3. GAN based (分布を最⼩化するアプローチ） (ex) JS divergence, Wasserstein distance, f-divergence • 歪み(distortion)の計測 : Full Reference based(FR, 元画像との⽐較） (ex) MSE, SSIM, MS-SSIM, IFC, VIF, …

Slide 5

Slide 5 text

5 ⼈間の知覚情報の使⽤⽤途 - Style変換 - 画像品質評価(IQA) - 秘匿画像の作成

Slide 6

Slide 6 text

6 発表内容発表内容⼈間の知覚情報と歪みの関係性についての研究事例結論 -知覚情報, 画像の歪み, 識別精度、情報圧縮率それぞれに Tradeoff -既存の知覚情報を扱う損失関数はまだ不⼗分知覚情報 (perceptual information) 歪み (distortion)

Slide 7

Slide 7 text

7 発表論⽂ 1. The Perception-Distortion Tradeoff - 元画像と再構成時の確率分布の違いを分析 - ⽬的関数に関係なく、視覚情報と歪みにトレードオフがある 2. On The Classification-Distortion-Perception Tradeoff - ্ͷݚڀΛࣝผਫ਼౓ͱͷؔ܎ੑʹ֦ு - 3ͭͦΕͧΕͷpairؒʹରͯ͠τϨʔυΦϑ͕͋Δ 3. Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff - 1. ͷݚڀΛBit rate ( ѹॖʣٕज़ͱͷؔ܎ੑʹ֦ு - ѹॖ཰ʹΑͬͯɺPerceptual loss͕ػೳ͠ͳ͍৔߹͕͋Γʁ

Slide 8

Slide 8 text

Yochai Blau, Tomer Michaeli CVPR 2019 Oral The Perception-Distortion Tradeoff

Slide 9

Slide 9 text

9 論⽂概要タスク : 画像信号復元 / 超解像提案 : Perceptual quality と distortionにトレードオフ (PD-tradeoff) 結論 : - どの評価指標でもPD-tradeoffが存在する - 最近の⼿法はtrade offの⾯でそこまで変化なし - FR, NR両⽅の損失を⽤いることが信頼性のために重要

Slide 10

Slide 10 text

10 トレードオフの全体像どちらか(Perception, Distortion)の損失を最⼩化すると、⽚⽅の損失が極端に⼤きくなってしまうようなトレードオフ

Slide 11

Slide 11 text

11 画像の再構成（問題設定） Perceptual Quality(())を分布, Distortion ()を期待値として定式化 (* 関連研究で()->෼෍, -> ը࣭ධՁͱҐஔ෇͚ΒΕ͍ͯΔͨΊ) = min !! "|$ ", # " . . [Δ(, 3 )] ≤

Slide 12

Slide 12 text

12 の性質 ", # " : f-divergence, KL, Renyi divergenceなどのJensenの不等式を満たすものを利⽤する. () (= min !! "|$ ", # " ,下の図の)は上の条件で、凸性を持つ. -> ()ʹತੑ͕͋ΔͨΊɺͲͪΒ͔Λ࠷దԽ͢Δͱɺยํͷ஋ͷมԽ͕ ۃ୺ʹͳΔ. (੺࿮ʣ

Slide 13

Slide 13 text

13 論⽂の注⽬点元画像と再構成画像の分布 - (ex) 元画像 X ∈ −1,0,1 と劣化画像 = + (0,1) 元画像 () 劣化画像 ()

Slide 14

Slide 14 text

14 論⽂の注⽬点元画像と再構成画像の分布 - (ex) 元画像 X ∈ −1,0,1 と劣化画像 = + (0,1) 元画像 () 劣化画像 () 再構成画像 ()

Slide 15

Slide 15 text

15 論⽂の注⽬点元画像と再構成画像の分布 - (ex) 元画像 X ∈ −1,0,1 と劣化画像 = + (0,1) 元画像 () 劣化画像 () 再構成画像 () MMSEとMAPで歪みを最⼩化すると分布が合わない ↓ Perceptual informationとトレードオフな関係があるのでは︖

Slide 16

Slide 16 text

16 minimum mean square-error (MMSE) での推定 ..4&の事後確率の期待値 > $$%&: [| = ](∑'∈{*+,-,+} # "%&'( > ) - 確率が離散 / 連続値の違い - MMSEによる推定が完全でない ! = $ " , = ±1 # , = 0 ) *!"#$ " = +exp(− 1 2 − ,) ∑-∈{01,3,1} - exp{− 1 2 ( − ),}

Slide 17

Slide 17 text

17 maximum-a-posteriori (MAP)での推定 ."1の事後確率の期待値 > $/!: [| = ]( max '∈{*+,-,+} ( = |)) - 0を取らないように推定を⾏う - MAPによる推定が完全でない ! = $ " , = ±1 # , = 0 $ !!"# ) = $ 0.5, ) = +1 0.5, ) = −1

Slide 18

Slide 18 text

18 ⽣成器での事前実験 Perception-distortionの損失最⼩化の⽣成器を考える. 012 : denoising⽤のWasserstein GANと⽤いて計算 34' = 156789758' + 012 (34' ≈ Δ(, > ) + (", # " ))

Slide 19

Slide 19 text

19 ⽣成器の損失変化損失のパラメータを調整(A~D) : 損失における相関を確認

Slide 20

Slide 20 text

20 実験既存のdistortionの評価指標とperceptual informationの関係性の検証 (超解像のアルゴリズムにおいて）超解像のアルゴリズム : ~2018年秋までの有名な⼿法 Distortion : 3.4& 44*. .444*. *'$ 7*'BOE7(( perceptual information : Ma et alͷख๏Λར༻ 評価時 : 両評価指標においてスコアが優れている場合、優劣を評価 (ex) Aの⼿法よりはBの⼿法が優れている (下図)

Slide 21

Slide 21 text

21 結果 2017年以降の⼿法 : トレードオフの観点からどの⼿法も変わらない 2017年以前の⼿法 : 性能的には現在のものに⽐べて、劣っている -> 今後もこの評価軸では変わらない⼿法がほとんどではないか︖(私⾒)

Slide 22

Slide 22 text

22 結果異なるDistortionの評価指標でも同じような傾向が出ている.

Slide 23

Slide 23 text

23 結果異なるDistortionの評価指標でも同じような傾向が出ている. 筆者の考察 (i) 左下のplotがない (ii) 劣化画像の⽐較ができる(FR) / できない(NR)場合両⽅でtradeoff (iii) Referenceを⽤いるアプローチのスコアのばらつきがある -> NRとFR、2つのアプローチを併⽤することが必要

Slide 24

Slide 24 text

Dong Liu, Haochen Zhang, Zhiwei Xiong Neurips 2019 On The Classification-Distortion- Perception Tradeoff

Slide 25

Slide 25 text

25 論⽂概要タスク : 画像信号復元 (denoising) 提案 : Perceptual quality と distortionに加え, Classificationとのトレードオフの分析結論 : 識別の最適化時には歪みや知覚情報をある程度落としている

Slide 26

Slide 26 text

26 前回の問題設定を拡張 Perceptual Quality(())とDistortion ()ͷ্ݶ͕༩͑ΒΕ্ͨͰɺࣝ ผث()ͰͷଛࣦΛ࠷খԽ͢Δ͜ͱΛߟ͑Δ. * -(・|ℛ-) :学習済の識別器 , = min !! "|$ 3 - . . Δ , 3 ≤ , (", # " ) ≤

Slide 27

Slide 27 text

27 具体的な問題設定の理由 1. Perceptual Quality(())とDistortion ()ʹର͢Δ੍໿ - ⽐較対象の画像がある程度認識できるものを仮定 2. 学習済みの識別器を識別評価に⽤いる理由 - 再構成画像で再学習すると、再構成⽅法によって相関が変化する恐れ - ࠶ߏ੒ը૾Ͱ࠶ֶश͢Δͱɺ৚݅ʹΑͬͯࣝผثֶ͕श͠ͳ͍Մೳੑ - ڧ͍࿪Έ ( high distortion) - ݩը૾͕Θ͔Βͳ͍ʢblind restoration) 相関が⾃明 Distorted Original 今回確認したい相関

Slide 28

Slide 28 text

事前確率 . / 条件付き確率密度関数 0! 0" 28 問題設定クラス情報を考慮した確率密度関数の定式化(2クラスの場合） 0 = .0! + /0"

Slide 29

Slide 29 text

29 問題設定 2クラス識別器の定式化 - 集合ℛにが含まれる場合+ を出⼒する識別器(含まれない -> : ) = ℛ = ) :, ℎ +, ∈ ℛ

Slide 30

Slide 30 text

30 問題設定 2クラス識別器の定式化 - 集合ℛにが含まれる場合1 を出⼒する識別器(含まれない -> 2 ) 識別誤差率 3 = 3 ℛ = : X = >∈ℛ # "5 (> ) + + X = >∉ℛ # "6 (> ) = ℛ = ) :, ℎ +, ∈ ℛ

Slide 31

Slide 31 text

31 簡単な設定での例（準備） Toy exampleʼs experimentでの実験 1. ͷ2ΫϥεͷΨ΢εࠞ߹ϞσϧͰͷఆࣜԽ (+ = 0.3, : = 0.7, "6 = (−1,1), "6 = (1,1)) 2. ϊΠζը૾ = + 3. Denoisingํ๏ : ઢܗύϥϝʔλ()ʹΑΔdenoising - 3 = • ධՁํ๏ • Distortion (D) : MSE • Perception (P) : KL distance • Classification (C) : ̎Ϋϥεͷࣝผثͱͯ͠Ͱֶशͨ͠΋ͷ 0 = . 0! + / 0"

Slide 32

Slide 32 text

32 簡単な設定での例（結果） C-Dؒ, C-PؒͲͪΒʹ͓͍ͯ΋૬ؔΛ֬ೝ

Slide 33

Slide 33 text

33 実験⽬的 : 実データでのCDPの関係性の確認データ : MNIST, Cifar10 タスク : Denoising, 超解像 CNN-1, CNN-2 : 異なる構造のCNN CNN-2, CNN-2ʼ : ⼊⼒サイズの違い (28x28, 32x32) 損失 : $%& + 012 + A&

Slide 34

Slide 34 text

34 実験 Exp1 ~ 3 : 0,1 からサンプルしたNoiseがMNISTに事前に付与 Exp4 : ⼊⼒サイズを1/6 Exp5 : ⼊⼒サイズを1/3 (発表ではExp1,2,4のみ発表）

Slide 35

Slide 35 text

35 結果1 識別精度 : 強いDistortion, 悪いPerceptual Qualityとtradeoff -> 識別精度が低いほど、カーブが右上よりになっている点より (下図 : Exp1)

Slide 36

Slide 36 text

36 結果1 Exp1,2,4では同様な傾向(C-D間,C-P間,D-P間にtradeoff)

Slide 37

Slide 37 text

37 結果2 Perceptual Qualityに対する損失の強さとDenoisingに相関 - の値が⼤きくなると、⾒た⽬が改善 - の値が⼤きくなってみ⾒た⽬の改善はなし

Slide 38

Slide 38 text

Yochai Blau, Tomer Michaeli ICML 2019 Oral Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff

Slide 39

Slide 39 text

39 論⽂概要タスク : 画像再構成提案 - Perceptual quality ͱ distortionʹՃ͑ɺѹॖ཰ͱͷτϨʔυΦ ϑͷ෼ੳ - τϨʔυΦϑΛ౿·͑ͨଛࣦؔ਺ͷઃܭ 結論 - 圧縮率が⾼い場合, Perceptual qualityͷڧ੍͍໿͕ඞཁ - Perceptual qualityͷΈͷଛࣦؔ਺ͩͱ࠶ߏ੒͕ػೳ͠ͳ͍

Slide 40

Slide 40 text

40 Tradeoffの数式的な定義(Blau et. al, 2018) Bit Rate(R)と歪み(D)の関係性 (RD tradeoff) = min !! "|" (, 3 ) . . Δ , 3 ≤ ・・・・・・ 2 2 2

Slide 41

Slide 41 text

41 問題設定 Bit Rate(R)と歪み(D)とPerceptual Quality(P)の関係性 (RDP tradeoff) , = min !! "|" , 3 . . Δ , 3 ≤ , (", # " ) ≤

Slide 42

Slide 42 text

42 情報量の計算 → ∞ͷ࣌ͷRDP tradeoff (֬཰(≤ + : )ͰͷϕϧψʔΠ෼෍ͷΤϯτϩϐʔ : B ) (, ∞) , ∞ = b B − B ∈ [0, ) 0 ∈ [, ∞)

Slide 43

Slide 43 text

43 実験設定実験設定 Encoder : (, )の特徴を量⼦化したもの ( 6 (, )) ( MNISTを99%で識別する識別器) Decoder : 未学習 Constraint ℎ : gradient penalty 7(*, ) * ) : max8∈ℱ( ℎ − ℎ 6 () ) Δ , c + C(", # " ) 0 9 ① ① ② ② .

Slide 44

Slide 44 text

44 実験1 実験設定歪みの損失(∆(, )) : Mean Squared Error (MSE) モデル構造(以下の3つ）プロット数 ( 実験に使ったEncoder-Decoderの数) : 98個 * Quantize : 特徴をbitに変換(2~16)

Slide 45

Slide 45 text

45 結果結果 - Perceptual Qualityがいいほど, MSEの値変化に⼤きく影響 - データを表現するbit rateを下げるほど、Perceptual Qualityͷڧ੍͍ ໿͕ޮ͘

Slide 46

Slide 46 text

46 実験2 実験設定歪みの損失(∆(, )) : Mean Squared Error (MSE) + − (A ) * : 下のDNNの2層⽬(conv, 4x4x20)の特徴量(学習済み）モデル構造 : 前回と同様

Slide 47

Slide 47 text

47 結果結果 - 中間層での歪み誤差を計算しても、Tradeoff⾃体は変化しない (スコアの変化はあり）前回の結果今回の結果

Slide 48

Slide 48 text

48 結果結果 - 明瞭ははっきりする(⾚枠）ものの、結果⾃体は改善してはいない前回の結果今回の結果

Slide 49

Slide 49 text

49 追加考察 Discriminatorの各層でPerceptual loss(⻘枠)のみを最⼩化 (a) 1層⽬(Conv layer, 14x14x64) (b) 2૚໨(Conv layer, 7x7x128) (c) 4૚໨(FC layer, 4096) -> MSE loss͕ͳ͍৔߹ɺ͔ͳΓ݁Ռ͕ѱԽ(ݪҼʹ͍ͭͯ͸ݴٴͳ͠ʣ 0 9 .

Slide 50

Slide 50 text

50 発表論⽂(再掲） 1. The Perception-Distortion Tradeoff - 元画像と再構成時の確率分布の違いを分析 - ⽬的関数に関係なく、視覚情報と歪みにトレードオフがある 2. On The Classification-Distortion-Perception Tradeoff - ্ͷݚڀΛࣝผਫ਼౓ͱͷؔ܎ੑʹ֦ு - 3ͭͦΕͧΕͷpairؒʹରͯ͠τϨʔυΦϑ͕͋Δ 3. Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff - 1. ͷݚڀΛBit rate ( ѹॖʣٕज़ͱͷؔ܎ੑʹ֦ு - ѹॖ཰ʹΑͬͯɺPerceptual loss͕ػೳ͠ͳ͍৔߹͕͋Γʁ

Slide 51

Slide 51 text

51 まとめ - Tradeoff が歪み,圧縮率,知覚情報,識別に間に存在 - 損失関数の設計を変えても、トレードオフの⾯で⼤きく⼿法間に違いはない - 知覚情報と歪みを同時に最⼩化できていない点で、஌֮৘ใͷଛࣦઃܭ ͸վળ͢Δඞཁ͕͋Δ