Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
[kantocv] The Perception-Distortion Tradeoff
Sou Uchida
August 25, 2019
Research
2
550
[kantocv] The Perception-Distortion Tradeoff
Sou Uchida
August 25, 2019
Tweet
Share
More Decks by Sou Uchida
See All by Sou Uchida
Adaptive Text Recognition through Visual Matching
s_aiueo32
1
710
[cvpaper.challenge] Second-order Attention Network for Single Image Super-Resolution
s_aiueo32
0
89
Other Decks in Research
See All in Research
AI時代に向けたクラウドにおける信頼性エンジニアリングの未来構想 / DICOMO2022 6A-1
yuukit
5
820
第12回チャンピオンズミーティング・アリエス杯ラウンド1集計 / Umamusume Aries 2022 Round1
kitachan_black
0
1.6k
PPML PyConDE
leriomaggio
0
110
企業の女性活躍推進 分析レポート2022年版 -Forbes JAPAN WOMEN AWARD
libinc
1
180
2022年住宅用蓄電池購入者・購入検討者の実態調査・意識調査 - 経済効果シミュレーションの影響度-
satoru_higuchi
0
310
車両管理効率化・事故率抑制に向けた連携に関する3者連携協定
koshiba_noriaki
0
160
Offline Time-Independent Multi-Agent Path Planning
kei18
0
120
PLDI '21論文読み会: DNNFusion: Accelerating Deep Neural Networks Execution with Advanced Operator Fusion
ideininc
0
880
Do It Yourself: Sonic Visualiserで音楽分析してみよう
yamathcy
0
190
機械学習における反実仮想説明を生成するライブラリ“DiCE”
daikikatsuragawa
0
110
[JSAI2022] 広告文自動生成に関する最近の研究動向
ichiroex
5
5.6k
行政のオープンネスとフェアネスーデジタル庁でDXに取り組む 『民間採用人材』の視点からー
halsk
0
610
Featured
See All Featured
Building Better People: How to give real-time feedback that sticks.
wjessup
344
17k
The Cult of Friendly URLs
andyhume
68
4.8k
StorybookのUI Testing Handbookを読んだ
zakiyama
6
2.5k
Fontdeck: Realign not Redesign
paulrobertlloyd
73
4.1k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
269
12k
Done Done
chrislema
174
14k
Unsuck your backbone
ammeep
659
55k
It's Worth the Effort
3n
172
26k
Pencils Down: Stop Designing & Start Developing
hursman
113
9.9k
Stop Working from a Prison Cell
hatefulcrawdad
262
17k
Designing Experiences People Love
moore
130
22k
Large-scale JavaScript Application Architecture
addyosmani
499
110k
Transcript
第54回 コンピュータビジョン勉強会@関東 The Perception-Distortion Tradeoff Presenter: @s_aiueo32
論⽂情報 ü タイトル: The Perception-Distortion Tradeoff ü 著者: Yochai Blau
and Tomer Michaeli (Technion) ü 採択状況: CVPR2018 Orals/Spotlights ü 内容 ü メトリックと知覚品質のトレードオフに関して考察 ü (トレードオフを横断するのに) GANはいいぞ
Image Restoration ü 画像の劣化(Degradation)を修復し,元の画像を再構成する問題 Super Resolution Inpain0ng Dehazing Denoising debruring
Image Restorationのゴール Low Distortion ü GTに近い画像を⽣成できればいい ü 画像間の距離で測る ü MAE,
MSE, PSNR, SSIM etc. Good Perceptual Quality ü 「⾃然」な画像を⽣成できればいい ü 単⼀画像を⽤いて計測 ü BRISQUE, NIQE etc. (本論文の主張) 2つのゴールを同時に達成することは不可能 Mr. Intuition 「距離がゼロならそれは自然な画像では?」 無理
経験的には結構⾔われてた 滑らかすぎる PSNRが 低 い !
他のアルゴリズムでの結果 両立しているモデルは存在しない Better Better 敵 「RMSEがダメなだけでは?」
他の指標での結果
ここからちょっと算数
Image Restoration ∼ # 自然画像 再構成画像 % 劣化画像 '|# )
#|' Algorithm
Distortion [Δ(, ) )] SSD, SSIM, MS-SSIM, IFC, VIF, VGG,
… ∼ # 自然画像 再構成画像 % 非負性: Δ , ≥ 0 同一律: Δ , = 0
Perceptual Quality ∼ # 自然画像 再構成画像 % Real or Fake
7899:77 ∝ =>(#, ) # ) 50% 50% ∼ ) #
Perceptual Quality (#, ) # ) TV, KL, Hellinger, @,
Renyi, Wasserstein, … ∼ # 自然画像 再構成画像 % 非負性: , ≥ 0 同一律: , = 0 ⟺ = ∼ ) #
本論⽂の問題設定 問題 → → ) 尺度の定式化 Distortion: [Δ(, ) )]
Perceptual Quality: (# , ) # ) [Δ(, ) )] (#, ) # ) このトレードオフの 存在を証明
Low Distortionは?
簡単なパラメータ推定の例 ü ノイズ を含んだ観測値 からパラメータ を推定 = + ü は次の確率質量関数に従う確率変数
#() = G H = ±1 K = 0 ü は正規分布に従う ~(0, 1) この設定でMMSEとMAP推定を行う
MMSE と MAP推定 ü MMSE ü 推定値は条件付期待値で与えられる % NNOP =
= ü ) #QQRS は確率密度 ü MAP推定 ü 事後確率最⼤のパラメータを出⼒ % NTU = argmax[∈{^H,K,H} ( = |) ü 今回の設定だとsign(⋅)と同じ
MNISTでMMSE/MAP推定した結果 ü MNISTとBlank画像を混ぜたデータでDenoising 高ノイズレベルで ぼやける 高ノイズレベルでは Blankがほとんど
トレードオフについて
Tradeoff Function ü Distortionレベルごとの下界を求める関数を定義 = min fg h|i #, )
# . . Δ , ) ≤ ü (, )がに関して凸なら, ()は単調減少&凸関数 (= Tradeoff!!) ü -divergenceはに関して凸 = + の例でのプロット
トレードオフを横断 ü ⺠「トレードオフがあるのは分かったけど, 下界に近づきたい」 ü 神「GANを使いましょう」 = min fg h|i
#, ) # . . Δ , ) ≤ ℓp:q = ℓrs7tuvtsuq + ℓxry ≈ Δ , ) + (#, ) # ) ⟷
実験 ü WGANで ∈ [0, 0.3]を変えながらDenoising ü 理論的な下界に沿って品質をコントロールできることを確認
既存のアルゴリズムの評価 ü ⾔葉の定義 ü A dominates B: AがBにDistortionでもPerceptual Qualityでも勝ってる ü
A is admissible: Aはどのアルゴリズムにもdominateされてない ü admissibleな⼿法が下界に近い⼿法
レート歪との関係 ü 許容歪に対してどれくらい圧縮できるか? ü Perception-Distortion Tradeoffと似た形 = min fg h|h
; ) s. t. Δ , ) ≤ ü レート歪とのPerception-Distortion Tradeoffの違い 1. レート歪は) #|# を考えるけど,こっちは) #|' を考える 2. ; ) はと ) の同時分布に依存するけど, #, ) # は依存しない ü 著者はICML2019にこんな論⽂通している ü “Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff”
まとめ ü DistortioinとPerceptual Qualityの間にトレードオフがある ü GAN損失の⽐率によってトレードオフ関数を横断できる ü 許容Distortionレベルを決めてから動かすのが良い ü 「最適なアルゴリズム」は応⽤依存
ü 医⽤画像はDistortion志向, 写真はPerceptual Quality志向