Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[kantocv] The Perception-Distortion Tradeoff
Search
Sou Uchida
August 25, 2019
Research
2
730
[kantocv] The Perception-Distortion Tradeoff
Sou Uchida
August 25, 2019
Tweet
Share
More Decks by Sou Uchida
See All by Sou Uchida
Adaptive Text Recognition through Visual Matching
s_aiueo32
1
880
[cvpaper.challenge] Second-order Attention Network for Single Image Super-Resolution
s_aiueo32
0
150
Other Decks in Research
See All in Research
CASCON 2023 Most Influential Paper Award Talk
tsantalis
0
110
クリック率を最大化しない推薦システム
joisino
41
14k
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
mkimura
0
130
研究効率化Tips_2024 / Research Efficiency Tips 2024
ryo_nakamura
4
2.2k
SSII2023 医療支援における画像処理研究の動向と展望
moda0
0
100
データで診て考える合志市の渋滞と公共交通 ~めざせ 車1割削減、渋滞半減、公共交通2倍~
trafficbrain
0
460
NeurIPS-23 参加報告 + DPO 解説
akifumi_wachi
4
1.4k
Deep State Space Models 101 / Mamba
kurita
9
3.4k
音声処理ツールキットESPnetの現在と未来
kanbayashi1125
2
520
眠眠ガチャ:ガチャを活用した睡眠意欲向上アプリの開発 / EC71inui
yumulab
0
120
CVPR2023 EarthVision Workshopより衛星画像関連論文紹介 / Satellite Imaging Processing Papers in CVPR2023 EarthVision Workshop
nttcom
0
110
ニフティのインナーソース導入事例 - InnerSource Commons #11
niftycorp
PRO
0
260
Featured
See All Featured
Happy Clients
brianwarren
91
6.4k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
9
8.3k
Building Effective Engineering Teams - LeadDev
addyosmani
27
1.8k
Embracing the Ebb and Flow
colly
79
4.1k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
Designing on Purpose - Digital PM Summit 2013
jponch
110
6.4k
The Mythical Team-Month
searls
215
42k
How to train your dragon (web standard)
notwaldorf
72
5.1k
How GitHub Uses GitHub to Build GitHub
holman
468
290k
A better future with KSS
kneath
231
16k
Imperfection Machines: The Place of Print at Facebook
scottboms
258
12k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
Transcript
第54回 コンピュータビジョン勉強会@関東 The Perception-Distortion Tradeoff Presenter: @s_aiueo32
論⽂情報 ü タイトル: The Perception-Distortion Tradeoff ü 著者: Yochai Blau
and Tomer Michaeli (Technion) ü 採択状況: CVPR2018 Orals/Spotlights ü 内容 ü メトリックと知覚品質のトレードオフに関して考察 ü (トレードオフを横断するのに) GANはいいぞ
Image Restoration ü 画像の劣化(Degradation)を修復し,元の画像を再構成する問題 Super Resolution Inpain0ng Dehazing Denoising debruring
Image Restorationのゴール Low Distortion ü GTに近い画像を⽣成できればいい ü 画像間の距離で測る ü MAE,
MSE, PSNR, SSIM etc. Good Perceptual Quality ü 「⾃然」な画像を⽣成できればいい ü 単⼀画像を⽤いて計測 ü BRISQUE, NIQE etc. (本論文の主張) 2つのゴールを同時に達成することは不可能 Mr. Intuition 「距離がゼロならそれは自然な画像では?」 無理
経験的には結構⾔われてた 滑らかすぎる PSNRが 低 い !
他のアルゴリズムでの結果 両立しているモデルは存在しない Better Better 敵 「RMSEがダメなだけでは?」
他の指標での結果
ここからちょっと算数
Image Restoration ∼ # 自然画像 再構成画像 % 劣化画像 '|# )
#|' Algorithm
Distortion [Δ(, ) )] SSD, SSIM, MS-SSIM, IFC, VIF, VGG,
… ∼ # 自然画像 再構成画像 % 非負性: Δ , ≥ 0 同一律: Δ , = 0
Perceptual Quality ∼ # 自然画像 再構成画像 % Real or Fake
7899:77 ∝ =>(#, ) # ) 50% 50% ∼ ) #
Perceptual Quality (#, ) # ) TV, KL, Hellinger, @,
Renyi, Wasserstein, … ∼ # 自然画像 再構成画像 % 非負性: , ≥ 0 同一律: , = 0 ⟺ = ∼ ) #
本論⽂の問題設定 問題 → → ) 尺度の定式化 Distortion: [Δ(, ) )]
Perceptual Quality: (# , ) # ) [Δ(, ) )] (#, ) # ) このトレードオフの 存在を証明
Low Distortionは?
簡単なパラメータ推定の例 ü ノイズ を含んだ観測値 からパラメータ を推定 = + ü は次の確率質量関数に従う確率変数
#() = G H = ±1 K = 0 ü は正規分布に従う ~(0, 1) この設定でMMSEとMAP推定を行う
MMSE と MAP推定 ü MMSE ü 推定値は条件付期待値で与えられる % NNOP =
= ü ) #QQRS は確率密度 ü MAP推定 ü 事後確率最⼤のパラメータを出⼒ % NTU = argmax[∈{^H,K,H} ( = |) ü 今回の設定だとsign(⋅)と同じ
MNISTでMMSE/MAP推定した結果 ü MNISTとBlank画像を混ぜたデータでDenoising 高ノイズレベルで ぼやける 高ノイズレベルでは Blankがほとんど
トレードオフについて
Tradeoff Function ü Distortionレベルごとの下界を求める関数を定義 = min fg h|i #, )
# . . Δ , ) ≤ ü (, )がに関して凸なら, ()は単調減少&凸関数 (= Tradeoff!!) ü -divergenceはに関して凸 = + の例でのプロット
トレードオフを横断 ü ⺠「トレードオフがあるのは分かったけど, 下界に近づきたい」 ü 神「GANを使いましょう」 = min fg h|i
#, ) # . . Δ , ) ≤ ℓp:q = ℓrs7tuvtsuq + ℓxry ≈ Δ , ) + (#, ) # ) ⟷
実験 ü WGANで ∈ [0, 0.3]を変えながらDenoising ü 理論的な下界に沿って品質をコントロールできることを確認
既存のアルゴリズムの評価 ü ⾔葉の定義 ü A dominates B: AがBにDistortionでもPerceptual Qualityでも勝ってる ü
A is admissible: Aはどのアルゴリズムにもdominateされてない ü admissibleな⼿法が下界に近い⼿法
レート歪との関係 ü 許容歪に対してどれくらい圧縮できるか? ü Perception-Distortion Tradeoffと似た形 = min fg h|h
; ) s. t. Δ , ) ≤ ü レート歪とのPerception-Distortion Tradeoffの違い 1. レート歪は) #|# を考えるけど,こっちは) #|' を考える 2. ; ) はと ) の同時分布に依存するけど, #, ) # は依存しない ü 著者はICML2019にこんな論⽂通している ü “Rethinking Lossy Compression: The Rate-Distortion-Perception Tradeoff”
まとめ ü DistortioinとPerceptual Qualityの間にトレードオフがある ü GAN損失の⽐率によってトレードオフ関数を横断できる ü 許容Distortionレベルを決めてから動かすのが良い ü 「最適なアルゴリズム」は応⽤依存
ü 医⽤画像はDistortion志向, 写真はPerceptual Quality志向