PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance 佐藤怜 LINEヤフー株式会社 2024/01/18 NeurIPS 2023 論文読み会 Peiqing Yang*1, Shangchen Zhou*1, Qingyi Tao*2, Chen Change Loy*1 *1 S-Lab, Nanyang Technological University *2 SenseTime Research, Singapore

発表者について ● 名前: 佐藤 怜 ● 経歴: ○ 2022/03 筑波大学で修士号を取得 ○ 2022/04 LINE株式会社に新卒入社 ○ 2023/10 LINEヤフー株式会社へ ● 主な業務: ○ LINEユーザーの属性推定 ○ サービス横断の特徴量収集 ○ トークでのテキスト入力時のスタンプ推薦 ● SNS: LinkedIn 2 昨年のNeurIPS論文読み会での発表

コンセプト: FaceRestorationについてご紹介 1. 問題設定を知る 2. 最新手法(PGDiff, NeurIPS2023)を知る 3. 近年のいくつかの手法の定性的な性能を知る 3

画像の劣化 高品質な画像I_hqをノイズn_δのもとで関数Dに よって変換し，低品質な画像 I_lqを得る Face Restoration 劣化した画像を逆変換する 4 Face Restorationの概要 問題設定を知る 劣化と復元には 様々なタイプが 想定されている 引用: PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance, A Survey of Deep Face Restoration: Denoise, Super-Resolution, Deblur, Artifact Removal

PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance 最新手法を知る(1/4) 5 研究の背景は? ● 学習済みDiffusionモデルを活用したFace Restorationのメリットとして，Restoration向 けのfine-tuningが不要(=zero-shot)である点が挙げられる 既存研究の課題は? ● 劣化のプロセスが線形関数あるいは微分可能な形で明示的に書ける場合にのみ適用可 能 ● 現実の劣化のプロセスは微分可能でなかったり (e.g. JPEGの画像劣化)，複数の劣化の 組み合わせであって，明示的に書けない PGDiffの強みは? ● 劣化のプロセスの明示的な記述を必要とせず， 高品質な画像が満たすべき性質を微分 可能な関数で定義できれば適用可能

Preliminaries: Denoising Diffusion Probabilistic Models (DDPM) 最新手法を知る(2/4) 6 DDPM ノイズを付与するForward Process（右向 き）と，ノイズを除去するReverse Process(左向き)で構成される生成モデル Forward Process Reparametrization Trickを用いて，前ス テップの画像x_t‐1に標準正規ノイズεをス ケールして足すことをTステップ繰り返す Reverse Process ニューラルネットμによって前ステップの画 像x_t+1からノイズを取り除くことを Tステッ プ繰り返す 引用: Improving Diffusion Models as an Alternative To GANs, Part 1

Preliminaries: 正規分布の再生成を用いた任意ステップの生成 最新手法を知る(3/4) 7 Forward Process 正規分布から生成したノイズを繰り返し付 与するプロセスは，正規分布の再生成を用 いて1ステップで完了する Reverse Process Reverse Processも正規ノイズを繰り返し 付与する過程なので，任意のタイムステッ プから直接目標となるx_0を生成できる 引用: PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance

最新手法を知る(4/4) 8 Proposal 生成の各タイムステップで，簡易的に生成した画 像を識別器にかけ，この出力が目標となる生成 画像のそれと一致するように勾配を利用 入力画像と生成画像の各 ピクセルの明度を一致させ る 別の同一人物画像を用意 してArcFaceの特徴空間で 近付けることで，人物の同 一性も正則化できる PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance 引用: PGDiff: Guiding Diffusion Models for Versatile Face Restoration via Partial Guidance 着色タスクの例

各手法のGitHubからコードを拝借して Restorationを試す 近年のいくつかの手法の定性的な性能を知る (1/3) 9 手法名 (採択会議) 手法の系統 GitHubリンク GPEN (CVPR’21) GAN https://github.com/yangxy/GPEN CodeFormer (NeurIPS’22) VQVAE + Transformer https://github.com/sczhou/CodeFormer DifFace (arXiv only?) Diffusion https://github.com/zsyOAOA/DifFace PGDiff (NeurIPS’23) Diffusion https://github.com/pq-yang/PGDiff

Blind Face Restoration 近年のいくつかの手法の定性的な性能を知る (2/3) 10 画像データ: CelebA-HQ より

Blind Face Restoration 近年のいくつかの手法の定性的な性能を知る (2/3) 11 画像データ: CelebA-HQ より w/o Referenceよりも Reference画像の人物に近付 いている?

Face Inpainting 近年のいくつかの手法の定性的な性能を知る (3/3) 12 画像データ: CelebA-HQ より

Face Inpainting 近年のいくつかの手法の定性的な性能を知る (3/3) 13 画像データ: CelebA-HQ より 特定のマスク形状に overfit

Face Inpainting 近年のいくつかの手法の定性的な性能を知る (3/3) 14 画像データ: CelebA-HQ より 特定のマスク形状に overfit zero-shotかつ劣化のプロセス に依存しないのでマスク形状の 変化にロバスト