Diffusion Model with Perceptual Loss

Transcript

1. Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27
2. 論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang ▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2
3. 提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3
4. 従来の損失関数 ▪ 予測したい目標（拡散過程で発生するノイズ）のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4
5. 提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 • 差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5
6. 定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6
7. Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数（Mean Absolute Distance）、差分を 取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7
8. まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8