拡散モデルの概要 −§2. スコアベースモデルについて−

Transcript

1. 0 2024-03-01 第80回NearMe技術勉強会 Futo Ueno 拡散モデルの概要 −§2. スコアベースモデルについて−
2. 1 はじめに 参考図書：「拡散モデル –– データ生成技術の数理」 https://amzn.asia/d/2anj2zE
3. 2 復習 : 拡散モデルとは ‧⽣成モデル
4. 3 復習 : 拡散モデルとは ‧⽣成モデル 拡散モデルは⽣成モデルの⼀種
5. 4 復習 : ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) →
6. 5 復習 : ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
7. 6 復習 : ２つのモデル ‧スコアベースモデル (SBM; Score Based Model) → ‧デノイジング拡散確率モデル (DDPM; Denoising Diffusion Probabilistic Model) →
8. 7 ⾒どころ ‧モデリングの対象 →確率分布そのものではなく, 不要な情報を削ぎ落とした「スコア」に着⽬ ‧問題のすり替え⽅ →素朴な定式化から, 解ける形に整えていく⼿順が巧妙 ‧ノイズを付与することによって享受できるメリット →「焼きなまし法」などに通ずる考え⽅
9. 8 確率分布の学習 ‧⽣成モデル(再掲) パラメトリックなモデル → 最尤推定？？
10. 9 確率分布の学習 ‧⽣成モデル(再掲) パラメトリックなモデル → 最尤推定？？ →
11. 10 確率分布の学習 ニューラルネットワークで確率分布を学習する場合, 以下の制約に気を配る 必要がある：
12. 11 確率分布の学習 ニューラルネットワークで確率分布を学習する場合, 以下の制約に気を配る 必要がある： ※「通常」の統計モデルでは, この制約は⾃然に満たされている (ex)
13. 12 確率分布の学習 ニューラルネットワークで確率分布を学習する場合, 以下の制約に気を配る 必要がある： ※「通常」の統計モデルでは, この制約は⾃然に満たされている (ex)
14. 13 確率分布の学習 制約がつきまとうのは不便なので、以下のように定式化し直す：
15. 14 確率分布の学習 制約がつきまとうのは不便なので、以下のように定式化し直す：
16. 15 確率分布の学習 前⾴の定式化のもとで尤度関数を書き換えると以下のようになる：
17. 16 確率分布の学習 前⾴の定式化のもとで尤度関数を書き換えると以下のようになる： 明らかに計算困難
18. 17 確率分布の学習 前⾴の定式化のもとで尤度関数を書き換えると以下のようになる： → 分配関数の表出を回避する⽅法はないだろうか‧‧‧？ 明らかに計算困難
19. 18 スコアの導⼊ 定義
20. 19 スコアの導⼊ 定義
21. 20 スコアの導⼊ 定義 → 分配関数が消えてくれた
22. 21 スコアの意味
23. 22 スコアの意味 (ex)
24. 23 スコアの意味 (ex)
25. 24 スコアの意味 →確率分布の「局所的な構造」にすぎないスコアを考えたところで, 何が嬉しいのだろうか？🤔 (ex)
26. 25 復習 : Langevin Monte-Carlo法 離散化 ノイズの影響を受けながら尤度が⾼い領域に進⾏する更新則 →局所峰にハマりそうになっても, ノイズのおかげで脱出し得る
27. 26 復習 : Langevin Monte-Carlo法 離散化
28. 27 復習 : Langevin Monte-Carlo法 離散化 スコアさえあれば, Langevin Monte-Carlo法が回り, サンプリングできる
29. 28 復習 : Langevin Monte-Carlo法 離散化 スコアさえあれば, Langevin Monte-Carlo法が回り, サンプリングできる →スコアを学習できればOK！
30. 29 スコアの学習① 明⽰的スコアマッチング(ESM; Explicit Score Matching) スコアそのもの モデル
31. 30 スコアの学習① 明⽰的スコアマッチング(ESM; Explicit Score Matching) スコアそのもの モデル ‧「スコアそのもの」と「モデル」の平均⼆乗誤差が最⼩になるように学習 →とても素朴でわかりやすい定式化
32. 31 スコアの学習① 明⽰的スコアマッチング(ESM; Explicit Score Matching) スコアそのもの モデル ‧「スコアそのもの」と「モデル」の平均⼆乗誤差が最⼩になるように学習 →とても素朴でわかりやすい定式化 →そもそもスコアを学習したかったのに, ⽬的関数にスコアが出てきてしまっている‧‧‧
33. 32 スコアの学習② 暗黙的スコアマッチング(ISM; Implicit Score Matching)
34. 33 スコアの学習② 暗黙的スコアマッチング(ISM; Implicit Score Matching) ‧「スコアそのもの」を使わない⽬的関数
35. 34 スコアの学習② 暗黙的スコアマッチング(ISM; Implicit Score Matching) ‧「スコアそのもの」を使わない⽬的関数 ‧実は, 先ほどのESMと定数シフトを除いて等しい(即ち, 最適化問題として等価)
36. 35 スコアの学習② 暗黙的スコアマッチング(ISM; Implicit Score Matching) ‧「スコアそのもの」を使わない⽬的関数 ‧実は, 先ほどのESMと定数シフトを除いて等しい(即ち, 最適化問題として等価) つまり, →これにより, ISMが正当化される
37. 36 暗黙的スコアマッチングの問題点
38. 37 過学習を抑えるアイディア 過学習のイメージ
39. 38 過学習を抑えるアイディア 過学習のイメージ 摂動
40. 39 過学習を抑えるアイディア 過学習のイメージ 摂動 摂動
41. 40 過学習を抑えるアイディア 過学習のイメージ →データに「摂動」を加えた分布を考えれば, 過学習を抑制できるのでは？ 摂動 摂動
42. 41 摂動後分布の導⼊
43. 42 摂動後分布の導⼊ →この摂動後分布に関するスコアを当てにいく
44. 43 スコアの学習①’, ②’ 摂動後分布に対する明⽰的スコアマッチング 摂動後分布に対する暗黙的スコアマッチング
45. 44 スコアの学習①’, ②’ 摂動後分布に対する明⽰的スコアマッチング →過学習は抑制される⾒込みがあるが, 依然として計算は厳しい‧‧‧ 摂動後分布に対する暗黙的スコアマッチング
46. 45 スコアの学習③ デノイジングスコアマッチング(DSM; Denoising Score Matching)
47. 46 スコアの学習③ デノイジングスコアマッチング(DSM; Denoising Score Matching)
48. 47 スコアの学習③ デノイジングスコアマッチング(DSM; Denoising Score Matching)
49. 48 スコアの学習③ デノイジングスコアマッチング(DSM; Denoising Score Matching) →計算が可能な形に書き換えられた！
50. 49 スコアの学習③ デノイジングスコアマッチング(DSM; Denoising Score Matching) 求めたいスコアとは違うものを学習してしまうように⾒えるが, 本当にこれでうまくいくのか？ →実は,
51. 50 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる
52. 51 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる ‧
53. 52 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる ‧ →学習の対象は、「ノイズ除去(デノイジング)」の⽅向であることに注⽬
54. 53 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる ‧ →学習の対象は、「ノイズ除去(デノイジング)」の⽅向であることに注⽬
55. 54 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる ‧ →学習の対象は、「ノイズ除去(デノイジング)」の⽅向であることに注⽬
56. 55 なぜDSMでうまくいくのか？ ‧計算すれば⽰せるが, ここでは落書きを⽤いて直観的に解釈してみる ‧ →学習の対象は、「ノイズ除去(デノイジング)」の⽅向であることに注⽬ おおよそスコアの⽅向 を向いていそう(？)
57. 56 サンプリング時の問題点 ‧性質の良い⽬的関数を設計することはできた→学習は可能！
58. 57 サンプリング時の問題点 ‧性質の良い⽬的関数を設計することはできた→学習は可能！ ‧しかし, サンプリングを⾏うときに困ることがある
59. 58 サンプリング時の問題点 ‧性質の良い⽬的関数を設計することはできた→学習は可能！ ‧しかし, サンプリングを⾏うときに困ることがある 問題①：低確率なデータの近傍で推定されたスコアが不正確になってしまう 問題②：場合によっては, 異なる局所峰への遷移が⾮常に⼤変
60. 59 サンプリング時の問題点 問題①：低確率なデータの近傍で推定されたスコアが不正確になってしまう
61. 60 サンプリング時の問題点 問題①：低確率なデータの近傍で推定されたスコアが不正確になってしまう
62. 61 サンプリング時の問題点 問題①：低確率なデータの近傍で推定されたスコアが不正確になってしまう 混合正規分布 →Langevin Monte-Carlo法によるサンプリングでは, 確率が⼩さな領域も通過 し得るので, そのような領域でのスコアの精度が低いと⼤きく影響を受ける
63. 62 サンプリング時の問題点 問題②：場合によっては, 異なる局所峰への遷移が⾮常に⼤変 →Langevin Monte-Carlo法におけるノイズ, 初期点, 分布に加える摂動のバラ ンス次第では, 現実的な時間での局所峰間の遷移が絶望的な場合も‧‧‧
64. 63 解決策 →ノイズをたくさん⽤意して, それぞれのノイズで攪乱した結果を次々に流⽤
65. 64 解決策 →ノイズをたくさん⽤意して, それぞれのノイズで攪乱した結果を次々に流⽤ ・・・・・・・・・・・・・・・・
66. 65 解決策 ※
67. 66 解決策 ・・・・・・・・・・・・・・・・
68. 67 解決策 ・・・・・・・・・・・・・・・・
69. 68 解決策 ・・・・・・・・・・・・・・・・
70. 69 解決策 ・・・・・・・・・・・・・・・・
71. 70 解決策 ・・・・・・・・・・・・・・・・
72. 71 解決策 ・・・・・・・・・・・・・・・・
73. 72 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
74. 73 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
75. 74 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
76. 75 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
77. 76 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
78. 77 おまけ(別の峰に到達するパターン) ・・・・・・・・・・・・・・・・
79. 78 参考⽂献 ‧岡野原大輔 : 「拡散モデル –– データ生成技術の数理」. 岩波書店, 2023. ・https://www.beam2d.net/blog/2023/04/26/dsm-derivation/ ・Vincent, P., Larochelle, H., Lajoie, I., Bengio, Y., and Manzagol, P.-A: Stacked denoising autoencoders: learning useful representations in a deep network with a local denoising criterion. Journal of Machine Learning Research, 11(2010), pp. 3371–3408.
80. 79 Thank you