【輪講資料】How much can language models memorize?

WIP

Transcript

1. How much can language models memorize? John Xavier Morris, Chawin Sitawarin, Chuan Guo, Narine Kokhlikyan, G. Edward Suh, Alexander M Rush, Kamalika Chaudhuri, Saeed Mahloujifar ICLR 2026 笹野研究室 D2 矢野千紘
2. 概要 • 言語モデルの記憶を定量化し、汎化とサンプル固有の記憶に分解 • 汎化できないランダムデータを用いてモデルの記憶容量を推定 • GPT-2は1パラメータに3.6bitsの情報を記憶できると推定 • 実テキストデータで、データ量を増やすと初めはサンプル固有情 サンプル固有の記憶 サンプル固有の記憶 報を記憶するが、容量付近を境に減少することを観察 （⬅）ランダムデータでは飽和 （➡）実テキストでは増えた後減る （汎化に移行する） 訓練データのサイズ 訓練データのサイズ 2
3. • 選んだ理由： • 得票率！ • 右図が良かった サンプル固有の記憶 はじめに サンプル固有の記憶 （⬅）ランダムデータでは飽和 （➡）実テキストでは増えた後減る （汎化に移行する） 訓練データのサイズ 訓練データのサイズ • 説明が足りない/違っている部分があったらslackなどでご指摘く ださい🙇 3
4. 導入 汎化とサンプル固有の記憶 • 言語モデルの記憶はgeneralizationとunintended memorizationに区別で きる • generalization（intended memorization）：汎化 • unintended memorization：サンプル固有の記憶 例） • John Smith scored 147 points in the 2019 regional bowling championship. • 構文はgeneralizationによって予測できるが、名前、スコア、年は unintended memorizationによってのみ予測できる 4
5. 導入 先行研究とその課題 • 言語モデルが訓練データを「記憶しているか」は従来から研究さ れてきた • データ抽出（Extraction）：訓練データをモデルに生成させる • メンバーシップ推論（Membership inference）：訓練データのloss や出力確率を見る • しかし、既存指標では memorization と generalization が混ざっ てしまう • モデルが訓練文を生成できても、単に一般化した結果かもしれない 5
6. 導入 本研究で求める「記憶量」 • 以下を満たす「記憶量」を定義したい • 個々のサンプルについて測れる • 訓練アルゴリズムではなく、最終モデルとサンプルだけから決まる • 汎化とサンプル固有の記憶を分離できる 6
7. オチを先に… ̂ • ランダム系列において、モデルθのデータセットxについての記憶量 ̂ ̂ は：mem(x, θ) = NS log2 V + log2 p(x | θ) ↑記憶量 ↑系列xの不確実性 ↑モデルが既知な上の不確実性 i • データセットx は語彙サイズV、サンプル数N、系列長Sで固定 • ランダム系列では汎化できず、これはサンプル固有の記憶量と同等 ̂ • 実テキストにおいて、モデルθに含まれるxについてのサンプル固有 の記憶量は： ̂ ̂ memU(X, θ, θ) = − log2 p(x | θ) + log2max{p(x | θ), p(x | θ)} ↑記憶量 ↑汎化しているモデルθが 既知な上の不確実性 ̂ ↑モデルθとモデルθが 既知な上の不確実性 7
8. 記憶量の定式化 シャノン情報理論の導入 • 自己情報量：ある出来事 x が起きたとき、その出来事がどれくらい意 外であるかを表す量（I(x) = − log p(x)） • エントロピー：確率変数Xの不確実性（H(X) = − ∑x p(x)log p(x)） • 条件付きエントロピー：2つの確率変数XとYについて、Yが既知であ る時Xに残る不確実性（H(X | Y)） • 相互情報量：Yを知ることによってXの不確実性がどれだけ減少する か（I(X; Y) = H(X) − H(X | Y)） 8
9. 記憶量の定式化 シャノン情報理論を用いた記憶量の定式化 • 仮定）データセットの分布Xをとらえる事前分布θを持つ。学習ア ルゴリズムLはXから学習済みモデルθ̂へのマッピングを行う。 • モデルθ̂のXについての記憶量： ̂ ̂ ̂ • mem(X, θ) = I(X; θ) = H(X) − H(X | θ) . ↑記憶量 ↑xの不確実性 ↑モデルが既知な上の不確実性 • 気持ち）記憶している情報量=モデルθ̂によって低減した不確実性 ̂ • しかし実際にはエントロピーH(X)やH(X | θ)を直接求められない • 分布Xが各データに与える確率はわからない 9
10. 記憶量の定式化 コルモゴロフ複雑性の導入 • コルモゴロフ複雑性によってある系列xの情報量を表現できる： K • H (x): xの最短記述長 = xを再現するために必要な最短プログラムの長さ • 最短記述長の厳密計算は不可能なので、モデルを利用できる場合の最短 記述長を、尤度に基づく符号長で近似する* • 符号長：ある符号化方式でxをビット列として表したときの長さ • 確率分布pに合わせて符号化すると、xの理想的な符号長は−log2 p(x) ̂ ̂ ̂ • H (x | θ) ≈ モデルθにおけるxの尤度p(x | θ)をもちいた符号長 ̂ −log p(x | θ) K 2 ※Appendix A.4で符号長は最短記述長の上界になるけど、もっと良い最短記述長の近似はある かも？と述べている 10
11. 記憶量の定式化 モデルの記憶容量 • モデルの最大記憶容量は十分なデータセットを十分学習したとき の記憶量とする • 学習アルゴリズムLが与えられた時、Lの記憶容量は： • ここでLはモデル構造や学習設定を含む学習手続き Capacity(L) = max mem(X, L(X)) X ※データセットサイズを大きくしていくとは増加するが、モデルが保持できる容量に達すると、 それ以上増加しなくなる 11
12. ランダム系列を用いたモデルの記憶容量調査 モデルの最大記憶容量を測定する • 汎化できないランダムな系列を用いて、モデルの記憶容量を測る • モデルの記憶容量よりも情報量が多い、十分なランダム系列を、 十分なstep学習させた時、モデルが保持できたmemorizationの最 大値を記憶容量とする • 複数の大きさのランダム系列データセットで訓練 • training loss が飽和するまで十分長く学習 • 汎化できないのでunintended memorizationのみが記憶の総量とし て計算可能 12
13. ランダム系列を用いたモデルの記憶容量調査 ランダム系列に対するデータ記憶の調査 • 語彙集合から1トークンずつランダムにサンプリングした系列を利用 i • 語彙サイズV、サンプル数N、系列長Sのデータセットx を利用する 1 と、情報量（符号長）はH(x ) = − N * S * log2 V i 真のデータ生成分布がわかるので 系列xの不確実性がわかる！ K i ̂ ̂ • モデルθを利用したときの符号長はH (x | θ)の近似値として ̂ | −log2 p(x θ) i i ̂ • つまり、モデルθのデータセットx についての記憶量は i K i i ̂ ̂ mem(x , θ ) = H(x ) − H (x | θ ) = NS log V + log p(x | θ ̂ ) i ↑記憶量 i i 2 2 i ↑系列xの不確実性 ↑モデルが既知な上の不確実性 13
14. ランダム系列を用いたモデルの記憶容量調査 ランダム系列に対するデータ記憶の調査 • 語彙サイズV=2048、系列長S=64で固定し、データサイズNを変 更してGPT-2を訓練 訓練サイズを増やすと最初は記憶量も増 えるが、途中で頭打ちになる モデルが大きいほど、plateau（飽和値） が大きくなる ↑訓練データサイズごとの Unintended Memorization 14
15. ランダム系列を用いたモデルの記憶容量調査 モデルサイズと最大記憶量の関係 • 複数のモデルサイズ、隠れ次元数のGPT-2をbf16で訓練し、記憶 量を調査 • fp32でも調査していて、x3.83 パラメータサイズx 3.64*ぐらいで きれいに線形な関係 ※訓練の結果、大域的最適解に落ちているとは限らな いので、この値はモデル記憶容量の下限値としている ↑モデルサイズと最大記憶量 15
16. 記憶と汎化の分離 モデルが持つ情報を「汎化」と「サンプル固有の記憶」に分ける • モデルが持つ情報を分ける：mem = memU + memI • unintended memorization：サンプル固有の記憶 • generalization（intended memorization）：汎化 16
17. 記憶と汎化の分離 モデルが持つ情報を「汎化」と「サンプル固有の記憶」に分ける • 汎化した参照モデルθは文の構文パターンなどは予測できるが、サンプル 固有の記憶は予測できない* • John Smith scored 147 points in the 2019 regional bowling championship. • 一方で、該当サンプルで訓練された対象モデルθ̂は、サンプル固有の記憶 も予測できる可能性がある ➡ 「θ̂に含まれるxについてのサンプル固有の記憶」は、θでは説明できず、 θ̂を追加するとわかるxの情報 ̂ ̂ ̂ | | | mem (X, θ, θ) = I(X; θ θ) = H(X θ) − H(X (θ, θ)) . • U ※ここはわかりやすさのためにだいぶ強く書いてしまっているけど、論文の主張は「θでは説明 できず、θ̂を追加するとわかるxの情報をサンプル固有の記憶としよう」 17
18. 記憶と汎化の分離 モデルが持つ情報を「汎化」と「サンプル固有の記憶」に分ける • unintended memorizationはデータ生成過程を表す参照情報θを 知っていても残るXの不確実性のうち、θ̂を追加で知ることで減る 部分： p(x | θ)̂ ̂ ̂ | | mem (X, θ, θ) = H(X θ) − H(X (θ, θ)) ≈ max(0,log ) . U 2 • p(x | θ) K • H (x | θ)≈ −log2 p(x | θ) K ̂ ̂ • H (x | θ, θ) ≈ −log2 max{p(x | θ), p(x | θ)} 18
19. 記憶と汎化の分離 実テキストを用いた実験設定 • データセット：Fine Web • 重複除去されている • θ̂：スクラッチから最大20MのGPT-2を学習 • θ：gpt2-774M- neweb-150B* • 真のデータ生成過程は利用できないため、大きめなFineWebtrained LMを利用 fi ※参照モデルθはめっちゃ重要。 弱い参照モデルでは汎化をunintended memorizationに帰属する可能性がある Appendixで参照モデルのサイズを変更して実験し、定性的な性質は一貫することを確かめた 19
20. 記憶と汎化の分離 実テキストを用いたサンプル固有記憶量の推移 • 参照モデルとの差分を使ってデータ固有の記憶を測定する 訓練サイズを増やすと • 最初はUnintended Memorizationが増える • Unintended Memorizationは途中から減る • 変化が起きるタイミングはモデルが大きい ほど遅い ↑ 訓練データサイズごとのモデルのUnintended Memorization 20
21. 記憶と汎化の分離 train lossとtest lossの推移 データが一定を超えると • 個々のデータを記憶できなくなり（train loss↑） • 汎化性能が改善する（test loss↓） データ量がモデルの記憶容量を超える領域で汎化が 始まる ↑ 訓練データサイズごとのtrain loss / test loss 21
22. 記憶されやすいデータとはどんなものか 記憶は各系列にどのように分配されるか • 同じ記憶容量を持つモデルを用いて、ランダム系列と実テキストの 「系列ごとの圧縮率」の分布を見る ̂ • 系列xについてのモデルの記憶は H (x) − H (x | θ) . K K ↑系列xの記述長 ↑モデルを使ったときの記述長 ̂ | H (x θ) ≈ − log2 pθ(x) ̂ • 1 S K ̂ | L(x) = − ln p (x) H (x θ) ≈ L(x) ⇨ ̂ θ • S ln 2 K • モデルを使ったときの記述長は系列長（S）一定ならlossの定数倍 • → 各系列の loss を見ることで、モデルが各系列をどの程度短く記述 できるか（圧縮率）を比較する 22
23. 記憶されやすいデータとはどんなものか 記憶は各系列にどのように分配されるか • 同じ記憶容量を持つモデルを用いて、ランダム系列と実テキスト の「系列ごとの圧縮率」の分布を見る ランダム系列 実テキスト ↑系列ごとのtrain / test lossの分布 ランダム系列（←）だと均一な分布だが 実テキスト（→）だとばらつきが大き く、高loss側に長いtail 23
24. 記憶されやすいデータとはどんなものか 記憶されやすい系列とはどんなものか • 各系列についてmemUとTF-IDFの 関係をプロット rare words を多く含む（TF-IDFの高い） 文書ほどunintended memorizationで記憶 されやすい ↑Unintended Memorization と TF-IDF 24
25. まとめ • 汎化とサンプル固有記憶を分けられる記憶量を定義 • ランダム系列を使って最大記憶容量を推定 • GPT-2型で容量 ≈3.6 bits/param きちんと定義+一貫した結果を実験から 出していてよかった • モデルサイズ変えてもおなじ比率で、割と正しそう • 記憶容量を超えるとサンプル固有記憶が減って汎化が増える • 稀なトークンを含むサンプルほどサンプル固有記憶される お気持ちがわかっていい感じ 参照モデルに依存して汎化とサンプル 固有記憶を区別するのは🤔 25