第14回最先端NLP勉強会の論文（ https://openreview.net/forum?id=0g0X4H8yN4I ）紹介スライドです．
What Learning Algorithm isIn-Context Learning?Investigation with Linear Models紹介者︓NTT⼈間研/東京⼤学 ⻄⽥光甫Ekin Akyurek, Dale Schuurmans, Jacob Andreas,Tengyu Ma, Denny ZhouICLR2023
View Slide
• In-Context Learningはパラメータを更新せずに新しい関数を学習することができる– 既存研究はどんな関数を学習できるかに焦点– どのように関数を学習しているのかを知りたい• 理論的貢献︓– 線形回帰モデルの学習アルゴリズムをTransformerが再現できることを⽰した• 実験的貢献︓– Transformerが学習した関数が線形回帰モデルに近いことを⽰した2本研究の概要と貢献
3この論⽂の主張のイメージIn-context Examples 𝑋, 𝑦 Test ExampleTransformerDecoder𝑦!= 𝑤∗#𝑥!Transformerに教師・評価データの系列を与えると理論&実験的に︓最適な線形回帰モデルによる予測値を出⼒︕
• 準備• 理論的貢献– 線形回帰モデルの学習アルゴリズムをTransformerが再現できる• 実験的貢献– Transformerが学習した関数が線形回帰モデルに近い4⽬次
• ⼊⼒𝑥，パラメタ𝑤を𝑑次元ベクトルとし，出⼒𝑦を𝑦 = 𝑤!𝑥とモデリング• 𝑥", 𝑦" "#$,…,'()から以下の損失で学習し，パラメタの推定値'𝑤 = 𝑤∗を得る5線形回帰モデルの定義解の閉形式が存在リッジ回帰．𝜆 = 0で最⼩⼆乗法（OLS）⼆乗誤差
• 補題1: ⼊⼒𝐻に対して以下の変換を実現する1層 TransformerDecoderが存在する– mov: ⾏列𝐻のある部分を別の箇所に移す– mul: ⾏列𝐻のある部分とある部分の積を別の箇所に出⼒– div: ⾏列𝐻のある部分をある要素で割る– aff: ⾏列𝐻のある部分を，ある𝑊, 𝑏によってaffine変換して別の箇所に出⼒※詳細は省略．変換のイメージのみ記載※Transformerのパラメタ𝜃は𝑊, 𝑏に依存6Transformerは以下の演算が可能𝐻movの例TransformerLayer𝑖: 𝑗⾏𝑡列を𝑖!: 𝑗!⾏𝑠列で上書き
7これから⽰すことIn-context Examples 𝑋, 𝑦 Test ExampleTransformerDecoder𝑦!= 𝑤∗#𝑥!Transformerに教師・評価データの系列を与えると最適な線形回帰モデルによる予測値を得られる︕Transformer内部でmov, mul, div, aff演算を適切に繰り返すことで
• 準備• 理論的貢献– 線形回帰モデルの学習アルゴリズムをTransformerが再現できる• 実験的貢献– Transformerが学習した関数が線形回帰モデルに近い8⽬次
• 線形回帰モデルを勾配法で学習するとき，以下の式を反復して𝑤を更新する9線形回帰モデルを勾配法で学習する場合𝛼︓学習率
• 層数𝑂(1)，次元数𝑂(𝑑)のあるTransformerに• H($)を⼊⼒すると• 最終状態H(-)の𝑥'に相当する列は𝑤./𝑥'を要素に持つ• つまり，確率的勾配法の学習の1stepを再現10勾配法の1 step=Transformer変換定理1︓確率的勾配法の学習の1stepを計算するTransformerが存在するIn-context Example 1つ Test Example
以下の⼿順で計算するだけ11定理1の証明
• 解の閉形式は逆⾏列の変換を含むため，計算したくない• データ数が1ならSherman-Morrison公式で回避できる• 𝑋!𝑋 = ∑ 𝑥"𝑥"!より，反復することで 𝑋!𝑋 + 𝜆𝐼 ()が得られる𝐴 = 𝜆𝐼, 𝐴"# = #$𝐼 𝑢 = 𝑣 = 𝑥%12線形回帰モデルを閉形式で解く場合𝑑×𝑑の逆⾏列𝐴 = 𝜆𝐼 + 9%&'𝑥%𝑥%( 𝑢 = 𝑣 = 𝑥')#
• 層数𝑂(1)，次元数𝑂(𝑑!)のあるTransformerに• H(#)を⼊⼒すると• 最終状態H(%)の𝑥&に相当する列は𝑤'(𝑥&を要素に持つ• つまり，1データについての閉形式を再現131データについての閉形式=Transformer変換定理2︓Sherman-Morrison公式による1データについての閉形式を計算するTransformerが存在する
• 類似の既存研究はあるが，浅い層数で実現可能なことを⽰したことが経験的結果の説明として重要• 定理は1step・1データに関する計算を⽰しているが，層を重ねることで複数step・データに拡張可能– 𝑛データから学習するときは定理1・2ともに層数𝑂(𝑛)• メタ学習からの解釈– Inner-LoopをTransformerが内包していると考えられる– Transformerの事前学習がOuter-Loopに相当• 線形回帰モデルの学習を再現できるって嬉しいの︖（私⾒）– ⽂埋め込みモデルを固定して，線形変換層だけを下流タスクで学習することはNLPでよく⾏われる– Transformerの下側で⽂埋め込みの獲得，上側で「⽂埋め込みに基づく線形回帰モデルの学習」をしているとも解釈できる– ここまで解釈を進めるとNLP的にも嬉しい（気がする）14議論・補⾜
• 準備• 理論的貢献– 線形回帰モデルの学習アルゴリズムをTransformerが再現できる• 実験的貢献– Transformerが学習した関数が線形回帰モデルに近い15⽬次
• Transformer変換が，勾配法・閉形式による線形回帰学習に，学習アルゴリズムとして近いことを⽰したい• アルゴリズムの近さに関する評価指標が必要16評価したいこと
• 学習アルゴリズム𝒜によって得られた関数𝑓の予測の近さを評価17指標1: Squared prediction differenceIn-Contextexampleとtestexampleに関する期待値予測値の差の2乗𝑓はアルゴリズム𝒜でIn-Context Example 𝐷から学習した関数
• 学習アルゴリズム𝒜が学習したモデルを近似する線形モデルのパラメタ𝑤の近さを評価※ 𝒜が学習するモデルは線形変換に限らない18指標2: Implicit linear weight differenceIn-Contextexampleとtestexampleに関する期待値パラメタの差のノルム学習モデルを最も再現する線形モデル𝒜が学習したモデルによる予測値
• ⽐較対象の学習アルゴリズム– k近傍法– リッジ回帰の確率的勾配法（batch size=1, #step=#data）– リッジ回帰の最急降下法（batch size=#data, #step=1）– リッジ回帰の閉形式（厳密解）• タスク– ⼊⼒𝑥・真のパラメタ𝑤*を4,8,16次元⽩⾊ノイズとする– {𝑥%, 𝑦%= 𝑤*+𝑥%}と𝑥,から𝑦,を予測• Transformer– 𝐻(*)を⼊⼒し，𝑥,に相当する列の0⾏⽬の値を予測値とする– 16層512次元4ヘッド．⼊⼒での次元の違いはpaddingで対処– Transformer⾃体を上記タスク・⼆乗誤差で50万step学習した19実験設定
• 実験では，TransformerがIn-Context Learningに関する学習を⾏った20TransformerのIn-Context Learning学習データ分布に関する期待値再現したい関数𝑓 = 𝑤*に関する期待値Transformerにi-1個の⼊出⼒・1個の⼊⼒を与えて数値を得る正解𝑦%= 𝑤*+𝑥%
• Squared prediction difference（予測の近さ）で測ったとき，最⼩⼆乗解（𝜆 = 0のときの閉形式）との距離が⼩さい– 8次元の問題なので，事例が8未満のときは不定解– 閉形式はありうる解のうちノルムが最も⼩さい解を選ぶ– Transformerが閉形式と近いということは，Transformerもノルムが⼩さい解を選んでいる• パラメタが⽩⾊ノイズなので，0（パラメタ事前分布平均）に近い解を選んでいることをベイズの観点から語れるのでは︖21Transformer変換は最⼩⼆乗解を再現する
• Implicit linear weight difference（パラメタの近さ）で測ったときも同様に最⼩⼆乗解に近い22Transformer変換は最⼩⼆乗解を再現する
• データのノイズの分散を𝜎0，パラメタ𝑤の事前分布の分散を𝜏0としたとき，ベイズ解は𝜆 = 𝜎0/𝜏0としたリッジ解• ノイズのあるデータで実験すると， Transformer出⼒は𝜆 =𝜎0/𝜏0としたリッジ回帰との間でSPDが⼩さい– Transformer変換はベイズリスク最⼩化と学習アルゴリズムとして近い– ノイズがないときは𝜎/ = 0で最⼩⼆乗解に相当23Transformer変換はベイズリスクの⼩さい解を再現する
• モーメント・パラメタを系列⽅向の重み付き和＋Linear/MLPで復元するprobingを⾏い，MSEで評価• まずモーメント，次にパラメタを復元– 低層では復元できない．多層変換の重要性も確認24Probingによる検証学習可能パラメタモーメントパラメタ
• 理論的貢献︓Transformer変換は線形回帰の学習アルゴリズムを再現できる• 実験的貢献︓– In-Context LearningしたTransformerはベイズリスク最⼩な線形回帰モデルの予測値と近い予測を出⼒• 私⾒︓– 線形性を仮定しない学習をしたTransformerがベイズリスク最⼩な線形回帰モデルと近いモデルを得るのは⾯⽩い– ⽐較⼿法の中で⼀番いいモデルがリッジ回帰の厳密解だった可能性も– 次単語予測で学習したTransformerが線形回帰の学習を再現するかは不明– 「なんでパラメタも更新しないでタスクに適応できるの︖」の疑問への⼀つの答え25本研究のまとめ
• 層が少ないときは1stepの勾配法と近く，層が増えるとリッジ回帰と近い• リッジ回帰と近づくには次元数が必要だが，𝑂(𝑑0)は不要26⼩さいTransformerではどうなる︖
kosuken
miyuoba
johannyjm
mickey_kubo
trafficbrain
shimacos
yumulab
masatoto
tmats
shotasasaki
haraduka
gpeyre
ryou0634
aleyda
samlambert
reverentgeek
danielanewman
aki_iinuma
philnash
dotmariusz
smashingmag
keavy
myddelton
paulrobertlloyd
samanthasiow