Upgrade to Pro — share decks privately, control downloads, hide ads and more …

論文紹介:∞-former: Infinite Memory Transformer

yuri
September 20, 2022

論文紹介:∞-former: Infinite Memory Transformer

第14回最先端NLP勉強会(2022年9月26日、27日)@お茶大 発表用資料

yuri

September 20, 2022
Tweet

More Decks by yuri

Other Decks in Research

Transcript

  1. Prior Work • ⻑いcontext をどう扱えば良いか︖ 2 Transformer Layer 𝑋! STM

    q k,v ... Transformer Layer 𝑋! STM CM q k,v ... Compressive Transformer [Rae+ 2019] Transformer-XL [Dai+ 2019]
  2. Long-term Memory • ⼊⼒Xに畳み込み(stride=1, width=3)をし、スムージングを⾏う Lはinput size, eはembedding size •

    Xを連続値 ! 𝑋(𝑡)に変換 𝑡 ∈ 0, 1 : 𝑡! = 𝑖/𝐿 𝜓 𝑡 ∈ ℝ"はN個のRBF (radial basis function) のベクトル B ∈ ℝ"×$は多変量リッジ回帰によって得られる係数⾏列 4
  3. Long-term Memory 𝑄 = 𝑋𝑊" ∈ ℝ#×% 𝐾 = 𝐵𝑊&

    ∈ ℝ'×% 𝑉 = 𝐵𝑊( ∈ ℝ'×% • attention mechanism としてガウス分布を⽤いる 5
  4. Long-term Memory • 𝑧),+ は𝑍#,-,) ∈ ℝ#×.の⾏を成す • Transformerのcontext vector

    𝑍, と⾜し合わせて最終的なcontext vector 𝑍を得る 6 ← attention × value
  5. Complexity • Key matrix 𝐾 は基底関数の数𝑁 だけに依存し、contextの⻑さとは無関係 • Complexityもcontextの⻑さとは独⽴ •

    short-term memory も使う場合︓ • LTMのみの場合︓ • どちらもvanilla transformer より⼩さい 9
  6. Sorting • Transformer • 3 layers • 6 attention heads

    • input size L = 1,024 • memory size 2,048 • LTM (N = 1,024 basis functions) 11
  7. Document Grounded Dialogue • CMU Document Grounded Conversation dataset (CMU-DoG)

    [Zhou+ 2018] • より難しくするために、会話が始まる前にしかdocumentにアクセスできなくする • GPT-2 small + continuous LTM (N = 512 basis functions) 12
  8. 16

  9. 17

  10. 18

  11. 19

  12. まとめ • Infinite Memory Transformer を提案 • Unbounded context •

    計算量はcontextの⻑さと独⽴ • Sorting, Language modeling, Document grounded dialogue で実験 • ⻑期記憶の有⽤性を⽰した 20