論文紹介 Attention Residuals

Transcript

1. Attention Residuals @kyad 2026/3/29 本資料中の図は論文から引用しています
2. Attention Residuals •書誌情報 [2603.15031] Attention Residuals 研究機関：Kimi Team •何をするもの？ Transformerにおける残差接続の拡張 •解決しようとする課題 PreNorm正規化を使った残差接続では、 最初の層の影響が徐々に希釈され(PreNorm dilution)、 最後の方の層では最初の方の層の情報を取得しにくい Attention FFN [残差接続]
3. Attention Residuals 今までのレイヤ全てとの 重みづけ残差接続 •提案 学習パラメータ 各レイヤの出力 距離関数 重みづけ係数αの計算 過去の記憶(k)を 検索してくる(q)というお気持ち
4. Attention Residuals •提案 Transformerレイヤをブロックに分ける ブロック内では、普通の残差接続 ブロック間では、重みづけ残差接続
5. Attention Residuals •評価 Kimi Linearで評価。Val Lossが改善
6. Mixture-of-Depths Attention •書誌情報 [2603.15619] Mixture-of-Depths Attention 研究機関：ByteDance •何をするもの？ Transformerにおける残差接続の拡張 •解決しようとする課題 従来の残差接続では、最初の層の影響が徐々に希釈され、 最後の方の層では最初の方の層の情報を取得しにくい 過去の全てを引用する方法だと計算量が爆発する
7. Mixture-of-Depths Attention •解決方法 普通の残差接続 過去全てを使う 残差接続 提案。過去全ての KVを使う 提案。今の状態(X)と過去のKVをまとめて Softmaxするので、統一的に正規化できる 今 過去 深い層のQが、過去のKVを 直接見に行ける
8. Mixture-of-Depths Attention •評価 MoDAは何もなしに比べて精度が改善している