論文紹介 mHC

Transcript

1. mHC @kyad 2026/3/29 本資料中の図は論文から引用しています
2. Hyper-Connections •書誌情報 [2409.19606] Hyper-Connections 研究機関：ByteDance •何をするもの？ Transformerにおける残差接続の拡張 •解決しようとする課題 Transformerの残差接続は勾配消失を防ぐが、 層数が増えると、深い層の出力が似通ってしまう課題がある Attention FFN [残差接続]
3. Hyper-Connections 従来 提案 人が決めてもよい(SHC)し、学習パラメータ(DHC)でも良い 提案は(c)と(d)の組合せ 提案は(c)と(d)の組合せ •提案
4. Hyper-Connections •提案 Hyper-Connections(HC)は、 逐次的な層配置(a)と 並列的な層配置(b)の 両方の特徴を併せ持つ
5. Hyper-Connections •提案 正規化を入れて安定させる
6. Hyper-Connections •評価 言語モデルと画像認識モデルで評価 Hyper-Connections(HC)は、 学習が安定し、収束が高速になった
7. mHC •書誌情報 [2512.24880] mHC: Manifold-Constrained Hyper-Connections 研究機関：DeepSeek •何をするもの？ HCでの学習の不安定性 の課題を解決する方法
8. mHC •解決しようとする課題 パラメータ数がさらに多いと、HCでは学習が不安定になる において、制約なしで学習されると、Hの恒等写像特性(H=I)が失われる 恒等写像特性が重要な理由 ①勾配消失・爆発の抑制 ②信号の大きさを保ち、学習の安定性が増す HCの更新式
9. mHC •解決方法 Resudual側のHを二重確率行列に制約する 行を全部足すと1 列を全部足すと1 → 勾配の爆発を防げる Hを二重確率行列へ変換するには、Sinkhorn-Knoppのアルゴリズムが使われる 行の正規化 列の正規化 t=20くらいで良い
10. mHC •評価 mHCはHCと比べてLossや勾配ノルムが小さく、学習が安定している