Liu et al., 2021. Pay Attention to MLPs. arXiv

https://arxiv.org/abs/2105.08050

Transcript

1. Pay Attention to MLPs Hanxiao Liu, Zihang Dai, David R. So, Quoc V. Le 紹介者：平澤 寅庄 東京都立大学大学院 小町研究室 D1 2021年5月27日 @論文読み会
2. Make MLPs Great Again! 『ステート・オブ・AI ガイド』より引用 https://ja.stateofaiguides.com/20210524-beginning-of-mlp-era/ 2
3. 多層パーセプトロン (Multi Layer Perceptron; MLP) 複数のパーセプトロンを積み上げたニューラルネットワーク １層のパーセプトロン ２層のマルチレイヤー・パーセプトロン 入力は任意のスカラー値の系列を取る。 例）特徴量の集合、単語分散表現、 etc ... 出力は入力の重み付き和 3
4. トランスフォーマー（Transformer） Vaswani et al., 2017 が提案した Encoder-Decoder 系列変換モデル • Multi-Head Attention を導入することで、 全トークンの状態を並列で計算すること ができるようになった ◦ 各位置の状態は入力されるベクトル列の 重み付き和（重み＝Attention）で計算する ◦ それまで主流だった RNN（再帰ニューラル ネットワーク）は順番にトークンごとの 状態を計算する必要があった • Positional Encoding でトークンの位置情報を組み込む • BERT的言語モデルは Encoder 側のみを使う Encoder Decoder 重みを計算 4
5. 画像認識 画像に写っているのもを識別する技術 粒度により様々なタスクがある cat Image Localization Object Detection Instance Segmentation 画像認識で最も有名なデータセット • 1400 万枚の画像を 22,000 のクラスに分類 ◦ WordNet に基づいてラベルを設定 • コンペでは 1000 クラス分類（ImageNet-1K) cat Image Classification 5
6. BERT 的言語モデル 6
7. gMLP 7
8. gMLP Layer Norm. Feed-Forward Activation NEW!! Feed-Forward Spatial Gating Unit No position embeddings 8
9. Spatial Gating Unit トークン間インタラクションを担うモジュール 入力を分割 {する|しない} パーセプトロン（系列方向） 要素積 x1 x2 x3 x4 u1 u2 u3 u4 v1 v2 v3 v4 v1 v2 v3 v4 s1 s2 s3 s4 ⊙ W Gate 9
10. Image Classification ImageNet-1K の Accuracy@1 MAdds (B) : 計算コスト (~ Params) • Transformer ベースと同等の性能 • 他の MLP ベースより良い 10
11. Image Classification - Spatial projection weight 重みに制約を加えていないのにも関わらず、 2D の畳み込みに似た重みになっている。 11
12. Masked Language Mode with BERT C4 データセットを使い、MLM で学習する。 • BERT BERT モデル • + rel pos Positional encoding ➜ Relative positional encoding • + rel pos - attn MHA の content-dependent term を削除 Attention の計算 • Transformer ベースのモデルと同等の性能（ ppl）を達成した • Spatial Gate Unit は Split + Multiplicative がよい 12
13. MLM with BERT - Spatial filter analysis 13
14. MLM with BERT - Spatial filter analysis • 基本的には近いところしか見ていない。 v1 v2 v3 v4 Gate を計算するときにどの要素を 見ているかを表している。 14
15. MLM with BERT - Spatial filter analysis • 基本的には近いところしか見ていない。 15
16. MLM - Model Size 16
17. MLM - Model Size 17
18. MLM - Model Size SST-2 (感情分析）では gMLP がよい MNLI-m (推論）では Transformer がよい 18
19. MLM - Model Size SST-2 (感情分析）では gMLP がよい MNLI-m (推論）では Transformer がよい 長距離の依存関係があるタスクでは Attention が有効 ➜ 小さな Attention 機構の導入 19
20. aMLP 小規模な Attention 機構を Spatial Gating Unit に導入する 20
21. aMLP - PPL vs Downstream Task Perf. MNLI-m での性能 が改善した。 21
22. aMLP - Params vs Perf. 22
23. MLM - Main results 23
24. Conclusion • Attention は小規模なもので十分で、タスクによっては不要である • ゲート付き MLP（gMLP）でも、Transformer に匹敵する性能がある • 文間の関係を捉えることが重要なタスクでは、attention が重要な働きをする 24