論文紹介 Reformer: The Efficient Transformer

I will give a presentation on the following paper.
https://openreview.net/forum?id=rkgNKkHtvB

Transcript

1. Reformer: The Efficient Transformer Nikita Kitaev*, Lukasz Kaiser*, Anselm Levskaya* *Google Research ICLR 2020 紹介者: 平尾 礼央（TMU, M1, 小町研究室） 26 May, 2020 @論文紹介
2. Abstract • Transformerの計算時間、メモリ使用量を効率化したReformerの提案 • Attention Weightが小さいものを計算するのは無駄 ➢ Locality Sensitive Hashingで近いものだけ計算 • 逆伝播のために各レイヤで値を保持しておくのがメモリを圧迫 ➢ Reversible Layerで逆伝播時に毎回計算 • Transformerと同程度の性能でメモリ効率を改善し、長い系列で高速化する 事に成功
3. Introduction • Transformerを使ったモデルは様々なNLPタスクでSoTA • 最近のモデルはレイヤ数、系列長が増加し、パラメータ数も膨大 • 計算資源がある限られた研究所だけが訓練できる • 計算が増える原因と対策： ◦ Attentionの計算では系列長Lに対して、時間、空間（メモリ）共に O(L^2)で増加 ➢ Locality Sensitive Hashingでクラスタに分け、近い単語のみを計算 ◦ レイヤ数がN倍になるとそれぞれのレイヤが格納しておくべき activationがN倍 ➢ Reversible Layerで全体で1つのactivation（1つ後のレイヤ出力）さえあればよい
4. Locality Sensitive Hashing（LSH） • Hash関数を使った近似近傍点探索アルゴリズム • n次元空間用のkd-treeのようなもの • k個のn-1次元の超平面を使用することで2^kクラスタに分けることができる https://www.researchgate.net/figure/Locality-sensitive-hashing-LSH_fig4_314300245 https://databricks.com/blog/2017/05/09/detecting-abuse-scale-locality-sensitive-hashing-uber-engineering.html https://www.youtube.com/watch?reload=9&v=LqcwaW2YE_c
5. Locality Sensitive Hashing Attention LSHによる ハッシュ化 同じグループ 同士で計算
6. Complexity in Attention Part • nr: ハッシュを繰り返す回数 ◦ LSHはシードによって異なる bucketに分けられる可能性があるため • nc: LSHのchunk数 ◦ Lが長くなるほど増えるため、 L/ncが実質logL ➢ これでAttentionの計算量の問題は解決！では逆伝播は？
7. Reversible Residual Networks (Gomez et al. NIPS 2017) • 通常は順伝播時に各レイヤで値 (activation)を持っていないといけない • 下図のように各レイヤを反転すると元の値が求まるようにする • activationの数を全体で1/Lに出来る（L: レイヤ数）
8. Complexity of Reformer • Reversible Residual Networksと同様に各レイヤで反転できるように変更 • 空間、時間計算量共にLが取れてc(O(logL)) になっている
9. Experiments • データセット ◦ enwik8: 入力トークン64k ◦ imagenet64: 入力トークン12k • パープレキシティカーブ（横軸: steps、縦軸: bpd(?)） ◦ 通常のTransformerとほぼ同じ
10. Translation Task • WMT2014 English-to-German ◦ オリジナルのTransformerとほぼ同じ
11. Number of Hashing and Layers • ハッシュは8回以上繰り返すことでオリジナルとほぼ一致 • レイヤ数を増やすほど改善
12. Speed of Transformer and Reformer • 系列長が1024程度だと従来のTransformerの方が高速 ◦ hash回数が1~4だと精度が落ちる • 系列長が2048以上になるとReformerの方が早い
13. Conclusion • ReformerはTransformerと同程度の表現力を持つ • 長い系列でも効率的に実行でき、レイヤ数が増えても少ないメモリ使用量で実行で きる • これにより、計算資源が少なくても大きいTransformerモデルを扱える • 時系列や動画、音楽など幅広い分野でTransformerを使うことできる