論文紹介: Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling

首都大 小町研 春の最先端論文紹介 2018

Transcript

1. Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling Tao Shen, Tianyi Zhou, Guodong Long, Jing Jiang, Chengqi Zhang (ICLR 2018) 論文紹介: 小町研 M1 勝又智 （論文は arXiv v1 のものを紹介）
2. 概要 • sequence encoding model の話 • ネットワークとして RNN、CNN、SAN (self-attention networks) がある RNN: 広範囲の関係性が取れる。が、並列処理ができず、時間がかかる。 CNN: 並列処理可能。が、広範囲の関係性をみるのは大変。 SAN: 並列処理可能で広範囲の関係性も取れる。が、メモリ的に重い。 → それほどメモリを使わずにSANを設計した話 • sequence を block に分割することで 1度の self-attention を小規模に行うモデル • 評価 9つのNLPベンチマークで提案手法が同じくらいの精度を、 メモリ効率をあげながら達成した。 2
3. Network 比較 • RNN: 多くの NLP タスクで使われる。LSTM などで勾配問題にも対応。 → time cost が未だしんどい。（特に長文） • CNN: 並列処理できる点からいくつかの NLP タスクに用いられていたりする。 → long-range dependency を捕まえ辛い。（階層的に積むから） • SAN: 最近流行り。sequence内の各 token について、他のtokenとのattentionを 用いてcontext-aware な表現を作る。 long-range、local dependency どちらもパッと取れる。 attentionを求めていくところはパッとできる。（並列処理） → 全ての token pairs のattention score を保持するのでめっちゃメモリ使う。 （長文になる程辛い）（DiSANの方、Multi-headはそんなに） → RNNぐらいのメモリ消費でSANのいいところを残したモデルを作りたい。 3
4. 提案手法の気持ち 1. sequence を長さが等しいブロックに分割する。 2. それぞれのブロック内で self-attention を求める。（local dependency） 3. すべてのブロックの出力に対して self-attention を求める。(global dependency) ↑ self-attention の処理は小さいsequenceに対してのみ行われる。 他にやったこととして（新規性はない） • Bi-directional なモデルにした • attentionの計算をfeature-levelに行なった 4 (DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding. Shen et al., arXiv 2017) 次のスライドからsequence → seq
5. attentionについて（Vanilla Attention） seq x とquery token があって、vannila attention は query に対する seq 内の各トークンの alignment score を計算する。 各トークンに対する score に対してsoftmax かけて、query に対する seq 内の各トークンの 重要度合いを求める。 (f(xi, q)はxiとqのalignment scoreを求めるやつ) 5 ↑ Multiplicative attention ↑ Additive attention n: seq length
6. attentionについて（Multi-dimentional Attention） 何をやるか: Alignment score を embedding の各次元に対して求める。 （文脈によって意味が異なる単語とかによく効きそう） 6 de: embed size query に対する token i の feature k の重要度 Piは additive attention で計算できる。 （additive の w^T を W にすれば score が vector になるから）
7. self-attention • token2token (Hu et al., 2017; Vaswani et al., 2017; Shen et al., 2017) あるseq内のトークンxjがseq内のどれに対応しているかみる話 → xjをquery tokenとして考える • source2token (Lin et al., 2017; Shen et al., 2017; Liu et al., 2016) seq全体に対する各トークンの重要性をみる話 → query を削除する 7
8. 順序情報を捉えるために（for token2token） f(xi, xj) で求めた score をマスク処理することで token2token attention に順序情報を 考慮させる。 8 ↑ query token xj より前にあるのか後ろにあるのかで forward、backwardを区別 ← Shen et al., 2017 より引用 Wではない; c=5でやってる
9. 提案手法: 全体のモデル構成 右の図のように input: seq (length n) output: vector representation の sequence encoding モデル 図のu^fwやu^bwは長さ n の seq 9
10. 提案手法: Masked Block Self-Attention (mBloSA) 10
11. 提案手法: ① Intra-block self-attention 入力 seq からr 個ずつトークンを持ってきて、合計 m このブロックを作成する。 それぞれのブロック内で Masked self-attention をかけて長さ r の表現を作成する。 → block内の local dependency を捉えたい 11 ・必要に応じてpadding ・ブロックの長さ r はハイパーパラメータ → メモリ効率が最も良くなる値に設定 （詳細は次スライド）
12. ブロック分割の話 使用するデータセットに対して、メモリ消費が最小化するように r を設定する。 1. データセットの文長が固定長 n であるとする。 ①メモリ消費の主な部分は masked self-attention ②masked self-attention のメモリ消費は文長の2乗 ③mBloSAは長さ r のブロック m 個に masked self-attention して、長さ m の系列に対して 1 回 masked self-attention す る → この時のメモリ消費量が最小になる r は r = 2. データセットの文長を考える。（固定長 n ではないはずなので） 具体的には、mini-batch (B個の文がある) における最大文長の期待値を求める。 （正確には上限を抑える） そんなわけでブロックの長さはデータセットに対して決められる。 12 ξ: メモリ使用量 Xi: mini-batch内の i 文目の文長 詳細な式変形は論文内の Appendix 参照
13. 提案手法: ② Inter-block self-attention ・各ブロックからの長さ r の出力に対して source2token self-attention を通して、 ブロックごとのベクトル表現（local dependency 情報が溜まってる）を獲得する。 ・ブロック間の関係 (global dependency) を獲得するために Masked self-attention をか ける。 ・local、global dependency を組み合わせたいので、Masked self-attention への 入出力を gate でくっつける。 13
14. 提案手法: ③ context fusion ①、②で word embeddings の seq x から local context を表す h や、それを元にglobal context を表す e を作成した。 → gate に入れてくっつける 14
15. 評価 • 9つの NLPベンチマークで評価した。 Natural language inference、Reading comprehension、Semantic relatedness、 Sentence classfication (CR、MPQA、SUBJ、TREC、SST-1、SST-２) → NLI と Reading comprehension を紹介する。 • 比較したモデル（明記されない場合は600D） ◦ Bi-LSTM: Bi-directional LSTM ◦ Bi-GRU: Bi-directional GRU ◦ Bi-SRU: Bi-directional SRU ◦ Multi-CNN: CNN sentence embedding model (3, 4, 5-gram) ◦ Hrchy-CNN: 3-layer 300D CNN (kernel: 5) ← convlolutional encoder とかのやつ ◦ Multi-head: Multi-head attention (head: 8, hidden: 75 → total 600D) ◦ DiSAN: Directional self-attention network (Shen et al., 2017) 15
16. NLI experiments: setting Natural language inference: 文対 (premise, hypthesis sent) の関係性を当てる。 具体的には3つの関係性: entailment, neutral, contradiction ↑ 詳しくは https://nlp.stanford.edu/projects/snli/ dataset: Stanford Natural Language Inference (SNLI) training: 549,367 samples; dev: 9,842 samples; test: 9,824 samples 作成した文ベクトルから関係性を当てるモデル (Bowman et al., 2016): premise sent と hypothesis sent それぞれの 文ベクトルを作ってそれらを組み合わせて 関係性を当てるモデル。 16 ハイパーパラメータとかは論文参照 Conneau et al., 2017 から引用→
17. NLI experiments: result (accuracy) 17 official leaderboard baselines 480D Bi-BloSANなのは パラメータ数をbaseline と合わせたいから
18. NLI experiments: result （メモリ、時間） 18 → メモリがRNNベースと同じくらい、 training time はCNN ベースや Multi-head よりいくらか遅い くらい、精度は最も良い
19. NLI experiments: ablation study 19
20. Reading comprehension experiments: setting なんか passage とそれに対応した質問があって、そのpassageの中から質問に対する 解答を探す話。 dataset: Stanford Question Answering Dataset (SQuAD) passage: Wikipediaの記事; 解答: 記事内のあるspan; question: 記事に基づいて人手で作成 ↑ 詳しくは https://rajpurkar.github.io/SQuAD-explorer/ → 今回 sequence encoding の比較をしたいので、answer span を当てるのではなく、 解答が含まれる文を見つけるタスクとして扱う。 というわけで今回のモデルは次のスライド 20 ハイパーパラメータとかは論文参照
21. Reading comprehension: モデル 21
22. Reading comprehension: result 22 ↑ DiSAN がないのはGPU メモリに乗らなかったから (GTX 1080Ti)
23. time/epoch がよくなっても収束してないとちょっと... 23 ↑Customer Review (CR) の学習収束状況の図 CR自体は positive、negative を当てるやつ
24. Analysis: 文長に対する時間とかメモリ消費とか batch size と feature num を固定して、文長を 16 刻みで変えたものを処理した際の推論に 必要な時間とメモリ消費を調べた。 （[batch_size, seq length, feature num] の tensor を seq length について 16 to 384 で変えて入力した（batch: 64; feature: 300）） 24
25. まとめ • Bi-directional block self-attention network を提案した。 • sequence をブロックに分けて self-attention をかけることでメモリ消費を抑えた。 • local and long-range context dependency を捉えるために intra-block と inter-block self-attention を用いた。 • temporal order information を考慮するために Mask を利用して directional にし た。 • 9つの NLP ベンチマークで評価した。 → 精度を保ったまま、RNNぐらいのメモリ使用で、mulit-head ぐらいの速度の性能 を示した。 25
26. 参考にしたもの • 実装 ◦ Tensorflow (author): https://github.com/taoshen58/BiBloSA ◦ PyTorch: https://github.com/galsang/BiBloSA-pytorch • Natural language inference by tree-based convolution and heuristic matching. Mou et al., ACL 2016 • A Fast Unified Model for Parsing and Sentence Understanding. Bowman et al., ACL 2016 • Supervised Learning of Universal Sentence Representations from Natural Language Inference Data. Conneau et al., EMNLP 2017 • DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding. Shen et al., arXiv 2017 • Reinforced mnemonic reader for machine comprehension. Hu et al., arXiv 2017 • Attention is all you need. Vaswani et al., NIPS 2017 • A structured self-attentive sentence embedding. Lin et al., ICLR 2017 • Learning natural language inference using bidirectional lstm model and inner-attention. Liu et al., arXiv 2016 26