文献紹介20181126_Learning and Evaluating Interpretable Sentence Embeddings

Transcript

1. - 文献紹介 2018/11/26 - Learning and Evaluating Sparse Interpretable Sentence Embeddings 長岡技術科学大学 自然言語処理研究室 多田太郎
2. About the thesis Authors : Valentin Trifonov, Octavian-Eugen Ganea, Anna Potapenko*, Thomas Hofmann ETH Zurich, Switzerland, National Research University Higher School of Economics, Russia* Conference : Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP, pages 200–210 2
3. Abstract ・sentence embedding を解釈したい ・ベクトルをスパースにする手法と可読性の評価手法を提案 ・密なベクトルより解釈性が増加 3
4. Introduction 解釈性とスパースな表現には関連性がある (Murphy et al. : 2012) ベクトルのスパース化には２つの手法がある ・ベクトルを生成し、後処理 ・ベクトル生成時にスパースなものとする 4
5. Models スタンダードなseq2seqに基づき以下に取り組む 1. Enforcing Sparsity by Post-Processing Dense Embeddings 2. Enforcing Sparsity during Embedding Learning ・k-Sparse ・Sparsemax 5
6. Models 1. Enforcing Sparsity by Post-Processing Dense Embeddings Eは2000次元のsparseなベクトルとなる 6
7. Models 2. Enforcing Sparsity during Embedding Learning 　スパース化layerでdenseなベクトルZをsparseなベクトル Eに変換するように学習 ・k-Sparse 0でない次元数kを固定したスパース表現 ・Sparsemax softmaxの応用,このsparseな確率分布を利用 上記kを固定しないため、各文に対して柔軟 7
8. Experiments 1. Training Details ボキャブラリサイズ：20,000 word embeddings : 100 次元 GRU(Cho et al. : 2014)を使用 入力と同じ文字列が出力される様に学習 2. Data ・the Cornell Movie-Dialogs Corpus：　500,000サンプル　 （バリデーションとテストに50,000サンプルずつ） ・The MS COCO：　600,000サンプル 8
9. A Quantitative and Automated Evaluation Metric 9 トピック内の単語対の平均単語距離を利用． Topic coherence ：自動評価手法(Newman et al. 2010) をベースとする トピック内の単語ではなく，文ベクトル内の次元でランキングし、上位を使用． 合わせて全非０次元を考慮した場合の比較として、ランダムな選定でも実験．
10. A Quantitative and Automated Evaluation Metric 類似度計算の手法 10 1. Jaccard Similarity 2. BoW Similarity 3. WMD Similarity The Word Mover’s Distance(Kusner et al. 2015) Word2Vevを利用したdocument distance measure
11. Results 1. Reconstruction Quality スパースになるにつれて結果が悪くなる 文法と関連したトピックというの面では上手く生成できている 11
12. Results 2. Highest-Ranked Samples 各ベクトルで上位となった値を使用 12
13. Results 3. Quantitative Evaluation 13
14. Results 4. Downstream Tasks SentEval framework (Conneau et al. : 2018)のMovie-Dialogsのみを用い実験 14
15. Discussion ・いい解釈性は取れたが，文の再構築では高いエラー ・スパース性が高いと 各文書の共通的な要素は得られるが，特徴的な情報が落ちてしまう ・分類タスクへの応用では性能が悪化 ・後処理とモデル内でのスパース化では，モデル内での処理の方が若干性能が良さそう スパースlayerで情報が落ち，高いLoss値となった モデルが複雑となるため，トレードオフな関係の様 Sparsemaxでスパース性kを固定しなくて良り，文の特徴に対して柔軟となった 15
16. Conclusion ・NNの中間表現は基本的に理解できないが，解釈性を得る事は重要 ・スパース化により情報が落ち，タスクでの精度は悪化 ・本論文のスパース化で文ベクトルの解釈性は増した ・評価手法では人間の直感的な理解に沿ったスコアになっている 他の類似度計算手法を用いることも出来，リーズナブル ・DLモデルを理解するヒントとなる可能性 16