文献紹介:Multi-Task Deep Neural Networks for Natural Language Understanding

長岡技術科学大学
自然言語処理研究室
鈴木脩右
第６回B3ゼミ発表資料

Transcript

1. Multi-Task Deep Neural Networks for Natural Language Understanding 鈴木脩右 2019/2/14 長岡技術科学大学 自然言語処理研究室 1
2. 目次 概要 背景 MT-DNN モデル 実験タスク 実験結果 まとめ 2
3. 概要
4. 概要 • MT-DNN(Multi-Task Deep Neural Network) というモデルを 提案 • 複数の言語理解 (NLU) タスクにわたり，言語表現を学習 • 10 個の NLU タスクで SotA を達成 • 少ないトレーニングデータで高い精度を示した 3
5. 背景
6. 背景 • NLU タスクには 2 つのアプローチがある • Multi-Task Learning (MTL) • Laguage Model Pre-traning • MT-DNN は両方の強みを併せることを目指した 4
7. Multi-Task Learning (MTL) • 別のタスクで得た知識を他のタスクにも利用 • 多くの関連タスクから教師データを効果的に活用できる • 学習した言語表現をタスク全体で普遍的に用いることがで きる 5
8. Laguage Model Pre-traning • 教師なしデータで言語表現を事前学習 • モデルの微調整をし，追加学習することで別タスクに適用 できる • 例として，BERT，ELMo が挙げられる 6
9. MT-DNNモデル
10. MT-DNNモデル Figure 1: Architecture of the MT-DNN model for representation learning.[1] 7
11. 実験タスク
12. 実験タスク i 1. Single-Sentence Classification 1 つの文で判定するタスク 2. Text Similarity 2 つの文が表す感情が類似しているか判定するタスク 3. Pairwise Text Classification 2 つの文の含意や，意味が一致するか判定するタスク 4. Relevance Ranking 質問応答タスク 8
13. 実験タスク ii Table 1: Summary of the three benchmarks: GLUE, SNLI and SciTail.[1] 9
14. 実験結果
15. 実験結果 i Table 2: GLUE test set results, which are scored by the GLUE evaluation server.[1] 10
16. 実験結果 ii Table 3: Results on the SNLI and SciTail dataset.[1] 11
17. 実験結果 iii Figure 2: Domain adaption results on SNLI and Sci-Tail.[1] Table 4: Domain adaptation results on SNLI and Scitail.[1] 12
18. まとめ
19. まとめ • Multi-Task Learning (MTL) と Laguage Model Pre-traning を 組み合わせ，MT-DNN の言語表現を学習した • 幅広いタスクで高い成果を出した • MTL のモデル構造の理解を深めることで，MT-DNN を改善で きると考えられる 13
20. 参考文献 [1] Xiaodong Liu, Pengcheng He, Weizhu Chen, and Jianfeng Gao. Multi-Task Deep Neural Networks for Natural Language Understanding. arXiv:1901.11504 [cs], January 2019. 14