$30 off During Our Annual Pro Sale. View Details »

文献紹介_201910_Do Neural NLP Models Know Numbers? Probing Numeracy in Embeddings

T.Tada
October 28, 2019

文献紹介_201910_Do Neural NLP Models Know Numbers? Probing Numeracy in Embeddings

T.Tada

October 28, 2019
Tweet

More Decks by T.Tada

Other Decks in Technology

Transcript

  1. - 文献紹介 2019 Oct. 28 - Do Neural NLP Models

    Know Numbers? Probing Numeracy in Embeddings 長岡技術科学大学
 自然言語処理研究室
 多田太郎

  2. About the paper 2 Authors: Conference:    EMNLP2019 (https://arxiv.org/abs/1909.07940)

  3. Abstract ・複雑な推論タスクでは、数字を理解して扱うことが重要 ・現在、ほとんどのNLPモデルは、テキスト内の数値を他のトークンと同じ方法で処理 ・数値推論が含まれるタスクのSOTAモデルを検証 →数値をどう扱うのが良いのか調査 3

  4. Introduction ・既存のモデルは複雑な推論を行なうことができない(特に数値) ・最近のいくつかのデータ・セットには数値の比較やソート等を必要とする例が含まれる ・最初のステップとして数値の大小関係を理解する必要がある  ex. 「23」が「twenty-two」より大きい値を表すこと ・既存のニューラルモデルがどのくらい、どのように数値について学習しているか調査 4

  5. Numeracy Case Study: DROP QA 5 数値推論を必要とするタスクを用いて既存モデルを検証 ・DROP Dataset: カウント、ソート、加算などの数値推論が含まれる

    ・モデル: NAQANet (Dua et al., 2019)  ※DROPのSOTAモデル 数値の大きさや、明示的な比較を実行するための補助コンポーネントは含まれていない 計算能力を必要とする質問、比較の質問と最上級を答える質問に焦点を当てる
  6. Numeracy Case Study: DROP QA 6 DROP Datasetの一例

  7. Numeracy Case Study: DROP QA 7 比較および最上級の質問  大小関係、どちらかなど(DROP Dataset のvalidation

    set をフィルタリングし使用)
  8. Numeracy Case Study: DROP QA 8 さっきの例だと、、、 Which player had

    a touchdown longer than 20 yards? (1)すべてのタッチダウン距離を抽出 (2)20ヤード超え (3)タッチダウンしたプレーヤー 複数の手順が必要となるタスクで精度低  →タスク自体が難しい
  9. Numeracy Case Study: DROP QA 9 NAQANetによって正しく回答された例(最上級の質問) 結構出来てる!!

  10. Numeracy Case Study: DROP QA 10 どこまで出来るのか?ストレステスト ・大きい数値:  正のランダムな整数を生成し、その値を各パラグラフの数値に乗算または加算 ・単語形式:

     パラグラフ内のすべての数字を置き換え(例:「75」→「seventy-five」)  DROP内の数値は小さいため、範囲[0, 100]の整数の単語置換で実施
  11. Numeracy Case Study: DROP QA 11

  12. Numeracy Case Study: DROP QA 12 トレーニング範囲内の数値をよく理解している?(しかし範囲に依存?)

  13. Numeracy Case Study: DROP QA 13 NAQANetは、期待以上の数値推論機能を備えていた  →この精度を可能にするものは何か? 結果はモデルが以下2点を学習できることを示している  比較アルゴリズム

     質問と回答(教師データ)のみから数値の読み取りと理解 数値情報のソースはトークンの埋め込み  →つまりNAQANetモデルの文字レベルの畳み込みとGloVeの埋め込み  →これらの埋め込みについて調査
  14. Probing Numeracy of Embeddings 14 数について評価するために3つのタスクを実施

  15. Probing Numeracy of Embeddings 15 Training and Evaluation ・トレーニング範囲内の値での精度をみる ・最初に範囲を選択し(実験毎に範囲指定)、指定整数の範囲をシャッフル

    ・80%をトレーニングセット、20%をテストセットに分割
  16. Probing Numeracy of Embeddings 16 文字レベルの 精度高 BERTが大きい レンジで精度低 サブワード手法

    の影響? 数値の値がそ のまま埋め込み 表現の値    ↓ 大きいレンジだ と精度低
  17. Probing Numeracy of Embeddings 17 Pre-trainedで 精度高

  18. Probing Numeracy of Embeddings 18

  19. Probing Numeracy of Embeddings 19 BERTの結果が低い  →sub-word piece による影響の可能性あり word2vecとGloVeは、OOVがあるため、

    浮動小数点ではテストしない
  20. Probing Numeracy of Embeddings 20 NAQANet の実験でトレーニング範囲外の値に苦労している結果がみられた  →NAQANet 特性か、一般的な問題か? トレーニングの範囲外の値に対して実験を行い検証

    冒頭のNAQANetでの 実験結果の解析
  21. Probing Numeracy of Embeddings 21 トレーニングの範囲外の値でList Maximum トレーニング: [0,150] テスト:

    [151,160], [151,180], [151,200] 全ての手法で、精度が下がる結果 特にトークンベクトルで大きく下がった
  22. Probing Numeracy of Embeddings 22 トレーニングの範囲外の値でDecoding と Addition トレーニング:[-500,500](青) テスト:[2000、2000](赤)

    どの埋め込み方法も範囲外の 値には対応出来ず
  23. Probing Numeracy of Embeddings 23 トレーニングの範囲外の値でDecoding と Addition トレーニング:[-500,500](青) テスト:[2000、2000](赤)

    どの埋め込み方法も範囲外の 値には対応出来ず Trask et al. (2018) でもモデルがトレーニング範囲外の値への対応が難しいこと に触れている  →彼らはニューラルモデル自体に起因すると考察している
  24. Probing Numeracy of Embeddings 24 範囲外の値を補う疑似データ トレーニングデータの例を複製し、冒頭の実験で行なった加算および乗算の手法を使用

  25. Conclusion 25 ・DROPデータ・セットを用いて既存モデルの数字の学習について調査  (DROPのSOTAモデルと各種分散表現モデル) ・Pretrained Embeddingsが自然に数値(単語→数字)をエンコードすることを確認 ・トレーニングデータ外の値をニューラルモデルで推定することは困難