Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Quantity doesn’t buy quality syntax with ...

Avatar for Yumeto Inaoka Yumeto Inaoka
February 21, 2020

文献紹介: Quantity doesn’t buy quality syntax with neural language models

2020/02/21の文献紹介で発表

Avatar for Yumeto Inaoka

Yumeto Inaoka

February 21, 2020
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Quantity doesn’t buy quality syntax with neural language models 文献紹介

    2020/02/21 長岡技術科学大学 自然言語処理研究室 稲岡 夢人 1
  2. Literature Title: Quantity doesn’t buy quality syntax with neural language

    models Authors: Marten van Schijndel, Aaron Mueller, Tal Linzen Volume: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Pages: 5831–5837 Year: 2019 Publisher: Association for Computational Linguistics 2
  3. 訓練する言語モデルの構造 • 2つのLSTM層を持つRNN • 100, 200, 400, 800, 1600次元の隠れ層を設定 •

    入力と出力の埋め込みの重みを同じにする → 入力の埋め込みと隠れ層は同じ次元 9 実験
  4. 評価データ • データセットはMarvin and Linzen challenge set • 導入で説明したテストで評価 •

    動詞をis/are, was/were, has/haveに置換 ← 小さなコーパスで訓練されたモデルの比較のため 14 評価
  5. ベイズ因子 • L個のモデル ( = 1, … )を比較する場合を考える • モデルは観測されたデータ上の確率分布

    • モデルの事後分布は ∝ • はデータから見たモデルの好み (エビデンス) 16 評価 [参考] パターン認識と機械学習上: ベイズ理論による統計的予測
  6. ベイズ因子 • モデルの事後分布から予測分布は以下で与えられる , ) = � =1 , ,

    • 一番もっともらしいモデルを1つ選ぶモデル選択は 上混合分布の単純な近似である • エビデンスの比 / )をベイズ因子と呼ぶ 17 評価 [参考] パターン認識と機械学習上: ベイズ理論による統計的予測