Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation

文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation

2017/08/30の文献紹介で発表

Yumeto Inaoka

August 30, 2017
Tweet

More Decks by Yumeto Inaoka

Other Decks in Technology

Transcript

  1. Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of

    EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人
  2. 概要 • 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している • 上のような評価は形式に関連した特徴 (語彙や文法)に依存し意味の伝達は無視 • 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測

    2
  3. 既存手法の問題点 • MTはよく意味を保持しない翻訳を行う • BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3

  4. 自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている

    4
  5. 自動評価と人手評価の差 • MTの評価では主に語彙や文法に焦点を当て ている • 下のような出力に高いスコアを与えやすい 5

  6. 本研究で行っていること • 意味に関連する特徴が人手評価に影響を与 えるのかを調べる • MTの評価における形式や意味に関連する特 徴を比較 • 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定

    6
  7. 意味に関連した特徴 • Sentiment Polarity : 肯定, 否定的な感情 を持つか • Subjectivity

    : 意見を表現するか • Connotation : 文化, 感情的な連想 • Negation : 肯定的記述を否定的に変化 • Speculation : 確実性のレベルを表現 • Readability : 文長, 音節数による可読性 • Formality : 文が形式的であるか 7
  8. 個々の特徴が品質に与える影響 • それぞれの特徴と人手評価の相関を調べる • データセットはWMT15の目的言語が英語で あるものを使用 8

  9. 個々の特徴が品質に与える影響 9

  10. 個々の特徴が品質に与える影響 • ベースラインより意味関連の特徴が上回る • Formality-RBが最も相関の強い特徴 • BLEU, METEOR, DPMFCombがそれより 強い相関を示す

    10
  11. 複合の特徴が品質に与える影響 • 意味に関する特徴を全て用いて利用 • 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 • 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる

    11
  12. 複合の特徴が品質に与える影響 12

  13. 複合の特徴が品質に与える影響 • 意味に関連する特徴を複合したものは BLEUより優れている • それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 •

    従来の評価手法がこれらの特徴を 補足できていないことを意味している 13
  14. 結論 • 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する • 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す • 既存の評価手法と組み合わせることで より正確に人手評価を予測できる

    14