文献紹介: Integrating Meaning into Quality Evaluation of Machine Translation

2017/08/30の文献紹介で発表

Transcript

1. Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人
2. 概要 • 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している • 上のような評価は形式に関連した特徴 （語彙や文法）に依存し意味の伝達は無視 • 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測 2
3. 既存手法の問題点 • MTはよく意味を保持しない翻訳を行う • BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3
4. 自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている 4
5. 自動評価と人手評価の差 • MTの評価では主に語彙や文法に焦点を当て ている • 下のような出力に高いスコアを与えやすい 5
6. 本研究で行っていること • 意味に関連する特徴が人手評価に影響を与 えるのかを調べる • MTの評価における形式や意味に関連する特 徴を比較 • 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定 6
7. 意味に関連した特徴 • Sentiment Polarity : 肯定, 否定的な感情 を持つか • Subjectivity : 意見を表現するか • Connotation : 文化, 感情的な連想 • Negation : 肯定的記述を否定的に変化 • Speculation : 確実性のレベルを表現 • Readability : 文長, 音節数による可読性 • Formality : 文が形式的であるか 7
8. 個々の特徴が品質に与える影響 • それぞれの特徴と人手評価の相関を調べる • データセットはWMT15の目的言語が英語で あるものを使用 8
9. 個々の特徴が品質に与える影響 9
10. 個々の特徴が品質に与える影響 • ベースラインより意味関連の特徴が上回る • Formality-RBが最も相関の強い特徴 • BLEU, METEOR, DPMFCombがそれより 強い相関を示す 10
11. 複合の特徴が品質に与える影響 • 意味に関する特徴を全て用いて利用 • 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 • 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる 11
12. 複合の特徴が品質に与える影響 12
13. 複合の特徴が品質に与える影響 • 意味に関連する特徴を複合したものは BLEUより優れている • それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 • 従来の評価手法がこれらの特徴を 補足できていないことを意味している 13
14. 結論 • 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する • 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す • 既存の評価手法と組み合わせることで より正確に人手評価を予測できる 14