Integrating Meaning into Quality Evaluation of Machine Translation Proceedings of EACL 2017, Vol. 1, Long Papers, pages 210-219. 1 文献紹介(2017/08/30) 自然言語処理研究室 稲岡 夢人

概要 ● 機械翻訳(MT)の品質はMTの出力と人間の 翻訳を比較して評価している ● 上のような評価は形式に関連した特徴 （語彙や文法）に依存し意味の伝達は無視 ● 意味に関連する特徴と他の評価指標を組み合 わせて人手評価を予測 2

既存手法の問題点 ● MTはよく意味を保持しない翻訳を行う ● BLEU, METEORはMTによる意味の変化を 直接考慮して評価していない 3

自動評価と人手評価の差 人手評価で最低の評価となった4文 1. badlyが消えて意味が失われている 2. 否定文が肯定文になっている 3. 不確かな情報を生成している 4. 形式が異なっている 4

自動評価と人手評価の差 ● MTの評価では主に語彙や文法に焦点を当て ている ● 下のような出力に高いスコアを与えやすい 5

本研究で行っていること ● 意味に関連する特徴が人手評価に影響を与 えるのかを調べる ● MTの評価における形式や意味に関連する特 徴を比較 ● 形式と意味に関連する特徴を組み合わせるこ とで既存の評価手法を改善できるか測定 6

意味に関連した特徴 ● Sentiment Polarity : 肯定, 否定的な感情 を持つか ● Subjectivity : 意見を表現するか ● Connotation : 文化, 感情的な連想 ● Negation : 肯定的記述を否定的に変化 ● Speculation : 確実性のレベルを表現 ● Readability : 文長, 音節数による可読性 ● Formality : 文が形式的であるか 7

個々の特徴が品質に与える影響 ● それぞれの特徴と人手評価の相関を調べる ● データセットはWMT15の目的言語が英語で あるものを使用 8

個々の特徴が品質に与える影響 9

個々の特徴が品質に与える影響 ● ベースラインより意味関連の特徴が上回る ● Formality-RBが最も相関の強い特徴 ● BLEU, METEOR, DPMFCombがそれより 強い相関を示す 10

複合の特徴が品質に与える影響 ● 意味に関する特徴を全て用いて利用 ● 意味に関する特徴全てとBLEU, METEOR, DPMFCombを組み合わせて利用 ● 上のアンサンブルシステムの構築には RandomForestと呼ばれる手法を用いる 11

複合の特徴が品質に与える影響 12

複合の特徴が品質に与える影響 ● 意味に関連する特徴を複合したものは BLEUより優れている ● それをBLEU, METEOR, DPMFcombと 組み合わせるとさらに性能が向上 ● 従来の評価手法がこれらの特徴を 補足できていないことを意味している 13

結論 ● 人手評価によって高評価なMTシステムは 意味に関連した特徴を保持する ● 意味に関連した特徴を用いた評価は 人手評価と高い相関を示す ● 既存の評価手法と組み合わせることで より正確に人手評価を予測できる 14