2019/09/27の文献紹介で発表
Beyond BLEU:Training Neural Machine Translationwith Semantic Similarity文献紹介 2019/09/27 長岡技術科学大学 自然言語処理研究室 稲岡 夢人
View Slide
Literature2
Abstract● 近年の研究では を明示的に最大化させるようにシステムを最適化させている← は部分点を与えず、意味類似性を考慮しない● システムを最適化するための報酬関数を提案→ 、意味的類似性、人手評価が向上3
Introduction● では自動評価指標を明示的に最大化するよう学習させるのが一般的（例えば ）● 学習基準に を用いるのには問題がある○ 意味が類似していても単語が違えばペナルティ○ 部分点がないため学習で山登りが出来ない4
Proposed method● の報酬として意味的類似性の尺度 を導入● 意味類似性、部分点の問題に対応● より重要な意味を持つ単語を正確に翻訳できる5
Semantic Textual Similarity● では文の意味的類似度を出す必要がある● 今回は の研究である を用いる○ 逆翻訳で生成した言い換えペアのデータセット○ 言い換えモデルから文の分散表現を獲得6
STS model● ベースは と同じ● 文埋め込みは の平均● 文類似度は つの文埋め込みのコサイン類似度7
Length Penalty● 前述の方法では長い文の生成を妨げるものがない→ 長い文にペナルティを与える必要がある● の を基にして、長さが異なるときにペナルティが加わるようにする8
SIMILE● と を用いて を定義● の影響を小さくする α ことでわずかに改善9
Motivation● 意味類似度タスクとして各指標を評価● よりも高い10
Motivation● と を機械翻訳指標として比較● で人手評価との相関を計算11
Motivation● 意味類似度タスクと翻訳評価で傾向が異なるや は流暢性も捕捉する指標であるため12
Machine Translation model● 学習手順は と同じ● モデルは● 他パラメータは論文を参照13
Objective Functions● 基本は と同じ● コストには または を用いる● は全ての に を加えてスムージング14
Experiments● チェコ語 ドイツ語 ロシア語 トルコ語から英語 への翻訳で評価● 以外は を として学習と の を使用● は を として学習には と の との を使用● は を使用15
Automatic Evaluation● 以下の目的関数で実験○○○○ −● と で評価16
Results (AE)● の両方で が最高性能● の評価においてもコストは のほうが高性能17
Human Evaluation● コストに と を使った時を人手評価で比較● コストを変化させた時に出力が変化するものの内、～ トークンのものからランダムに 文を抽出● 参照文の持つ情報を出力文が伝えているかどうか、～ のスコアを付与18
Results (HE)● が 以外で最も高いスコアは も最低● 翻訳品質が低すぎるとは効果的でないという仮説19
Quantitative Analysis● が最も高い の で分析○ 部分点○○○● 今回は と の結果のみ紹介する20
Partial Credit (cost dist.)● の分布は歪んでおりコストが大きい→ 学習時の情報が少ない21
Lexical F1● 翻訳のどこが改善するかを頻度と品詞別に分析22
Lexical F1 (Frequency)● 低頻度単語の生成をより助ける23
Lexical F1 (POS)● 名詞、固有名詞、数字といった文の意味への影響が大きな品詞でより貢献している24
Conclusion● 報酬として に変わる を提案● が自動評価で より優れており、人手評価との相関も高い● 意味的に重要な単語への貢献が大きい25
yumeto
morishtr
yuchn
ept
yuukicammy
miyuoba
mi141
takehaya
tatsuropianooo
unzaih
kuehara
ftsrg
bryan
morganepeng
revolveconf
zenorocha
eileencodes
michaelherold
orderedlist
chriscoyier
denniskardys
jacobian
swwweet
sferik