Slide 35
Slide 35 text
• 報酬として用いられる評価指標
• 例:BLEUスコア
• n-gram(連続するn単語の組)単位でのprecisionをベースとした指標
34
強化学習によるfine-tune
n-gram precisionの計算例(n=2の場合)
正解文:A herd of zebras grazing with a rainbow behind.
生成文:Some zebras are standing with a rainbow behind.
2-gramの抽出
正解文:["A herd", "herd of", "of zebras", "zebras grazing", "grazing with", "with a", "a rainbow", "rainbow behind"]
生成文:["Some zebras", "zebras are", "are standing", "standing with", "with a", "a rainbow", "rainbow behind"]
一致する2-gram:[“with a”, “a rainbow”, “rainbow behind”] の3つ
n-gram precision = (一致するn-gram数)/ (生成文の全n-gram数) = 3 / 7 ≒ 0.43
※ BLEUスコアを計算する際は,文章長に基づくペナルティ項など,さらにいくつかの処理が行われる
Papineni et al.
“
BLEU: a method for automatic evaluation of machine translation
”
ACL 2002.