文献紹介:Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References

長岡技術科学大学
自然言語処理研究室
鈴木脩右

Transcript

1. 文献紹介 Investigating Evaluation of Open-Domain Dialogue Systems With Human Generated Multiple References 鈴木脩右 2020/02/13 長岡技術科学大学 自然言語処理研究室 1
2. 文献情報 [1] Prakhar Gupta, Shikib Mehri, Tiancheng Zhao, Amy Pavel, Maxine Eskenazi, and Jeffrey Bigham. Investigating evaluation of open-domain dialogue systems with human generated multiple references. In Proceedings of the 20th Annual SIGdial Meeting on Discourse and Dialogue, pages 379–391, Stockholm, Sweden, September 2019. Association for Computational Linguistics. 2
3. Abstract • オープンドメインの対話システムの評価手法に関する研究 • 複数の参照文を用いるアプローチ • DailyDialog のテストセットに複数の参照文を追加 • 複数参照評価は品質と多様性の両方で人手評価と高い相関 • 参照応答の数による相関の影響調査 • オープンドメインの複数参照テストセットを構築，公開 3
4. Introduction • 対話システムの評価は，単一参照が主流 • 妥当な応答が一つとは限らない • 単一参照評価は人手評価との相関が低い • 複数参照評価のメリット • より堅牢な品質評価 • 多様性の測定 4
5. Proposed -Quality- • 出力に最も近い参照応答を用いてスコアリング • • コンテキスト c の複数参照応答 R，モデルの出力 y 5
6. Proposed -Diversity- • recall で評価 • • モデルの複数出力 Y 6
7. Metrics • Word-overlap based metrics • BLEU - n-gram の重複に基づく • METEOR - F 値に単語の非連続性に対するペナルティを付与 • ROUGE-L - 一致する最大のシーケンスに基づく F 値 • Embedding based metrics • Embedding Average - 単語ベクトル平均 • Vector Extrema - 単語ベクトルの極値を利用 • Greedy Matching - 各単語の cos 類似度に基づく一致スコアの平均 • Skip-Thought - 事前学習された RNN ベースの文ベクトル • GenSen - マルチタスクで学習した Seq2Seq ベースの文ベクトル 7
8. Compared Models • Human - 人が作成した文 • Dual Encoder - 用例ベース．応答候補はトレーニングデータ • Seq2Seq - 生成ベース．LSTM+Attention で構成 • HRED - 生成ベース. 階層構造の Encoder を利用 • CVAE - 生成ベース．HRED に CVAE を組み込んだもの． 8
9. Data collection Procedure • Amazon Mechanical Turk(AMT) で収集 • ワーカーは一つの対話に 4 つの多様な応答を付与 • 短文・短時間で入力された応答を除外 9
10. Data Quality • ワーカーによる評価 • ワーカーには元の応答，収集した応答，無関係な応答が与 えられる • 各応答を 1-5 のスケールで評価 Table 1: Results from dataset quality experiment[1] 10
11. Experiment • 人手評価と自動評価との相関を見る • ランダムな 100 個のコンテキストに対する応答をワーカー が評価 • Quality:ワーカー 5名，スケール 5段階，平均κスコアは 0.43 • Diversity:ワーカー 3 名，適切な応答に絞り多様性のスコア をつける，平均κスコアは 0.41 11
12. Results -Quality 1- • 全てのメトリックで複数参照の方が相関が高い Table 2: Correlation of various metrics when evaluated using single-reference and multi-reference test sets.[1] 12
13. Results -Quality 2- Figure 1: System level correlations.[1] 13
14. Results -Diversity- • Distinct,Self BLEU は語彙のユニークさしか評価していない Table 3: Correlation scores for diversity metrics.[1] 14
15. Effect of number of references • 3-5 個では急激に増加 • 8 個あたりからは横ばい Figure 2: Change in correlation with varying number of references.[1] 15
16. Conclusion • 複数の参照文を追加し，それを用いた評価手法を提案 • 複数参照評価は品質と多様性の両方で人手評価と高い相関 • 参照応答の数による相関の影響調査 • 対話コンテキストに応じて，参照応答の個数は可変である べき 16