文献紹介(対話行為に固有の特徴を考慮した自由対話システムにおける対話行為推定)

長岡技術科学
自然言語処理研究室
鈴木脩右

文献情報
対話行為に固有の特徴を考慮した自由対話システムにおける対話行為推定
福岡 知隆 , 白井 清昭
自然言語処理 ,Vol.24,No.4,p.523-547,2017

※本スライドの図表は論文より引用しています

Transcript

1. 対話行為に固有の特徴を考慮した自由対話システムにおける対 話行為推定 福岡 知隆, 白井 清昭. 自然言語処理,Vol.24,No.4,p.523-547,2017 鈴木脩右 2019/1/30 長岡技術科学大学 自然言語処理研究室
2. 概要 • 対話行為の推定は自動対話システムにおいて重要な役割を果たす • 既存の機械学習による対話行為の推定手法では，個々の対話行為の特質を考慮さ れていない • 本提案手法では，対話行為毎に適切な特徴のセットを設定し，分類機に学習さ せる • 最終的に個々の分類器の判定結果ならびに判定の信頼度から, 適切な対話行為を 選択 • 提案手法はベースラインと比べて F 値が向上した 1
3. 背景 • 自由対話の継続には，対話システムが自然な応答をする必要がある → 話者の対話行為を正確に推測し, 適切な応答をすることが重要 • 機械学習による対話行為推定では基本的な特徴として単語 n-gram が利用される • 先行研究では, 特徴のセット 1 つで全ての対話行為を推定 → 特徴と対話行為の関係については議論されていない 2
4. 提案手法 • あらかじめ定義された対話行為の分 類クラスから最適なクラスを選択 • 対話行為に該当するか判定する二値 分類器を L2 正則化ロジスティック回 帰により学習 • 学習ツールは LIBLINEAR(Fan, Chang, Hsieh, Wang, and Lin 2008) • 対話行為毎に最適な特徴を実験的に決 め, 分類と同時に判定の信頼度も算出 • 対話行為の選択アルゴリズムには 4 つの手法を提案 (後述) Figure 1: 提案手法の流れ 3
5. 対話行為の定義 本研究では，対話行為を独自に定義した 9 つの対話行為セットを用いる Table 1: 対話行為の定義 4
6. 機械学習に用いる特徴 4 グループに分類 • グループ 1 f1〜 f10 発話の内容, 全ての対話行為の分類に有効な特徴 • グループ 2 f11〜 f17 発話の内容, 特定の対話行為の推定に有効な特徴 • グループ 3 f18〜 f21 発話の内容以外の情報, 全ての対話行為の分類に有効な特徴 • グループ 4 f22〜 f28 発話の内容以外の情報, 特定の対話行為の推定に有効な特徴 Table 2: 対話行為推定のための特徴 5
7. 特徴セットの最適化 • 個々の対話行為に対し，分類に有効でない特徴を削除する • 対話行為毎に, 開発データでの F 値が最大となる対話行為列 Nh(= 1, 2, 3, 4, 5) を 選択する • Nh の値が大きいときには特徴量の数が増えるため, 特徴量を選択 • 最も有効な特徴の特徴量とそれ以外の特徴量の組のみを組み合わせ特徴量とし， 導入 6
8. 対話行為の選択 • 判定の信頼度による選択 (Prop ) -二値分類器が出力する信頼度が最も高い対話行為を選択 • 信頼度を特徴量とする機械学習による手法 (Prom ) -二値分類器の出力結果を特徴量とし, 対話行為を選択するモデルを機械学習する • 信頼度に対する重み付けに基づく手法 (Prow ) -信頼度の不均衡を是正するため重み付けを行う • 特定の対話行為の組に対して機械学習で識別する手法 (Prob ) -識別が難しい対話行為の組に対する分類器を機械学習する 7
9. 実験データ • 対話コーパスとして, 名大会話コーパス ( 国立国語研究所 2001) を使用 • コーパスの中から参加者が二名の対話のみを選択し, 各発話に対し対話行為タグ を人手で付与した • 97 対話 (91,906 発話) を 77 対話 (74,228 発話) を訓練データ, 10 対話 (8,984 発話) を開発データ, 10 対話 ( 8,694 発話) をテストデータに分割 Table 3: 実験データにおける対話行為の出現頻度の分布 8
10. 特徴セットの最適化結果 対話行為毎に有効な特徴が大きく異なる 前の相手の発話内容は有効な特徴ではない Table 4: 対話行為の分類に最も有効な特徴 9
11. 対話行為推定の評価 各対話行為の推定の精度, 再現率, F 値, ならびにこれら 3 つの全対話行為についての マクロ平均とマイクロ平均で評価 特定の対話行為の組に対して機械学習で識別する手法 (Prob ) が最も結果が良かった BLs と (Prob ) をマクネマー検定で検定したところ, 5% の有意水準で有意差があった Table 5: 対話行為推定タスクの結果 10
12. まとめ • 本論文では, 自由対話における発話の対話行為を自動推定する新しい手法を提案 • 有効な特徴のセットは対話行為によって異なることを実験的に確認 • 提案手法は既存の手法に比べて統計的に有意な差があることを確認 • 対話行為毎に特徴の最適化を行う提案手法のアプローチが有望 • 今後の課題は， 「フィラー」 「確認」 「要求」に対する精度の向上 11