対話システムライブコンペ6

対話システムライブコンペ6で発表した際の資料です。
コンペHP：https://sites.google.com/view/dslc6

Transcript

1. 第三者ペルソナを⽤いた マルチモーダル対話システム 電気通信⼤学 稲葉研究室 朝原 隆太朗 ⼩野 関宏⼰ ⻫ 志揚 ⾦⼦ 拓正 秋⼭ ⼀⾺ 上原 隆⼀ 樋⼝ 智哉 稲葉 通将
2. The University of Electro-Communications 問題とアプローチ I • システムは3つの観点において⼀貫性を 保つ必要がある • シズカの趣味嗜好や習慣，価値観などの 個⼈的な情報 • ユウキとの関係性（⼝調や態度など） • ⼩林先⽣に関する個⼈的な情報 2 システムと⼩林先⽣の背景情報を 考慮したシステムを構築
3. The University of Electro-Communications 問題とアプローチ II • 対話内容に合わせたモーション・韻律調整 • ⼈間に近い態度 3 システム発話にあったモーション・韻律調整， フィラーによる⾃然さの向上
4. The University of Electro-Communications 提案⼿法- 概要図 4 Interface Input Output [ ]
5. The University of Electro-Communications 提案⼿法 - 概要図 5 Interface Input Output [ ]
6. The University of Electro-Communications 提案⼿法 - プロンプト概要I • 応答⽣成のためにChatGPTを採⽤ • モデルは応答速度を考慮し，GPT3.5を⽤いた • プロンプト構成 • タスク指⽰ • システムペルソナ • 第三者（⼩林先⽣）ペルソナ • 対話戦略 • Few-shotサンプル 6
7. The University of Electro-Communications • システムへの指⽰をタスクとして定義 • 全体的なシチュエーションや指⽰を記述 • 参照すべき情報をかっこで指⽰ 7 提案⼿法 - タスク指⽰
8. The University of Electro-Communications 提案⼿法 - システムのペルソナI • 対話システムに⼀貫性を持たせるために ペルソナが有効[Zhang+ ACL2018] • 既存研究で⽤いられるペルソナでは，定義 された性格・価値観を⽤いた複雑な推論は困難 • 今回のシチュエーションに合わせたペルソナを 定義 趣味・嗜好，習慣，職業， 性格，価値観など 通常のペルソナ シチュエーションに合った 価値観や性格 本システムのペルソナ 8
9. The University of Electro-Communications 提案⼿法 - システムのペルソナII 9 • 歓迎会の規模に対する価値観などを定義 • 友⼈関係 → 敬語を使うのは不⾃然 • ⼝調の⼀貫性のため，⼝調を含んだペルソナ
10. The University of Electro-Communications 提案⼿法 - 第三者のペルソナI • パーソナライズのため，ユーザのペルソナを ⽤いる研究も存在[Liu+ ACL2020] • 本コンペのシチュエーションにおいて， ユーザにパーソナライズする必要はない • ⼩林先⽣のペルソナがあれば • 歓迎会の計画や⼩林先⽣へのプレゼントについて ⼀貫した議論 • ⼩林先⽣の情報に関する⽭盾を軽減 年齢・誕⽣⽇，趣味嗜好，習慣，価値観など ⼩林先⽣のペルソナ 10
11. The University of Electro-Communications 提案⼿法 - 第三者のペルソナII • 第三者（⼩林先⽣）のペルソナを定義 • 予備実験では第三者ペルソナにセリフを 定義すると，システム発話の⼝調が不安定に • 第三者ペルソナは⼩林先⽣のプロフィールのみ を箇条書きで定義 11
12. The University of Electro-Communications • ユーザに連続で質問をして，積極的には提案を しないことを多く観測 • 【歓迎会のアイデア】として知識を与えること でこの問題を緩和 12 提案⼿法 - 対話戦略
13. The University of Electro-Communications 提案⼿法 - Few-shot I • ⼝調の⼀貫性や対話の安定化のためにFew-shot サンプルを作成 14
14. The University of Electro-Communications 提案⼿法 - Few-shot II • 歓迎会の計画が決まったら雑談をするように Few-shotサンプルを作成 • 2⼈とも映画サークルであることから，話題は 映画を採⽤ 15
15. The University of Electro-Communications 提案⼿法 - プロンプトI 16 # タスク あなたはシズカで，⼤学２年⽣です． ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です． ユウキとシズカは20歳で同い年です． 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように，妥協しつつユウキと⼀緒に企画を⽴ててください． また，敬語や丁寧な⼝調は絶対に使わないでください． 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・
16. The University of Electro-Communications 提案⼿法 - プロンプトI 17 # タスク あなたはシズカで，⼤学２年⽣です． ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です． ユウキとシズカは20歳で同い年です． 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように，妥協しつつユウキと⼀緒に企画を⽴ててください． また，敬語や丁寧な⼝調は絶対に使わないでください． 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ タスク指⽰
17. The University of Electro-Communications 提案⼿法 - プロンプトI 18 # タスク あなたはシズカで，⼤学２年⽣です． ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です． ユウキとシズカは20歳で同い年です． 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように，妥協しつつユウキと⼀緒に企画を⽴ててください． また，敬語や丁寧な⼝調は絶対に使わないでください． 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ システムのペルソナ
18. The University of Electro-Communications 提案⼿法 - プロンプトI 19 # タスク あなたはシズカで，⼤学２年⽣です． ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です． ユウキとシズカは20歳で同い年です． 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように，妥協しつつユウキと⼀緒に企画を⽴ててください． また，敬語や丁寧な⼝調は絶対に使わないでください． 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ 第三者（⼩林先⽣）ペルソナ
19. The University of Electro-Communications 提案⼿法 - プロンプトI 20 # タスク あなたはシズカで，⼤学２年⽣です． ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です． ユウキとシズカは20歳で同い年です． 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように，妥協しつつユウキと⼀緒に企画を⽴ててください． また，敬語や丁寧な⼝調は絶対に使わないでください． 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ 対話戦略
20. The University of Electro-Communications 提案⼿法 - プロンプトII 21 # 対話例1 （中略） # 対話例4 （中略） # 対話開始 ユウキ：そろそろ準備しないとね シズカ：そうだね．[賛成]まずは会場から決めていこう！[提案]せっかく顧問を引き受けてくれ たから盛⼤にしたいよね[提案] （続き） Few-shotサンプル
21. The University of Electro-Communications 提案⼿法 - プロンプトII 22 # 対話例1 （中略） # 対話例4 （中略） # 対話開始 ユウキ：そろそろ準備しないとね シズカ：そうだね．[賛成]まずは会場から決めていこう！[提案]せっかく顧問を引き受けてくれ たから盛⼤にしたいよね[提案] （続き） 対話履歴 この対話履歴にユーザやシステム発話を 追加していくことで⽂脈を考慮
22. The University of Electro-Communications 提案⼿法 - 概要図 23 Interface Input Output [ ]
23. The University of Electro-Communications 提案⼿法 - 対話⾏為タグI • システム発話と共に対話⾏為タグを⽣成 • 同時に⽣成することで応答速度を向上 • ⽣成した対話⾏為タグから確率的に モーション及び韻律を決定 24
24. The University of Electro-Communications 提案⼿法 - 対話⾏為タグII • 表現の⾼度化のため，対話⾏為タグは 1⽂につき1つ付与 • つまり，1回の応答⽣成で複数⽂と複数タグを⽣成 • 対話⾏為タグに基づき，各⽂ごとにモーション の決定および韻律調整を⾏う 25 [ ] Output
25. The University of Electro-Communications 提案⼿法 - モーションの決定 • 対話⾏為タグに対応するモーションを 候補(1-3)から確率的に選択 • 各確率は予備実験によって決定 26
26. The University of Electro-Communications 提案⼿法 - ⾳声の決定 • ⾳量，ピッチ，速度などを⼿動で調整 • 韻律調整器に⼊⼒することで韻律調整のための タグを付与 • フィラー • 対話システムにおいて，フィラーはユーザの満⾜度 を向上させることが分かっている [Cohn+ SIGDIAL2019] • ネガティブタグの場合，0.2-0.7の確率でフィラーを 挿⼊ 27
27. The University of Electro-Communications 予選 - 結果 • 最終スコア：3.48 • ⽂脈に沿った発話内容かどうか ：3.59 • ⽂脈に沿ったジェス チャー・表情を表出できてい るかどうか： 3.38 • ⽂ 脈に沿った間や⾳声の強弱を⽤いて発話できて いるかどうか ：3.48 • 合計評価で67.3%が ⾼評価(4-5) 29
28. The University of Electro-Communications 予選- 結果 • 最終スコア：3.48 • ⽂脈に沿った発話内容かどうか ：3.59 • ⽂脈に沿ったジェス チャー・表情を表出できてい るかどうか： 3.38 • ⽂ 脈に沿った間や⾳声の強弱を⽤いて発話できて いるかどうか ：3.48 • 合計評価で67.3%が ⾼評価(4-5) 30
29. The University of Electro-Communications 予選 - 評価者の感想I 31 • ポジティブな意⾒ • 発話内容やジェスチャーが⾃然で，会話が 楽しかった • 歓迎会の話をした後の雑談が楽しかった • 映画に関する雑談で盛り上がれた • システムが⾊々提案してくれた
30. The University of Electro-Communications 予選 - 評価の⾼い対話例 32 ・・・ U:名前⼊り万年筆は喜ぶだろうね いい先⽣だわ S:そうだよね！⼩林先⽣は優しい先⽣だからきっと喜んでくれると思うよ じゃあ名 前⼊りの万年筆にしよう！ うーんと 万年筆に関してはユウキに任せても⼤丈夫 かな？ ・・・ U:でも5万とか10万とかしちゃったらどうする それはさすがにできない S:それは確かに⾼いかもしれないね そしたら予算を決めておこうか 予算は1万円以 内にしようか それなら万年筆でもおしゃれなものが買えると思うよ あー ユウキ はどう思う？ U:1万円も⾼いなあの プレゼントは S:確かに1万円は⾼いかもしれないね じゃあ予算は5000円にしようか それならそれ なりにいいものが買えると思うよ ユウキはどう思う？ U:じゃあ 5000円ぐらいで買おう ・・・
31. The University of Electro-Communications 予選 - 評価者の感想II • ネガティブな意⾒ • 対話が強引 • 感情（声のトーンなど）の浮き沈みが激しい • 原因 • Few-shotサンプルの多様性が低い • 対話⾏為タグから韻律調整を⾏っているため， Neg./Pos.のピッチ差が⼤きい 33 感想[発話，モーション，⾳声] 急に声⾊が暗くなったり、明るくなったり、⼀貫性がな かった。仕草も少し不⾃然だった。[4,2,3] システムが⽤意していない回答をすると、システムがし たい話題を強引にしてくる気がします。[2,3,4]
32. The University of Electro-Communications 予選 - 改善案 • 対話が強引 • Few-shotサンプルの多様性を増やし， 様々なシチュエーションに対応可能にする • 感情の浮き沈みが激しい • 対話⾏為タグの詳細化 • 例：[否定]→[弱い否定]，[強い否定] • 1つ前および後の対話⾏為タグを考慮した ピッチの⾃動調整 34
33. The University of Electro-Communications • 第三者のペルソナという概念によって，⼀貫性 のある対話システムの構築を試みた • 5段階のリッカート尺度で3.48というスコアで 予選通過 • 評価者の感想から得られた改善案を基に，より ⼈間らしいマルチモーダル対話システムの構築 に取り組む 35 まとめ