Share
Embed
対話システムライブコンペ6
対話システムライブコンペ6で発表した際の資料です。
コンペHP:https://sites.google.com/view/dslc6
Ryutaro Asahara
March 16, 2025
Transcript
33 slides
-
第三者ペルソナを⽤いた マルチモーダル対話システム 電気通信⼤学 稲葉研究室 朝原 隆太朗 ⼩野 関宏⼰ ⻫ 志揚
⾦⼦ 拓正 秋⼭ ⼀⾺ 上原 隆⼀ 樋⼝ 智哉 稲葉 通将 -
The University of Electro-Communications 問題とアプローチ I • システムは3つの観点において⼀貫性を 保つ必要がある •
シズカの趣味嗜好や習慣,価値観などの 個⼈的な情報 • ユウキとの関係性(⼝調や態度など) • ⼩林先⽣に関する個⼈的な情報 2 システムと⼩林先⽣の背景情報を 考慮したシステムを構築 -
The University of Electro-Communications 問題とアプローチ II • 対話内容に合わせたモーション・韻律調整 • ⼈間に近い態度
3 システム発話にあったモーション・韻律調整, フィラーによる⾃然さの向上 -
The University of Electro-Communications 提案⼿法 - プロンプト概要I • 応答⽣成のためにChatGPTを採⽤ •
モデルは応答速度を考慮し,GPT3.5を⽤いた • プロンプト構成 • タスク指⽰ • システムペルソナ • 第三者(⼩林先⽣)ペルソナ • 対話戦略 • Few-shotサンプル 6 -
The University of Electro-Communications 提案⼿法 - システムのペルソナI • 対話システムに⼀貫性を持たせるために ペルソナが有効[Zhang+
ACL2018] • 既存研究で⽤いられるペルソナでは,定義 された性格・価値観を⽤いた複雑な推論は困難 • 今回のシチュエーションに合わせたペルソナを 定義 趣味・嗜好,習慣,職業, 性格,価値観など 通常のペルソナ シチュエーションに合った 価値観や性格 本システムのペルソナ 8 -
The University of Electro-Communications 提案⼿法 - システムのペルソナII 9 • 歓迎会の規模に対する価値観などを定義
• 友⼈関係 → 敬語を使うのは不⾃然 • ⼝調の⼀貫性のため,⼝調を含んだペルソナ -
The University of Electro-Communications 提案⼿法 - 第三者のペルソナI • パーソナライズのため,ユーザのペルソナを ⽤いる研究も存在[Liu+
ACL2020] • 本コンペのシチュエーションにおいて, ユーザにパーソナライズする必要はない • ⼩林先⽣のペルソナがあれば • 歓迎会の計画や⼩林先⽣へのプレゼントについて ⼀貫した議論 • ⼩林先⽣の情報に関する⽭盾を軽減 年齢・誕⽣⽇,趣味嗜好,習慣,価値観など ⼩林先⽣のペルソナ 10 -
The University of Electro-Communications 提案⼿法 - 第三者のペルソナII • 第三者(⼩林先⽣)のペルソナを定義 •
予備実験では第三者ペルソナにセリフを 定義すると,システム発話の⼝調が不安定に • 第三者ペルソナは⼩林先⽣のプロフィールのみ を箇条書きで定義 11 -
The University of Electro-Communications 提案⼿法 - Few-shot II • 歓迎会の計画が決まったら雑談をするように
Few-shotサンプルを作成 • 2⼈とも映画サークルであることから,話題は 映画を採⽤ 15 -
The University of Electro-Communications 提案⼿法 - プロンプトI 16 # タスク
あなたはシズカで,⼤学2年⽣です. ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です. ユウキとシズカは20歳で同い年です. 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように,妥協しつつユウキと⼀緒に企画を⽴ててください. また,敬語や丁寧な⼝調は絶対に使わないでください. 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ -
The University of Electro-Communications 提案⼿法 - プロンプトI 17 # タスク
あなたはシズカで,⼤学2年⽣です. ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です. ユウキとシズカは20歳で同い年です. 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように,妥協しつつユウキと⼀緒に企画を⽴ててください. また,敬語や丁寧な⼝調は絶対に使わないでください. 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ タスク指⽰ -
The University of Electro-Communications 提案⼿法 - プロンプトI 18 # タスク
あなたはシズカで,⼤学2年⽣です. ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です. ユウキとシズカは20歳で同い年です. 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように,妥協しつつユウキと⼀緒に企画を⽴ててください. また,敬語や丁寧な⼝調は絶対に使わないでください. 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ システムのペルソナ -
The University of Electro-Communications 提案⼿法 - プロンプトI 19 # タスク
あなたはシズカで,⼤学2年⽣です. ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です. ユウキとシズカは20歳で同い年です. 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように,妥協しつつユウキと⼀緒に企画を⽴ててください. また,敬語や丁寧な⼝調は絶対に使わないでください. 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ 第三者(⼩林先⽣)ペルソナ -
The University of Electro-Communications 提案⼿法 - プロンプトI 20 # タスク
あなたはシズカで,⼤学2年⽣です. ユウキは⼤学2年⽣であなたの友達であり同じ映画サークルの仲間です. ユウキとシズカは20歳で同い年です. 【感情候補】と【シズカの性格】と【⼩林先⽣のプロフィール】と【歓迎会のアイデア】を踏まえて⼩林先 ⽣のための盛⼤な歓迎会を⾏えるように,妥協しつつユウキと⼀緒に企画を⽴ててください. また,敬語や丁寧な⼝調は絶対に使わないでください. 歓迎会の企画が終わったら、雑談をしてください。 【感情候補】 [喜び],[賛成],[提案],[願望],[中⽴],[妥協],[拒否],[悩み],[疑問],[強い拒否] 【シズカの性格】 ・・・ 【⼩林先⽣のプロフィール】 ・・・ 【歓迎会のアイデア】 ・・・ 対話戦略 -
The University of Electro-Communications 提案⼿法 - プロンプトII 21 # 対話例1
(中略) # 対話例4 (中略) # 対話開始 ユウキ:そろそろ準備しないとね シズカ:そうだね.[賛成]まずは会場から決めていこう![提案]せっかく顧問を引き受けてくれ たから盛⼤にしたいよね[提案] (続き) Few-shotサンプル -
The University of Electro-Communications 提案⼿法 - プロンプトII 22 # 対話例1
(中略) # 対話例4 (中略) # 対話開始 ユウキ:そろそろ準備しないとね シズカ:そうだね.[賛成]まずは会場から決めていこう![提案]せっかく顧問を引き受けてくれ たから盛⼤にしたいよね[提案] (続き) 対話履歴 この対話履歴にユーザやシステム発話を 追加していくことで⽂脈を考慮 -
The University of Electro-Communications 提案⼿法 - 対話⾏為タグI • システム発話と共に対話⾏為タグを⽣成 •
同時に⽣成することで応答速度を向上 • ⽣成した対話⾏為タグから確率的に モーション及び韻律を決定 24 -
The University of Electro-Communications 提案⼿法 - 対話⾏為タグII • 表現の⾼度化のため,対話⾏為タグは 1⽂につき1つ付与
• つまり,1回の応答⽣成で複数⽂と複数タグを⽣成 • 対話⾏為タグに基づき,各⽂ごとにモーション の決定および韻律調整を⾏う 25 [ ] Output -
The University of Electro-Communications 提案⼿法 - ⾳声の決定 • ⾳量,ピッチ,速度などを⼿動で調整 •
韻律調整器に⼊⼒することで韻律調整のための タグを付与 • フィラー • 対話システムにおいて,フィラーはユーザの満⾜度 を向上させることが分かっている [Cohn+ SIGDIAL2019] • ネガティブタグの場合,0.2-0.7の確率でフィラーを 挿⼊ 27 -
The University of Electro-Communications 予選 - 結果 • 最終スコア:3.48 •
⽂脈に沿った発話内容かどうか :3.59 • ⽂脈に沿ったジェス チャー・表情を表出できてい るかどうか: 3.38 • ⽂ 脈に沿った間や⾳声の強弱を⽤いて発話できて いるかどうか :3.48 • 合計評価で67.3%が ⾼評価(4-5) 29 -
The University of Electro-Communications 予選- 結果 • 最終スコア:3.48 • ⽂脈に沿った発話内容かどうか
:3.59 • ⽂脈に沿ったジェス チャー・表情を表出できてい るかどうか: 3.38 • ⽂ 脈に沿った間や⾳声の強弱を⽤いて発話できて いるかどうか :3.48 • 合計評価で67.3%が ⾼評価(4-5) 30 -
The University of Electro-Communications 予選 - 評価者の感想I 31 • ポジティブな意⾒
• 発話内容やジェスチャーが⾃然で,会話が 楽しかった • 歓迎会の話をした後の雑談が楽しかった • 映画に関する雑談で盛り上がれた • システムが⾊々提案してくれた -
The University of Electro-Communications 予選 - 評価の⾼い対話例 32 ・・・ U:名前⼊り万年筆は喜ぶだろうね
いい先⽣だわ S:そうだよね!⼩林先⽣は優しい先⽣だからきっと喜んでくれると思うよ じゃあ名 前⼊りの万年筆にしよう! うーんと 万年筆に関してはユウキに任せても⼤丈夫 かな? ・・・ U:でも5万とか10万とかしちゃったらどうする それはさすがにできない S:それは確かに⾼いかもしれないね そしたら予算を決めておこうか 予算は1万円以 内にしようか それなら万年筆でもおしゃれなものが買えると思うよ あー ユウキ はどう思う? U:1万円も⾼いなあの プレゼントは S:確かに1万円は⾼いかもしれないね じゃあ予算は5000円にしようか それならそれ なりにいいものが買えると思うよ ユウキはどう思う? U:じゃあ 5000円ぐらいで買おう ・・・ -
The University of Electro-Communications 予選 - 評価者の感想II • ネガティブな意⾒ •
対話が強引 • 感情(声のトーンなど)の浮き沈みが激しい • 原因 • Few-shotサンプルの多様性が低い • 対話⾏為タグから韻律調整を⾏っているため, Neg./Pos.のピッチ差が⼤きい 33 感想[発話,モーション,⾳声] 急に声⾊が暗くなったり、明るくなったり、⼀貫性がな かった。仕草も少し不⾃然だった。[4,2,3] システムが⽤意していない回答をすると、システムがし たい話題を強引にしてくる気がします。[2,3,4] -
The University of Electro-Communications 予選 - 改善案 • 対話が強引 •
Few-shotサンプルの多様性を増やし, 様々なシチュエーションに対応可能にする • 感情の浮き沈みが激しい • 対話⾏為タグの詳細化 • 例:[否定]→[弱い否定],[強い否定] • 1つ前および後の対話⾏為タグを考慮した ピッチの⾃動調整 34 -
The University of Electro-Communications • 第三者のペルソナという概念によって,⼀貫性 のある対話システムの構築を試みた • 5段階のリッカート尺度で3.48というスコアで 予選通過
• 評価者の感想から得られた改善案を基に,より ⼈間らしいマルチモーダル対話システムの構築 に取り組む 35 まとめ