音声会話型検索エージェントにおける多様な情報獲得を促すための観点推薦タイミングに関する研究

Transcript

1. 音声会話型検索エージェントにおける 多様な情報獲得を促すための 観点推薦タイミングに 関する研究 飛岡 憲，山本岳洋 （兵庫県立大学） DEIM Forum 2023.3.7 3a-9-5
2. 研究の背景 1/2 1 音声会話型検索エージェントの市場は拡大傾向[1] ウェブサーチの約30%が音声検索になると予測[2] [1]Juniper Research.” Number of Voice Assistant Devices in Use to Overtake World Population by 2024, Reaching 8.4bn, Led by Smartphones”. https://www.businesswire.com/news/home/20200427005609/en/Juniper-Research-Number-Voice-Assistant-Devices- Overtake,(参照2022-02-21) [2]Gartner.” Gartner Predicts a Virtual World of Exponential Change”. https://www.gartner.com/smarterwithgartner/gartner-predicts-a- virtual-world-of-exponential-change,(参照2022-02-21) Amazon EchoのAlexa Google NestのGoogleアシスタント
3. 研究の背景 2/2 学習や意思決定などの際に行われる探索的検索に 利用用途が拡大する可能性がある． 探索的検索 多面的で制限のない反復的な情報検索［3］ ． 今日の天気は？ 今日のニュース は？ ダークチョコ レートって？ 摂取量は？ 食べ過ぎると どうなる？ 2 [3]Gary Marchionini. Exploratory search: from finding to understanding. Communications of the ACM, 49(4):41–46, 2006.
4. 問題点 1/2 デスクトップ検索では，様々な観点が視覚的に 認識できるため，多様な情報を獲得しやすい． 3 摂取量 食生活 美容・ ダイエッ ト 多様な 情報 観点
5. 問題点 2/2 音声検索では，単純にクエリに返答するだけで は多様な情報を獲得することは困難 4 ダークチョコについて 教えて カカオの含有量が55%以 上のチョコレートです 何を聞けばいいか わからない… 手掛かりが少なく， 検索したくてもできない！
6. 研究目的 音声会話型検索エージェントとの対話によって、 ユーザの多様な情報の獲得を促す方法を実現する ダークチョコについて 教えて 5 どのように情報を 伝えるのがよいか？ EX：言い方，要約， タイミングを見計らうなど
7. 提案手法 1/3 多様な情報獲得ができるように、 観点推薦する 観点推薦なし 観点推薦あり 仮説① 手掛かり少ないので，観点推薦は多様な情報獲得に貢献する ダークチョコについて 教えて 他にも調べることが できます ダークチョコに ついて教えて カカオの含有量が 55%以上の チョコです 食べるタイミングについて調 べますか？ 6 カカオの含有量が 55%以上の チョコです
8. 提案手法 2/3 ユーザがクエリに困ったタイミング 観点推薦あり 仮説② 間があるほうが，得た情報を整理したり，システムとのインタラ クションが刺激となったりして，より自発的に情報検索しにいく ダークチョコに ついて教えて カカオの含有量が 55%以上のチョコです 即時介入 人手介入 （提案手法） 食べるタイミング について調べますか？ 何を聞こうかな ダークチョコに ついて教えて カカオの含有量が 55%以上のチョコです 食べるタイミング について調べますか？ 7 その観点があったか！ 他にも知りたい！
9. 提案手法 3/3 多様な情報獲得ができるように、ユーザが クエリに困ったタイミングで観点推薦する 観点推薦なし 観点推薦あり 仮説① 仮説② 手掛かりが少ない ので，観点推薦は 多様な情報獲得に 貢献する ダークチョコについて 教えて 他にも調べることが できます 間があるほうが，得た情報を整理したり，システムとのインタラクション が刺激となったりして，より自発的に情報検索しにいく ダークチョコに ついて教えて カカオの含有量が 55%以上の・・・ 即時介入 人手介入 ダークチョコに ついて教えて カカオの含有量が 55%以上の・・・ 食べるタイミング について調べます か？ 食べるタイミング について調べます か？ 何を聞こうかな 8 カカオの含有量が 55%以上の チョコです
10. リサーチクエスション RQ1 観点推薦は、 多様な情報獲得の支援に貢献するのか RQ2 観点推薦のタイミングによって、 多様な情報獲得をするうえで、ユーザ の行動に違いはあるのか 9
11. 実験計画 ▪実験参加者 ・9名（男性：7名 女性：2名） ・兵庫県立大学社会情報科学部の学生 ▪トピックの選定 ・ダークチョコレートの健康効果について ・風力発電について ・スティーブンスピルバーグ監督について ▪実験方法 ・被験者内実験 ・1実験参加者は3トピック、3インターフェース ・順番効果、トピック難易度を考慮[4] 10 [4]Diane Kelly et al. Methods for evaluating interactive information retrieval systems with users. Foundations and Trends® in Information Retrieval, 3(1–2):1–224, 2009.
12. ・多様な情報への貢献度を問う質問 ・ユーザビリティに関する質問 実験の流れ 11 情報検索 タスク タスク毎 アンケート インタビュー* ＋ 事後アンケート 事前説明 ＋ プレタスク 3つのインターフェースを用いるので 計3回繰り返す ・観点推薦についての良しあし ・観点推薦のタイミングの良しあし
13. 検索タスク トピック 1: ダークチョコレートの健康への効果について シナリオ: ダークチョコレートの健康効果について，テレビで 特集が組まれた結果 SNS でバズっています．興味をもったあなたは，最新のアレクサを使って調べるこ とにしました．調べた 後は，最近健康食にはまりだした友人にダークチョコ レートの 健康への効果を伝えようと思っています．調べたことをまとめ てく ださい． ▪実験ルール ・検索時間10分 ・システムからの観点の推薦を調べなくてもよい ・情報が十分に集まったと感じたらいつでも検索を終了してもよい 12
14. 実験で用いたシステム 13 実験参加者 トピックについて音声のみで情報検索 実験者 Wizard of Oz法 （Alexaに扮して、参加者の応答に応える） WebAppで命令＊ Wizard Of Oz法でユーザからのクエリに回答 あらかじめトピックの観点と回答を準備 ＊推薦する観点内容は実験者 が任意に選択 ＊提案手法の人手介入の タイミングは実験者で判断 ＊回答できない場合は、 「わかりません、 ほかのことについて調べて」と回答
15. リサーチクエスション RQ1 観点推薦は、 多様な情報獲得の支援に貢献するのか RQ2 観点推薦のタイミングによって、 多様な情報獲得をするうえで、ユーザ の行動に違いはあるのか 14
16. 分析のアプローチ 15 多様な情報獲得ができたかを計測する指標 1:観点推薦なし 2:観点推薦あり （即時介入） 3:観点推薦あり （人手介入） 情報獲得割合 平均 勝つはず 負けるはず 情報獲得割合 = 実験者が用意した情報数 クエリによって獲得した 実験者が用意した情報数 一元配置分散分析で3者間の平均に差があるかを検定した後、 TurkeyHSD検定で有意差検定を行う
17. RQ1の分析結果 16 観点推薦は， 多様な情報獲得に貢献しているといえる 1:観点推薦なし 2:観点推薦あり （即時介入） 3:観点推薦あり （人手介入） 情報獲得割合 平均 0.35(0.18) 0.82(0.18)1 0.52(0.15) 表中の括弧は，標準偏差を表す．赤字横の数字は有意差（p<0.05）が確認されたインターフェースを 示す（1：観点推薦なし，2：観点推薦あり（即時介入），3：観点推薦あり（人手介入））．
18. リサーチクエスション RQ1 観点推薦は、 多様な情報獲得の支援に貢献するのか RQ2 観点推薦のタイミングによって、 多様な情報獲得をするうえで、ユーザ の行動に違いはあるのか 17
19. 分析のアプローチ 18 ★自発クエリ投入数 自発的な検索行動がとられたかを計測する指標 推薦クエリ投入数 2:観点推薦あり （即時介入） 3:観点推薦あり （人手介入） 自発クエリ投入数 平均 勝つはず 負けるはず ◦◦について教えて ◦◦について調べますか 調べて 一元配置分散分析で3者間の平均に差があるかを検定した後、（観点推薦なしも含める） TurkeyHSD検定で有意差検定を行う
20. 2:観点推薦あり （即時介入） 3:観点推薦あり （人手介入） 自発クエリ投入数 平均 3.78(1.03) 8.00(3.33)2 RQ2の分析結果 情報整理する時間や，クエリ投入できる時間が できるため，自発的な検索行動が起こる 表中の括弧は，標準偏差を表す．赤字横の数字は有意差（p<0.05）が確認されたインターフェースを 示す（1：観点推薦なし，2：観点推薦あり（即時介入），3：観点推薦あり（人手介入））． 19 「頭で理解できる時間がいるので待ってもらったほうがよい．」 「遅いほうがよかった．情報を整理している間にくるのでうっとうしい．」 「間がないと口をはさみにくい．」
21. 議論 1/3 質問 1:観点推薦なし 2:観点推薦あり（即 時介入） 3:観点推薦あり（人 手介入） 様々な観点から情報を収集できたと感 じた． 1.63(0.70) 4.63(0.48)1 4.13(0.71)1 様々な情報を獲得するうえでシステム の観点のおすすめは有用だと感じた． 3.22(1.23) 4.56(0.50)1 4.56(1.41)1 すべてのクエリに回答していた場合，獲得した情報は変わらない のではないか？ 1:観点推薦なし 2:観点推薦あり （即時介入） 3:観点推薦あり （人手介入） 合計クエリ投入数 平均 11.56(3.83) 14.11(2.02) 12.44(1.71) 「自分が思いつかない視点からの提案だったので，役に立った．」 「自分の思い浮かばない観点をおすすめしてもらうので調べやすい．」 表中の括弧は，標準偏差を表す．赤字横の数字は有意差（p<0.05）が確認されたインターフェースを示す（1：観点推薦な し，2：観点推薦あり（即時介入），3：観点推薦あり（人手介入））． 5段階のリッカート尺度（1:まったくあてはまらない，2:どちらかというとあてはまらない，3:どちらともいえない，4:どちらかというと あてはまる，5:とてもよくあてはまる）を設定 ユーザの体感では，多様な情報の獲得に，観点推薦は貢献している 20
22. 議論 2/3 より多くの観点を推薦した方が，多様な情報獲得ができるのでは ないか？ 「観点推薦によって，ほかにも調べようと思った．」 「賞について調べたときに，その評価はどうなんだろうって幅が広がっ た．」 EX：スピルバーグ監督の有名な映画を回答した際に，ユーザは「ジュ ラシックパークってどんな映画？」とクエリを発行する 観点推薦から得られた情報を深堀りしていくような検索行動が誘発される 様々な観点をより多く提示した方が， 横に観点を広げられること、深堀したい情報を効率的に見つけることにつながり、よ り多様な情報獲得しやすい可能性がある 観点1 観点1 観点2 観点n 深堀する対象 深堀する対象 観点2をもっ と知りたい 21
23. 議論 3/3 すべてのクエリに回答できないことによって，システムからの推薦を待ってしまい、 結果として自発的な検索行動が妨げられた可能性がある 観点推薦なしと比べると，自発クエリ投入数が多いとはいえず， タイミングによって自発的な検索行動が促進されていないのでは ないか？ 1:観点推薦なし 2:観点推薦あり（即時 介入） 3:観点推薦あり（人手 介入） 自発クエリ投入数 平均 11.56(3.83)2 3.78(1.03) 8.00(3.33)2 クエリに悩んでいるのではなく，システムからの観点推薦を待つ行動をとる 「待っているときは，次の提案を予測しているみたいな感じ．どういうことを提案 してくれるのか？を考えていた．」 「観点推薦を待っていた．」 「ダークチョコの時は返事を待っていた．」 22
24. まとめと今後の展望 23 ➢ 音声会話型情報検索において観点推薦は多様な情報獲得支援に貢献する 議論：すべてのクエリに回答していた場合，獲得した情報は変わらないのではないか？ より多くの観点を推薦した方が，多様な情報獲得ができるのではないか？ ➢ 情報整理する時間や，クエリ投入できる時間ができるため，自発的な検索行動が起こる 議論：観点推薦なしと比べると，自発クエリ投入数が多いとはいえず， タイミングによって自発的な検索行動が促進されていないのではないか？ 多様な情報獲得のため，ユーザがクエリに困ったタイミングで観点推薦 ダークチョコに ついて教えて カカオの含有量が 55%以上のチョコのこと です 食べるタイミングについて調べますか？ 何を聞こうかな すべてのクエリに回答できるシステムの構築 一度に提示する観点の情報量を増加 RQ1:観点推薦は、多様な情報獲得の支援に貢献するのか RQ2:観点推薦のタイミングによって、多様な情報獲得をするうえで、ユーザの行動に違いはあるのか