IRReading2021Spring-yanagida

IR Reading 2021春で以下の論文を紹介しました．
Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer. Providing Direct Answers in Search Results: A Study of User Behavior. Proceedings of the 29th ACM International Conference on Information & Knowledge Management(CIKM 2020). 2020, https://dl.acm.org/doi/10.1145/3340531.3412017.

Transcript

1. Providing Direct Answers in Search Results: A Study of User Behavior(CIKM 2020) の紹介 Authors: Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer 筑波⼤学 加藤研究室 M1 柳⽥雄輝 https://ynagi2.github.io/ 2021-04-24 IR Reading 2021春
2. • サーチエンジンでは検索結果に直接回答が表⽰されることがある ‒ Direct Answerという(以下，DA) ‒ すぐに回答がわかって便利 • DAがユーザ⾏動に 与える影響を調査 背景 2 図は https://www.google.com/search?q=⽇本+⾸都 より (2021-04-12 閲覧) ⽇本の⾸都に対する回答
3. • RQ1: DAの有無や質がユーザに与える影響は？ ‒ DAがあるとユーザの満⾜度が向上，探索時間も減少 ‒ クリックさえ⾏われないこともある⼀⽅，DAを過信するケースも • RQ2: 複数のDAを表⽰した場合の影響は？ ‒ DAが1つのときよりも満⾜度が向上，探索時間もさらに減少 ‒ 1つ⽬のDAで満⾜しなかった場合もDAは⼀通り⾒る傾向 • RQ3: DAが与える影響は質問のタイプによって異なるか？ ‒ DAは質問のタイプによらず探索時間の削減に貢献 RQとその回答 3
4. 質問を提⽰し，回答を探す過程をアイトラッキング その後，全体の満⾜度と探索に成功したかを聞く 実験⽅法 4 図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧) googleの検索結果 DA 発疹を引き起こす原因は何？ 質問 画⾯ 被験者への質問とアイトラッキングから， 次のような値を取得 • 画⾯全体の満⾜度(5段階) • 注視した場所 • 滞在時間 実験後
5. 質問と実験画⾯の詳細 5 • 質問は2タイプ×10種類 ‒ シンプルな事実で回答できる質問 • e.g. ⽇本で最も⼤きい市町村は？ ‒ 複数の⽂で回答される質問 • e.g. 発疹を引き起こす原因は何？ ‒ DAには質問に対する適合度が付与 • 画⾯は5パターン ‒ DAなし，回答として(適合|不適合) なDAを(1つ|5つ)表⽰ の5パターン • DAを5つ表⽰する場合は，1つ⽬は (適合|不適合)，残りは検索結果を参考 に⽤意 googleの検索結果 DA 発疹を引き起こす原因は何？ 質問 画⾯ 図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)
6. • DAがあると探索時間が減少(ページ閲覧にかける時間が減少) • DAを⾒せない場合でクリックがされないセッションは2%以下 ‒ スニペットだけを⾒て満⾜することはほとんどない • 適合DAを⾒せると，10%以上のセッションでクリックがされない ‒ 不適合DAを⾒せた場合は5%以上(DAを過信) 実験結果 1/3 (DAとセッション時間) 6 表は論⽂中のTable2より DAが1つ DA なし 適合 不適合 DAが5つ 1つ⽬ が適合 1つ⽬が 不適合
7. 実験結果 2/3 (注視時間) 7 • DAが不適合の場合は，検索 結果に注視する時間の割合 が増加 • DAの1つ⽬が不適合でも， 検索結果(result)よりも他の DAに注視する傾向 ‒ ユーザの満⾜度は DAが不適合 > DAなし • DAは役⽴つというよりも，便利 機能という認識？ DAが1つ DA なし 適 合 不適 合 DAが5つ 1つ⽬ が適合 1つ⽬が 不適合 注視時間の割合 表は論⽂中のFigure3より
8. • DAはどちらの質問タイプでも探索時間の削減に貢献 ‒ シンプルな事実で回答できる質問: 18.1%削減 ‒ 複数の⽂で回答される質問: 23.4%削減 • シンプルな事実で回答できる質問においてDAがあると，最⼤ 18.3%のセッションで全くクリックがされない ‒ 複数の⽂で回答される場合でDAがあると最⼤6.7% • 複数の⽂で回答される質問の⽅がユーザの満⾜度が低い 実験結果 3/3 (質問タイプの違いとDA) 8
9. • DAがあるとユーザの満⾜度が向上し，探索時間も減少 • DAは質問のタイプによらず効果的で，DAを複数提⽰することも 有効 ‒ スニペットよりも強⼒ • 感想 ‒ DAはSERPの「⼀番上」に「適合している回答っぽく」表⽰されるので， 扱いには注意が必要そう ‒ 回答を⾒つけることに成功したかは質問しているが，回答の正誤⾃体は 集計していない • 複数の⽂で回答される質問の難しさ まとめ 9