Upgrade to Pro — share decks privately, control downloads, hide ads and more …

IRReading2021Spring-yanagida

 IRReading2021Spring-yanagida

IR Reading 2021春で以下の論文を紹介しました.
Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer. Providing Direct Answers in Search Results: A Study of User Behavior. Proceedings of the 29th ACM International Conference on Information & Knowledge Management(CIKM 2020). 2020, https://dl.acm.org/doi/10.1145/3340531.3412017.

9c4b022d97839e8140b08a6d5692c115?s=128

YANAGIDA Yuki

April 24, 2021
Tweet

Transcript

  1. Providing Direct Answers in Search Results: A Study of User

    Behavior(CIKM 2020) の紹介 Authors: Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer 筑波⼤学 加藤研究室 M1 柳⽥雄輝 https://ynagi2.github.io/ 2021-04-24 IR Reading 2021春
  2. • サーチエンジンでは検索結果に直接回答が表⽰されることがある ‒ Direct Answerという(以下,DA) ‒ すぐに回答がわかって便利 • DAがユーザ⾏動に 与える影響を調査

    背景 2 図は https://www.google.com/search?q=⽇本+⾸都 より (2021-04-12 閲覧) ⽇本の⾸都に対する回答
  3. • RQ1: DAの有無や質がユーザに与える影響は? ‒ DAがあるとユーザの満⾜度が向上,探索時間も減少 ‒ クリックさえ⾏われないこともある⼀⽅,DAを過信するケースも • RQ2: 複数のDAを表⽰した場合の影響は?

    ‒ DAが1つのときよりも満⾜度が向上,探索時間もさらに減少 ‒ 1つ⽬のDAで満⾜しなかった場合もDAは⼀通り⾒る傾向 • RQ3: DAが与える影響は質問のタイプによって異なるか? ‒ DAは質問のタイプによらず探索時間の削減に貢献 RQとその回答 3
  4. 質問を提⽰し,回答を探す過程をアイトラッキング その後,全体の満⾜度と探索に成功したかを聞く 実験⽅法 4 図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧) googleの検索結果

    DA 発疹を引き起こす原因は何? 質問 画⾯ 被験者への質問とアイトラッキングから, 次のような値を取得 • 画⾯全体の満⾜度(5段階) • 注視した場所 • 滞在時間 実験後
  5. 質問と実験画⾯の詳細 5 • 質問は2タイプ×10種類 ‒ シンプルな事実で回答できる質問 • e.g. ⽇本で最も⼤きい市町村は? ‒

    複数の⽂で回答される質問 • e.g. 発疹を引き起こす原因は何? ‒ DAには質問に対する適合度が付与 • 画⾯は5パターン ‒ DAなし,回答として(適合|不適合) なDAを(1つ|5つ)表⽰ の5パターン • DAを5つ表⽰する場合は,1つ⽬は (適合|不適合),残りは検索結果を参考 に⽤意 googleの検索結果 DA 発疹を引き起こす原因は何? 質問 画⾯ 図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)
  6. • DAがあると探索時間が減少(ページ閲覧にかける時間が減少) • DAを⾒せない場合でクリックがされないセッションは2%以下 ‒ スニペットだけを⾒て満⾜することはほとんどない • 適合DAを⾒せると,10%以上のセッションでクリックがされない ‒ 不適合DAを⾒せた場合は5%以上(DAを過信)

    実験結果 1/3 (DAとセッション時間) 6 表は論⽂中のTable2より DAが1つ DA なし 適合 不適合 DAが5つ 1つ⽬ が適合 1つ⽬が 不適合
  7. 実験結果 2/3 (注視時間) 7 • DAが不適合の場合は,検索 結果に注視する時間の割合 が増加 • DAの1つ⽬が不適合でも,

    検索結果(result)よりも他の DAに注視する傾向 ‒ ユーザの満⾜度は DAが不適合 > DAなし • DAは役⽴つというよりも,便利 機能という認識? DAが1つ DA なし 適 合 不適 合 DAが5つ 1つ⽬ が適合 1つ⽬が 不適合 注視時間の割合 表は論⽂中のFigure3より
  8. • DAはどちらの質問タイプでも探索時間の削減に貢献 ‒ シンプルな事実で回答できる質問: 18.1%削減 ‒ 複数の⽂で回答される質問: 23.4%削減 • シンプルな事実で回答できる質問においてDAがあると,最⼤

    18.3%のセッションで全くクリックがされない ‒ 複数の⽂で回答される場合でDAがあると最⼤6.7% • 複数の⽂で回答される質問の⽅がユーザの満⾜度が低い 実験結果 3/3 (質問タイプの違いとDA) 8
  9. • DAがあるとユーザの満⾜度が向上し,探索時間も減少 • DAは質問のタイプによらず効果的で,DAを複数提⽰することも 有効 ‒ スニペットよりも強⼒ • 感想 ‒

    DAはSERPの「⼀番上」に「適合している回答っぽく」表⽰されるので, 扱いには注意が必要そう ‒ 回答を⾒つけることに成功したかは質問しているが,回答の正誤⾃体は 集計していない • 複数の⽂で回答される質問の難しさ まとめ 9