IRReading2021Spring-yanagida

IR Reading 2021春で以下の論文を紹介しました．
Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer. Providing Direct Answers in Search Results: A Study of User Behavior. Proceedings of the 29th ACM International Conference on Information & Knowledge Management(CIKM 2020). 2020, https://dl.acm.org/doi/10.1145/3340531.3412017.

Transcript

1. Providing Direct Answers in Search Results:
   A Study of User Behavior(CIKM 2020) の紹介
   Authors: Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu,
   W. Bruce Croft, Falk Scholer
   筑波⼤学 加藤研究室 M1
   柳⽥雄輝
   https://ynagi2.github.io/
   2021-04-24
   IR Reading 2021春
   

   View Slide

2. • サーチエンジンでは検索結果に直接回答が表⽰されることがある
   ‒ Direct Answerという(以下，DA)
   ‒ すぐに回答がわかって便利
   • DAがユーザ⾏動に
   与える影響を調査
   背景 2
   図は https://www.google.com/search?q=⽇本+⾸都 より (2021-04-12 閲覧)
   ⽇本の⾸都に対する回答
   

   View Slide

3. • RQ1: DAの有無や質がユーザに与える影響は？
   ‒ DAがあるとユーザの満⾜度が向上，探索時間も減少
   ‒ クリックさえ⾏われないこともある⼀⽅，DAを過信するケースも
   • RQ2: 複数のDAを表⽰した場合の影響は？
   ‒ DAが1つのときよりも満⾜度が向上，探索時間もさらに減少
   ‒ 1つ⽬のDAで満⾜しなかった場合もDAは⼀通り⾒る傾向
   • RQ3: DAが与える影響は質問のタイプによって異なるか？
   ‒ DAは質問のタイプによらず探索時間の削減に貢献
   RQとその回答 3
   

   View Slide

4. 質問を提⽰し，回答を探す過程をアイトラッキング
   その後，全体の満⾜度と探索に成功したかを聞く
   実験⽅法 4
   図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)
   googleの検索結果
   DA
   発疹を引き起こす原因は何？
   質問
   画⾯
   被験者への質問とアイトラッキングから，
   次のような値を取得
   • 画⾯全体の満⾜度(5段階)
   • 注視した場所
   • 滞在時間
   実験後
   

   View Slide

5. 質問と実験画⾯の詳細 5
   • 質問は2タイプ×10種類
   ‒ シンプルな事実で回答できる質問
   • e.g. ⽇本で最も⼤きい市町村は？
   ‒ 複数の⽂で回答される質問
   • e.g. 発疹を引き起こす原因は何？
   ‒ DAには質問に対する適合度が付与
   • 画⾯は5パターン
   ‒ DAなし，回答として(適合|不適合)
   なDAを(1つ|5つ)表⽰ の5パターン
   • DAを5つ表⽰する場合は，1つ⽬は
   (適合|不適合)，残りは検索結果を参考
   に⽤意
   googleの検索結果
   DA
   発疹を引き起こす原因は何？
   質問
   画⾯
   図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)
   

   View Slide

6. • DAがあると探索時間が減少(ページ閲覧にかける時間が減少)
   • DAを⾒せない場合でクリックがされないセッションは2%以下
   ‒ スニペットだけを⾒て満⾜することはほとんどない
   • 適合DAを⾒せると，10%以上のセッションでクリックがされない
   ‒ 不適合DAを⾒せた場合は5%以上(DAを過信)
   実験結果 1/3 (DAとセッション時間) 6
   表は論⽂中のTable2より
   DAが1つ
   DA
   なし 適合 不適合
   DAが5つ
   1つ⽬
   が適合
   1つ⽬が
   不適合
   

   View Slide

7. 実験結果 2/3 (注視時間) 7
   • DAが不適合の場合は，検索
   結果に注視する時間の割合
   が増加
   • DAの1つ⽬が不適合でも，
   検索結果(result)よりも他の
   DAに注視する傾向
   ‒ ユーザの満⾜度は
   DAが不適合 > DAなし
   • DAは役⽴つというよりも，便利
   機能という認識？
   DAが1つ
   DA
   なし 適
   合
   不適
   合
   DAが5つ
   1つ⽬
   が適合
   1つ⽬が
   不適合
   注視時間の割合
   表は論⽂中のFigure3より
   

   View Slide

8. • DAはどちらの質問タイプでも探索時間の削減に貢献
   ‒ シンプルな事実で回答できる質問: 18.1%削減
   ‒ 複数の⽂で回答される質問: 23.4%削減
   • シンプルな事実で回答できる質問においてDAがあると，最⼤
   18.3%のセッションで全くクリックがされない
   ‒ 複数の⽂で回答される場合でDAがあると最⼤6.7%
   • 複数の⽂で回答される質問の⽅がユーザの満⾜度が低い
   実験結果 3/3 (質問タイプの違いとDA) 8
   

   View Slide

9. • DAがあるとユーザの満⾜度が向上し，探索時間も減少
   • DAは質問のタイプによらず効果的で，DAを複数提⽰することも
   有効
   ‒ スニペットよりも強⼒
   • 感想
   ‒ DAはSERPの「⼀番上」に「適合している回答っぽく」表⽰されるので，
   扱いには注意が必要そう
   ‒ 回答を⾒つけることに成功したかは質問しているが，回答の正誤⾃体は
   集計していない
   • 複数の⽂で回答される質問の難しさ
   まとめ 9
   

   View Slide