$30 off During Our Annual Pro Sale. View Details »

IRReading2021Spring-yanagida

 IRReading2021Spring-yanagida

IR Reading 2021春で以下の論文を紹介しました.
Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu, W. Bruce Croft, Falk Scholer. Providing Direct Answers in Search Results: A Study of User Behavior. Proceedings of the 29th ACM International Conference on Information & Knowledge Management(CIKM 2020). 2020, https://dl.acm.org/doi/10.1145/3340531.3412017.

YANAGIDA Yuki

April 24, 2021
Tweet

More Decks by YANAGIDA Yuki

Other Decks in Research

Transcript

  1. Providing Direct Answers in Search Results:
    A Study of User Behavior(CIKM 2020) の紹介
    Authors: Zhijing Wu, Mark Sanderson, B. Barla Cambazoglu,
    W. Bruce Croft, Falk Scholer
    筑波⼤学 加藤研究室 M1
    柳⽥雄輝
    https://ynagi2.github.io/
    2021-04-24
    IR Reading 2021春

    View Slide

  2. • サーチエンジンでは検索結果に直接回答が表⽰されることがある
    ‒ Direct Answerという(以下,DA)
    ‒ すぐに回答がわかって便利
    • DAがユーザ⾏動に
    与える影響を調査
    背景 2
    図は https://www.google.com/search?q=⽇本+⾸都 より (2021-04-12 閲覧)
    ⽇本の⾸都に対する回答

    View Slide

  3. • RQ1: DAの有無や質がユーザに与える影響は?
    ‒ DAがあるとユーザの満⾜度が向上,探索時間も減少
    ‒ クリックさえ⾏われないこともある⼀⽅,DAを過信するケースも
    • RQ2: 複数のDAを表⽰した場合の影響は?
    ‒ DAが1つのときよりも満⾜度が向上,探索時間もさらに減少
    ‒ 1つ⽬のDAで満⾜しなかった場合もDAは⼀通り⾒る傾向
    • RQ3: DAが与える影響は質問のタイプによって異なるか?
    ‒ DAは質問のタイプによらず探索時間の削減に貢献
    RQとその回答 3

    View Slide

  4. 質問を提⽰し,回答を探す過程をアイトラッキング
    その後,全体の満⾜度と探索に成功したかを聞く
    実験⽅法 4
    図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)
    googleの検索結果
    DA
    発疹を引き起こす原因は何?
    質問
    画⾯
    被験者への質問とアイトラッキングから,
    次のような値を取得
    • 画⾯全体の満⾜度(5段階)
    • 注視した場所
    • 滞在時間
    実験後

    View Slide

  5. 質問と実験画⾯の詳細 5
    • 質問は2タイプ×10種類
    ‒ シンプルな事実で回答できる質問
    • e.g. ⽇本で最も⼤きい市町村は?
    ‒ 複数の⽂で回答される質問
    • e.g. 発疹を引き起こす原因は何?
    ‒ DAには質問に対する適合度が付与
    • 画⾯は5パターン
    ‒ DAなし,回答として(適合|不適合)
    なDAを(1つ|5つ)表⽰ の5パターン
    • DAを5つ表⽰する場合は,1つ⽬は
    (適合|不適合),残りは検索結果を参考
    に⽤意
    googleの検索結果
    DA
    発疹を引き起こす原因は何?
    質問
    画⾯
    図は https://www.google.com/search?q=発疹+原因 より (2021-04-23 閲覧)

    View Slide

  6. • DAがあると探索時間が減少(ページ閲覧にかける時間が減少)
    • DAを⾒せない場合でクリックがされないセッションは2%以下
    ‒ スニペットだけを⾒て満⾜することはほとんどない
    • 適合DAを⾒せると,10%以上のセッションでクリックがされない
    ‒ 不適合DAを⾒せた場合は5%以上(DAを過信)
    実験結果 1/3 (DAとセッション時間) 6
    表は論⽂中のTable2より
    DAが1つ
    DA
    なし 適合 不適合
    DAが5つ
    1つ⽬
    が適合
    1つ⽬が
    不適合

    View Slide

  7. 実験結果 2/3 (注視時間) 7
    • DAが不適合の場合は,検索
    結果に注視する時間の割合
    が増加
    • DAの1つ⽬が不適合でも,
    検索結果(result)よりも他の
    DAに注視する傾向
    ‒ ユーザの満⾜度は
    DAが不適合 > DAなし
    • DAは役⽴つというよりも,便利
    機能という認識?
    DAが1つ
    DA
    なし 適

    不適

    DAが5つ
    1つ⽬
    が適合
    1つ⽬が
    不適合
    注視時間の割合
    表は論⽂中のFigure3より

    View Slide

  8. • DAはどちらの質問タイプでも探索時間の削減に貢献
    ‒ シンプルな事実で回答できる質問: 18.1%削減
    ‒ 複数の⽂で回答される質問: 23.4%削減
    • シンプルな事実で回答できる質問においてDAがあると,最⼤
    18.3%のセッションで全くクリックがされない
    ‒ 複数の⽂で回答される場合でDAがあると最⼤6.7%
    • 複数の⽂で回答される質問の⽅がユーザの満⾜度が低い
    実験結果 3/3 (質問タイプの違いとDA) 8

    View Slide

  9. • DAがあるとユーザの満⾜度が向上し,探索時間も減少
    • DAは質問のタイプによらず効果的で,DAを複数提⽰することも
    有効
    ‒ スニペットよりも強⼒
    • 感想
    ‒ DAはSERPの「⼀番上」に「適合している回答っぽく」表⽰されるので,
    扱いには注意が必要そう
    ‒ 回答を⾒つけることに成功したかは質問しているが,回答の正誤⾃体は
    集計していない
    • 複数の⽂で回答される質問の難しさ
    まとめ 9

    View Slide