[論⽂紹介] Investigating the Influence of Ads on User Search Performance, Behaviour, and Experience during Information Seeking Olivia Foulds, Leif Azzopardi, Martin Halvey (University of Strathclyde) CHIIR 2021 論⽂紹介する⼈ 筑波⼤学加藤研究室 新⽥洸平 https://sites.google.com/view/kohei-shinden 2021年4⽉24⽇ IR Reading 2021春 セッション3 No.4

• 情報検索におけるオンライン広告の影響を調査 ‒ 広告がユーザの観点から情報検索に 直接どのように影響するかを 調査した研究はほとんどなかった 主な貢献： • 情報探索において広告が存在する場合， 広告が溢れかえることで過剰な負荷が かかりユーザの認知に影響が及ぶこと を初めて証明 • 情報検索におけるオンライン広告の 影響は複雑であることがわかった ‒ ネガティブな影響のみでなく， ポジティブな影響もある どんな論⽂？ 2 Google 検索における広告の例 オンライン広告

• オンライン広告の研究は重要であり数多く⾏われている 背景 3 AD オンラインで多くの情報を検索 SNS や Eコマースの急激な成⻑ ユーザは⽇常的にブラウジング オンライン広告の進化と増加 ⼀般的なインターネットユーザは 毎⽇約200件の広告に触れている オンライン広告研究の主要なテーマ６分類 効果，クリエイティブな要素，コンテキスト， パーソナライゼーション，メカニズム，検索広告 ⽬的はより魅⼒的で記憶に残りクリックされやすい広告の表⽰ （システム開発者やマーケターの観点）

ただし原則として ISR 分野ではシステムを超えて システムがユーザに与える影響を考慮する必要がある （ユーザ側の観点） ISR 分野におけるオンライン広告の研究 4 • ISR: Information Seeking and Retrieval • トラフィック・アロケーションと呼ばれるプロセスを 通じてユーザにどの広告を表⽰すべきかに焦点 ‒ トラフィック・アロケーションの⽬的も ユーザに適合する最もクリックされやすいような 広告を検索すること（マーケターの観点と同じ） ‒ 検索エンジンビジネスの中核

オンライン広告の影響を調べることは重要 オンライン広告の影響 5 • Banner blindness や Avoidance と呼ばれる 広告を回避する現象 ‒ 多くのユーザは広告を煩わしいと思っている ‒ アドブロッカーや有料会員になるなどして存在を排除 ‒ 広告主の観点からは広告が無視されているように⾒える • Banner blindness などの現象がある⼀⽅で ユーザへの影響は消えていない ‒ 直接的に広告を⾒ていなくても 暗黙的に処理している可能性がある [1] https://www.nngroup.com/articles/banner-blindness-old-and-new-findings/ バナーブラインドネスの例[1] 視線の調査よりSERPの最上位にある 広告をユーザは⾒ていないことがわかる

バナーブラインドネスが 本当にブラインドであるかどうかを調査すること 広告はユーザにどのように影響するか • RQ1. 検索パフォーマンスにおいて • RQ2. 検索⾏動において • RQ3. 検索体験において ⽬的 6

• ２つの仮説を検証 1. ユーザの検索パフォーマンス，検索⾏動，検索体験は， 広告の存在による影響を受けない 2. 広告はユーザの検索パフォーマンス，検索⾏動，検索体験に 影響を与える • 仮説の基となった実験における３つのテーマ 1. 広告のどのような⾯がバナーブラインドネスの原因となるか 2. 周辺視野にある広告が混乱を引き起こし，認知を過負荷にする可能性が あることを Visual Crowding の理論がどのように⽰唆しているか 3. ISRに関連した視覚的に複雑なWebページの研究という位置付け • テーマは，広告，マーケティング，ISR，⼼理学などの多分野の 研究を参考 検証する仮説 7

仮説とテーマの基となる予想 1. 情報探索中，ユーザの⾏動とパフォーマンスは広告の影響を受けない 2. 広告を含むWebページは含まないWebページよりも煩わしいと⾒なされる 3. 広告の存在は，ユーザの認知に負荷をかけ，情報探索の⽬標達成から ユーザの注意をそらし，検索時間が⻑くなり，検索パフォーマンスを低下する 4. 広告が存在する場合，ユーザは適合⽂書の発⾒が難しくなり，Webページの 視覚的魅⼒が低下するなど，検索タスクに対するネガティブな認識をもたらす 5. 広告の存在は，退屈さを軽減し，ユーザーのインタラクションを増やし， より⾼い検索パフォーマンスをもたらす 既存研究から導いた５つの予想 8

絶滅危惧 予防措置 国別 • ユーザはトピックごとに与えられた課題に対して適合する⽂書を探す ‒ データ: TREC Common Core 2017 collection, Ads of the World database 実験の概要 9 図は論⽂より引⽤ 被験者 2. ⼊⼒ SERPs 3. 適合すると思う ⽂書を選択 トピックと課題 1 広告あり 広告なし トピック：野⽣動物の絶滅 課題 ：アメリカ以外の国において，各国に⽣息する野⽣動物の絶滅を 防ぐために⾏っている努⼒について述べた記事を探してください 何が適合しているか否かは説明される 空港のセキュリティ， 野⽣動物の絶滅， 熱帯性暴⾵⾬， ⼈⼝増加の抑制， 海賊⾏為 トピック トピックは8分で⾃動切り替え 実験後アンケート

検索システム 10 • 標準的な検索インターフェースを採⽤ ‒ 参加者がクエリを発⾏すると 1ページあたり10個のSERPが表⽰ ‒ 参加者は任意のリンクをクリックして ⽂書全体を表⽰ ‒ 適合性があると思えば ブックマークすることができる • タスク遂⾏に重要なボタンの追加 1. View bookmarks: 参加者が既に保存した ドキュメントを確認するため 2. Show task: 参加者が特定のタスクを 思い出すことができるようにするため 3. End task: 参加者が⼗分な情報を⾒つけたと 感じたときに次のセクションに移るため • アルゴリズムはBM25（𝛽 = 0.75） 実験で使⽤された検索システムのUI 図は論⽂より引⽤ 広告あり 広告なし 情報が上部に表⽰さ れるようなバイアス がかからないように 空⽩が残された

• 広告の形式は静的バナー広告 • Ads of the World[2] データベースから⼊⼿ ‒ 各トピックについて，関連する広告と関連しない広告を選択 ‒ 関連する広告は，検索タスクに適しているかどうかで定義 • 3⼈のボランティアが⼿動で定義 • すべての評価者が同意することで，広告が適しているかどうかが判断 結論の出ない広告は破棄 ‒ トピックごとに40個の関連する広告を集めた6つのデータベースと すべてのトピックで関連しない200個の広告を集めた1つのデータベースを 作成 広告のデータ 11 [2] https://www.adsoftheworld.com/

• 推定⽅法： 被験者が保存した⽂書のうち与えられたトピックに適合すると 考えられる TREC 適合⽂書数をカウント • 具体的な算出⽅法 ‒ 保存された⽂書の総数に対する保存した適合⽂書数の割合 (保存した適合⽂書数/総保存⽂書数) ‒ 参加者がSERPの中でカーソルを置いた適合⽂書数に対する保存した適合⽂書数の割合 (保存した適合⽂書数/ホバーした適合⽂書数) ‒ 実際にクリックされた適合⽂書数に対する保存した適合⽂書数の割合 (保存した適合⽂書数/クリックした適合⽂書数) 評価指標：検索パフォーマンス 12

• 推定⽅法： 参加者の検索⾏動を探るために検索システムとのさまざまなやりとりを トピックごとに記録 • 具体的な算出⽅法 ‒ 既存の ISR 研究で広く使われてきた以下のような⾏動指標 • 発⾏されたクエリの数 • クエリの平均⻑さ • ホバーしてクリックしたドキュメント数（適合性があると事前に評価されたものを含む） ‒ ログから以下のような時間ベースの指標 • 最初のクリックまでの時間 • 最初に⽂書を保存するまでの時間 • トピックごとのクエリに費やした総時間 • SERPsに費やした総時間 • ドキュメントの閲覧に費やした総時間 • トピックごとの総セッション時間 評価指標：検索⾏動 13

• 推定⽅法： 参加者の主観的な検索体験は各条件の後に複数のアンケートを⽤いて分析 • 具体的な算出⽅法 ‒ タスクに焦点を当てた調査 • どのくらい学習したか？ • トピックはどのくらい⾯⽩かったか？ • 課題はどのくらい難しかったか？ ‒ ユーザ視点の調査 • フラストレーション，結果の確信度，楽しさ，⾃分の決断に対する満⾜感， 疲れ ‒ システムに焦点を当てた調査 • どれほど美的に魅⼒のあるシステムであったか？ • どれほど退屈なシステムであったか？ • どれほど煩わしいシステムであったか？ • どれほど混乱する・紛らわしいシステムであったか？ • どれほど注意を引くシステムであったか？ 評価指標：検索体験 14

• ４つの広告条件 1. 広告なし（ベースライン） 2. 広告あり：タスクのトピックに関する広告を表⽰ 3. 広告あり：タスクのトピックと異なる広告を表⽰ 4. 広告あり：タスクのトピックに関する広告と異なる広告を混在 • この研究では広告の種類の影響までは検証していない ‒ 種類：バナー，クリックイベント，ゲームなど 表⽰する広告の条件 15

実験結果：検索パフォーマンス 16 • 検索タスクの精度として，両条件ともに保存した ⽂書数と適合⽂書数は同程度 • 適合⽂書をクリックした数のうち，保存された適合 ⽂書数は両条件で同程度 • しかし，保存した適合⽂書のうち，何件が適合⽂書かに ついてはNAの参加者の⽅が精度が⾼いという傾向が⾒ら れた • 同様に，ホバーして保存した適合⽂書の数についても， NAの⽅が⾼い精度を達成しているという有意差 • タスク後のパフォーマンスを分析したところ， NAの参加者はAAの参加者に⽐べて，検索で得られた概 念を全体的に思い出すことができるという有意な効果が ⽰された

実験結果：検索⾏動 17 • タスクの完了に要した時間については，NA条件の参加者は平 均 357.44 秒かかったのに対し，AA条件の参加者は平均 402.45 秒と約 13％ ⻑くなっている（この差は有意） ‒ 広告が表⽰されているときに，参加者が問い合わせと⽂書の閲覧の両⽅に有意に多くの時間を費やし たことに起因すると考えられる ‒ AAの時にもSERPを⾒る時間は⻑かったがその差は有意ではない • 両条件とも最初のクリックまでの時間は同程度であったが， NAの参加者は最初のドキュメントを保存するまでの時間が約 26％と⾮常に短い ‒ 時間に⼤きなばらつきがあったにもかかわらず，条件間の検索⾏動の他の測定値は有意に達しなかっ た ‒ 例えば，クエリの発⾏数と平均クエリ⻑（NA:29.16、AA:28.41⽂字）は，両条件ともに同程度であっ た • 参加者は条件に関係なく，最も近い整数に丸めると同じ量の適 合⽂書にカーソルを合わせたり，クリックしたりする ‒ しかし，興味深いことに有意ではないが，AAではカーソルを合わせる回数 が約４回多く，クリックする回数も約１回多くなる傾向

実験結果：検索体験 18 • タスクに焦点を当てた調査: NAは「タスクを完了するのが簡単だった」，「より多くのことを学んだと思う」と答 えた参加者が有意に多かった • ユーザ中⼼の調査: 有意差のある特に⼤きな差はなかった • システムに焦点を当てた調査: 広告があるからといって，システムがわかりにくくなったとか，美観が悪くなった と感じることはなく，条件間で有意な差はなく NAとAA の中央値と平均値は⾮常に似ていた

• 情報検索におけるオンライン広告の影響を調査 ‒ ユーザの検索パフォーマンス，ユーザ⾏動，ユーザ体験に与える影響 • 情報探索において広告が存在する場合，広告が溢れかえることで過剰な負荷 がかかりユーザの認知に影響が及ぶことを初めて証明 • 情報検索におけるオンライン広告の影響は複雑であることがわかった ‒ 広告がある場合，ユーザはタスク完了により時間がかかった ‒ 広告がある場合，ユーザが検索した情報を記憶保持する能⼒が阻害されることが わかった ‒ 広告があるからといって，ユーザの体験にネガティブな影響が出るとは限らない • 今後のこの研究分野の展開 ‒ 情報探索における広告の影響の理解 ‒ ユーザにとってどのように広告を表⽰することがユーザにとって 最も有益な検索結果とポジティブな体験をもたらすのかの理解 まとめ 19