Upgrade to Pro — share decks privately, control downloads, hide ads and more …

 信頼できる情報獲得に対する心がけと普段のWeb検索行動の関係分析 

711a843fe96222cc55dc9ff9b8549ecd?s=47 Takehiro Yamamoto
September 13, 2019

  信頼できる情報獲得に対する心がけと普段のWeb検索行動の関係分析 

711a843fe96222cc55dc9ff9b8549ecd?s=128

Takehiro Yamamoto

September 13, 2019
Tweet

More Decks by Takehiro Yamamoto

Other Decks in Research

Transcript

  1. 信頼できる情報獲得に対する ⼼がけと普段のWeb検索⾏動の 関係分析 兵庫県⽴⼤学 社会情報科学部 ⼭本 岳洋 1

  2. ຊ೔ͷߨԋͷ಺༰ 2 Takehiro Yamamoto, Yusuke Yamamoto, Sumio Fujita: Exploring People’s

    Attitudes and Behaviors Toward Careful Information Seeking in Web Search, Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM 2018), pp.963-972, October 2018. 静岡⼤学 ⼭本 祐輔 先⽣, Yahoo! JAPAN研究所 藤⽥ 澄男 様 との共著論⽂[CIKM2018]の紹介
  3. എܠ΢Σϒ৘ใ͸ৗʹਖ਼͍͠Θ͚Ͱ͸ͳ͍ l 健康情報に関する “yes-no”型の検索クエリの 半数以上は 1位の検索結果が誤った情報 を 含んでいた [White2013] 3

    R. W. White. 2013. Beliefs and biases in web search. In SIGIR. 3–12.
  4. ৴པͰ͖Δ΢Σϒ৘ใΛ֫ಘ͢ΔͨΊʹ 4 情報システム による 信頼性評価 ユーザ⾃⾝ による 情報精査

  5. ৴པͰ͖Δ৘ใ֫ಘͷͨΊʹඞཁͳߦಈ 5 慎重な 検索ユーザ 検索結果の上位だけ なく下位も確認する できるだけ検索に 時間をかけて調べる 検索ツールを使って 最新情報を⾒る

    ページの著者を 確認する ページの情報が 最新か確認する 著者の意図を 意識する 普段このような⾏動をどの程度⼼がけているか︖ [Metzger+2003,2015][山本ら2019]
  6. ͜Ε·ͰͷݚڀΞϯέʔτௐ͕ࠪओ l アンケートに基づいた意識調査 – [Metzger+2003,2015] – ウェブアクセスリテラシー尺度 [⼭本ら2019] l 本研究の動機

    – アンケート調査だけでは 実際のウェブ検索⾏動 は⼗分には分からない 6 M. J Metzger et al. Believing the unbelievable: understanding young people’s information literacy beliefs and practices in the United States. Journal of Children and Media 9, 3 (2015), 325–348. M. J Metzger et al. College student Web use, perceptions of information credibility, and verification behavior. Computers & Education 41, 3 (2003), 271–290. 山本祐輔ら,ウェブアクセスリテラシー尺度の開発, 情報処理学会論文誌: データベース (TOD80), 12(1), 24-37, 2019.
  7. 7 ৴པͰ͖Δ৘ใΛ֫ಘ͠Α͏ͱ͢Δ ৺͕͚ͱ ීஈͷ ΢Σϒݕࡧߦಈ ʹؔ܎͸͋Δ͔ʁ

  8. ݕূଶ౓ 8 検証態度の高い 検索ユーザ 検索結果の上位だけ なく下位も確認する できるだけ検索に 時間をかけて調べる 検索ツールを使って 最新情報を⾒る

    ページの著者を 確認する ページの情報が 最新か確認する 著者の意図を 意識する このような⾏動を普段どの程度⼼がけているか = 検証態度 と定義
  9. ຊݚڀͰऔΓ૊ΜͩϦαʔνΫΤεγϣϯ 9 9 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖

    ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
  10. ෼ੳͷΞϓϩʔν 10 アンケート調査 と クエリログ分析 の併⽤ Yahoo検索ユーザ Yahoo! ウェブ検索 クエリログ

    1,491⼈ Yahoo! クラウドソーシング
  11. 11 アンケート調査

  12. ϦαʔνΫΤεγϣϯ 12 12 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖

    ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
  13. Ξϯέʔτௐࠪ l サービス – Yahoo! クラウドソーシング l ⼈数 – 1,491

    名 – アンケート調査に参加する前に,調査の結果が 学術研究⽬的に利⽤されること,また,Yahoo! ウェブ検索の検索ログデータと結びつけて分析さ れることを説明する画⾯を明⽰的に提⽰し,同意 したユーザのみ実際のアンケート調査に参加 l 実施時期 – 2017年11⽉ 13
  14. ௐࠪͨ͠ཁҼ l 検証態度 l 検証態度に影響を与えると思われる要因 (主な要因は[Mezgter2015]を参考に選定) – ウェブ情報の信じやすさ – 個⼈の思考特性

    – 学歴 – 検索専⾨性 14
  15. ݕূଶ౓ͷଌఆ 15 ウェブページの書き⼿が誰なのかを確認する 検索結果の上位のウェブページだけでなく、 下位のウェブページも閲覧するようにしている したことがない ほとんど 常にする 1: 5:

    ✓ 1: 5: ✓ 15 できる限り時間をかけて調べたうえで 検索をやめるようにしている 1: 5: ✓ 検証態度 ウェブページで記述されている情報が 最新か確認する 項⽬ 1: 5: ✓ 既存研究 [Metzger+2003, Metzger+2015, ⼭本ら2019] に基づき, ウェブ検索やページ閲覧時に取るべき⾏動 15 項⽬ を⽤意 スコアの平均
  16. ΢Σϒ৘ใͷ৴͡΍͢͞ 16 信じない 可能性が高い 信じる 可能性が高い 1: 5: ✓ あなたがウェブ上で出会った「ニュース情報」を

    正しいと信じる可能性はどの程度ですか 1: 5: ✓ 検索エンジンがランキングしたウェブページから 得られる情報を正しいと信じる可能性はどの程度ですか 13 項⽬ ウェブページや検索結果ページから得られる情報を どの程度信じられると感じているかを測定 ウェブ情報の信じやすさ スコアの平均 [Metzger+2003, Metzger+2015]
  17. ݸਓͷࢥߟಛੑ ͭ঺հʣ 18 そう思わない そう思う 1: 5: ✓ 深く考えなければならないような状況は 避けようとする

    (reverse coded) 1: 5: ✓ 簡単な問題よりも複雑な問題の方が好きだ スコアの平均 NFC Need for Cognition (NFC) 深い認知的活動をどれだけ好むかに関する個⼈の嗜好 [神⼭ら1991]の⽇本語訳を参考 5 項⽬
  18. ֶྺɾݕࡧઐ໳ੑ l 学歴 – 学部卒相当以上 – それ以外 l 検索専⾨性 –

    NOTや “ ”(⼆重引⽤符)を使って 検索したことがあると回答 – それ以外 19
  19. ϦαʔνΫΤεγϣϯ 20 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖

    ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 検索専⾨性 検証態度と これらの要因との 関係を分析
  20. ݕূଶ౓ ͱ /'$ʹ ਖ਼ͷ૬ؔ 21 ピアソンの積率相関係数 検証態度 ウェブ情報の 信じやすさ Need

    For Cognition 検証態度 --- -.08 +.28 ウェブ情報の 信じやすさ --- -.07 Need For Cognition --- ① 検証態度 と Need for Cognition に 正の相関(+0.28) ② 検証態度 と ウェブ情報の信じやすさ の負の相関は 極めて弱い(-0.08) ウェブ情報を信頼しないことと, 気をつけて情報を調べようとすることは関連が弱い︖ ② ①
  21. ֶྺͱݕࡧઐ໳ੑ͸ ݕূଶ౓ͱؔ܎͕͋Δ 22 検証態度 ウェブ情報の 信じやすさ Need For Cognition 学歴

    学部卒以上 (n = 909) 2.98 3.40 3.46 それ以外 (n = 549) 2.88 3.49 3.37 検索専⾨性 専⾨性あり (n = 457) 3.20 3.37 3.55 専⾨性なし (n = 1,034) 2.80 3.45 3.37 ① ② ① 学部卒以上の学歴を持つ⼈の⽅が検証態度は⾼い ② 検索の専⾨的知識を持つ⼈の⽅が検証態度は⾼い
  22. 32ͷ·ͱΊ 23 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖ ︖

    ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 検索専⾨性 検証態度と関連する要因: – Need for Cognition – 学歴 – 検索専門性
  23. 24 クエリログ分析

  24. ϦαʔνΫΤεγϣϯ 25 25 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ1 検証態度の⾼いユーザとそうで ないユーザを分ける要因は︖

    ︖ ウェブ情報の 信じやすさ 個⼈の思考特性 学歴 RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖ クエリ 時間 クリック ︖ 検索専⾨性
  25. ΫΤϦϩά෼ੳ l ユーザ数: 1,491名 = アンケートに参加したユーザ l サービス: ヤフーWeb検索 l

    期間: 2016年10⽉〜2017年10⽉ (13ヶ⽉間) 26
  26. ෼ੳͷ४උɿݕূଶ౓ʹΑΔάϧʔϓ෼͚ 27 n=1,491 上位10% High 11% - 50% 51% -

    100% Medium Low アンケート調査 から得られた 検証態度 スコア n =137 n =561 n =739
  27. ෼ੳͷ४උɿछྨͷσʔληοτΛ༻ҙ 28 1. 全てのセッションを分析対象 – 問題点: 「facebook」や「WebDB2019」のような 調べ物ではない検索(c.f., 誘導型の検索意図[Broder2002])も 多く分析対象になってしまう

    2. ⻑めのセッションだけを分析対象 – 1セッションあたり3つ以上の 検索クエリを投⼊しているセッション – 調べ物をしているセッションが多く残ることを期待 l 結果としてはどちらのデータも同じ傾向を⽰した – 今回は全てのセッションを分析対象としたときの結果を掲載
  28. Ծઆ 29 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ 検証態度の⾼いユーザほど,1回のセッションあたりに 29 クエリ 時間

    クリック 多くのクエリ を投⼊ ⻑い時間を かける 多くのページを, 下位まで閲覧
  29. جຊతͳηογϣϯ౷ܭྔ 30 検証態度 High Medium Low 1セッション当たりの クエリ数 2.05 2.10

    2.02 1セッションにかける 時間 1,668 1,884 2,030 1セッションあたりの クリック数 3.23 3.17 3.14 投⼊する クエリの数 や 検索にかける時間, 閲覧するページ数 などに,検証態度の違いによる 有意な差は⾒られなかった
  30. ΫϦοΫ͢Δݕࡧ݁ՌͷॱҐ 31 何位の検索結果をクリックすることが多いか? 順位

  31. ΫϦοΫ͢Δݕࡧ݁ՌͷॱҐ 32 順位 検証態度の⾼いユーザは 1位の⽂書をクリックする 割合が少ない 検証態度の ⾼い⼈ そうでない⼈

  32. ΢Σϒ৘ใͷ৴͡΍͢͞ͰݟΔͱ 33 ウェブ情報を 信じやすい⼈ そうでない⼈

  33. ߟ͑ΒΕΔղऍ 34 検証態度 ウェブ情報の信じやすさ ポジションバイアス [Yue+2010] • ランキング上位の検索結果ほど, 本来の適合性以上にクリックされやすいことが知られている 検証態度の⾼いユーザはポジションバイアスの影響が⼩さい︖

    Yue+. 2010. Beyond position bias: Examining result attractiveness as a source of presentation bias in clickthrough data. In WWW. 1011–1018.
  34. ͪͳΈʹֶྺͰΈΔͱ 35 学部卒相当以上 それ以外 学歴と検証態度は,アンケート調査の結果では 関連があったものの,検索⾏動は 逆の傾向 を⽰している

  35. ௐ΂Δ಺༰ʹҧ͍͸ͰΔ͔ʁ 36 本当 xxx yyy * 1 証拠 ある物事が本当かどうかを検証するための検索を どの程度するか︖

    仮定: 「証拠」や「本当」といった, 特定の語をクエリに含めて検索する xxx yyy *1 Y. Yamamoto and T. Yamamoto, Query priming for promoting critical thinking in web search, CHIIR2018 証拠,調査,検証,比較,嘘,本当,なぜ・・・ 既存研究 [Yamamoto+2018] を元に22語の検証語を⽤意
  36. ݕূଶ౓ͷߴ͍Ϣʔβ΄Ͳ ݕূޠΛΫΤϦதʹ༻͍Δׂ߹͕ଟ͍ 37 1,491ユーザの 平均 検証態度 検証語を含んだクエリで 検索する割合(相対) 検証態度の⾼いユーザほど, 物事を検証するための検索をする機会が多い

  37. ֶྺͰ΋ݟͯΈΔͱ 38 検証態度 学歴 検証態度の学歴で異なるパターンを⽰す

  38. 32ͷ·ͱΊ 39 39 検証態度の⾼い 検索ユーザ そうでない 検索ユーザ RQ2: 検証態度の違いによって 普段のウェブ検索⾏動が異なるか︖

    クエリ 時間 クリック ︖ 検証態度の⾼いユーザは 1位の検索結果を クリックする割合が少ない 検証態度の⾼いユーザは 物事を検証するような 検索をする割合が多い
  39. ߟ࡯ݕূଶ౓ͷֶྺͱͷؔ܎ l アンケート調査 – 学歴のあるユーザは⾼い検証態度を持つ傾向 l ログ分析 – 学歴と検証態度では異なる傾向を⽰した l

    学歴の⾼いユーザは⾼い批判的思考能⼒を 持つが,ウェブ検索に関する知識やスキル を持つかは別である可能性 – アンケート調査[⼭本ら2019] でも同様の傾向 – 例: ポジションバイアス,検索スキル 40
  40. ·ͱΊ l 検証態度の⾼い⼈は, ウェブ⾏動⾏動にも特徴が出ている – 1位以外も⾒る,物事を検証するような検索をする l ⾼い検証態度を持っていない⼈が そうした態度を持ち,慎重な検索をするように させることには価値があるはず

    41 ৴པͰ͖Δ৘ใΛ֫ಘ͠Α͏ͱ͢Δ ৺͕͚ͱ ීஈͷ ΢Σϒݕࡧߦಈ ʹؔ܎͸͋Δ͔ʁ