WebDB2019発表資料

発表タイトル：批判的なウェブ検索を促進するクエリプライミング

Transcript

1. 批判的なウェブ検索を促進する クエリプライミング WebDBフォーラム 2019 山本 祐輔（静岡大学） 山本 岳洋（兵庫県立大学） 2019年9月9日 ※ 本内容はACM CHIIR 2018およびTOD80で発表された内容です
2. ۄੴࠞᔿͷ΢Σϒ৘ใ 医療専門家のチェックを受けているウェブサイト 50%未満* * E. Sillence et al., “Trust and Mistrust of Online Health Sites”, ACM CHI, pp.663-670, 2004 https://minnakenko.jp より https://www.dermatol.or.jp/qa/ より 2
3. ۄੴࠞᔿͷ΢Σϒ৘ใ 3 ウェブ検索エンジンの上位に表示される 結果のうち，誤った情報は ≒ 50%* * R. White, “Beliefs and Biases in Web Search”, ACM SIGIR, pp.3-12, 2015
4. ৘ใֶ͕औΓಘΔΞϓϩʔν 4 信頼できる 情報の獲得 信頼性分析の （半）自動化
5. ৘ใ৴པੑ෼ੳγεςϜͷྫ *2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment of Web Search Results. In Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011. *1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808. TruthFinder*1 あるオブジェクトに関する ファクトの信頼性をスコアリング CowSearch*2 信頼性判断に重要とされる様々な尺度で ウェブページの信頼性を可視化 分析結果は情報の正確さを保証しているわけではない 技術の限界 5
6. ৴པͰ͖Δ৘ใΛಘΔͨΊʹඞཁͳ͜ͱ 信頼できる 情報の獲得 信頼性分析の （半）自動化 6 ユーザ自身による 情報精査
7. 57% ΢Σϒ৘ใΛ৴༻͍ͯ͠Δਓ͸༧૝Ҏ্ʹଟ͍ 82% ウェブ情報の信頼性を疑った ことがない15〜35歳の日本人*1 *1 Adobe Inc., “The State of Content : Rules of Engagement”, 2015 *2 S.Nakamura et al., “Trustworthiness analysis of Web search results (ECDL 2007) 気にしない、 気にしない。 検索エンジンが返す結果ページの 信頼性を疑わない日本人*2 Googleだったら 信⽤できる! 7
8. ৴པͰ͖Δ৘ใΛಘΔͨΊʹඞཁͳ͜ͱ 信頼できる 情報の獲得 信頼性分析の （半）自動化 8 ユーザ自身による 情報精査 注意深い（批判的な） 情報精査への動機付け
9. Q. 9 検索ユーザに批判的な情報精査を 促すにはどうすればよいか？
10. 11 ఏҊɿΫΤϦϓϥΠϛϯά プライミング効果に着目し、情報精査をする気にさせる 単語をクエリ補完・推薦に溶け込ませる ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋ ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍ ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ 情報精査の促進効果が 期待される語（クエリプライム）
11. ϓϥΠϛϯάޮՌ 忘れっぽい はげ ごま塩 シワ プライム刺激 おじいさん 観念を想起 刺激を受けた人の 行動が変化 歩行速度がゆっくりに 先行する刺激（プライム）の処理が後の行動 を促進または抑制する効果 Bargh, J. A., Chen, M. and Burrows, L.: Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action, Journal of personality and social psychology, 71(2), pp. 230-244 (1996). 12
12. ΫΤϦϓϥΠϛϯάͷૂ͍ ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋ ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍ ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ B
    ΫΤϦϓϥΠϛϯά
    PO
    ΫΤϦิ׬ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) 刺激（プライム語） 13
13. ΫΤϦϓϥΠϛϯάʹΑͬͯظ଴͞ΕΔߦಈมԽ 14 批判的な 情報精査 閲覧ページ数が増える 多様な話題をチェックする 検索・閲覧時間が長くなる
14. ϦαʔνΫΤενϣϯ 15 RQ1 RQ2 RQ3 クエリプライミングはユーザのウェブ検索・閲覧行動に 影響を与えるか？ クエリプライミングが機能する場合，その効果はクエリ プライミングUIを使用後も持続するか？ クエリプライミングの効果は学歴と関係があるか？
15. ใࠂࣄ߲ 16 1. クエリプライミングの設計 2. プライム語の収集 3. 評価実験
16. プライム語の収集 1 17
17. ΫΤϦϓϥΠϛϯάͷૂ͍ʢagainʣ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) プライム語 比較 検証 分析 調査 ? … …
18. ൷൑తࢥߟଶ౓ 19 *1 Robert H. Ennis. A taxonomy of critical thinking dispositions and abilities (1987) *2 T. Kusumi et al., “Risk Perception and Risk Talk: The Case of the Fukushima Daiichi Nuclear Radiation Risk”. Risk Analysis (2017) 態度的側面 スキル的側面 批判的思考* l 論理的思考の自覚 l 探究心 l 客観性 l 証拠の重視 クエリプライミングで 喚起させる具体的態度 主観にとらわれることなく、客観的に 物事を捉え、適切な基準に基づき 判断しようとする思考
19. ϓϥΠϜܹࢗʢϓϥΠϜޠʣͷऩूͱߜΓࠐΈ by Ϋϥ΢υιʔγϯά 批判的思考態度を持った 人物から連想する性格と行動 批判的思考態度を持った 人物が入力しうるクエリ語 批判的思考態度を持つ人物を 語から連想する度合いの評価 収集タスク1 収集タスク2 絞り込みタスク Lancers.jp Lancers.jp Lancers.jp プライム候補語 20
20. ධՁ஋ͷߴ͔ͬͨϓϥΠϜޠީิTOP3 28 論理的思考の自覚 探究心 客観性 証拠の重視 原理（1.37） 証拠（1.22） 仕組み（1.22） 調査（1.37） 研究（1.33） 検証（1.31） 比較（1.22） 統計（1.24） 分析（0.98） 根拠（1.74） 実証（1.74） データ（1.56） 各態度の上位3件のうち、意味が重複しない 10つの語をクエリプライミングに用いる
21. ユーザ実験 2 29
22. ΫΤϦϓϥΠϛϯάͷૂ͍ʢ࠶ܝʣ ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋ ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍ ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ B
    ΫΤϦϓϥΠϛϯά
    PO
    ΫΤϦิ׬ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 刺激（プライム語） - 閲覧ページ数の増える - 多様な話題を確認する - 検索・閲覧時間が長くなる
23. ࣮ݧσβΠϯ 31 2x2の被験者間実験 UI 学歴 • Proposed UI = クエリプライミング実装UI • Control UI = 一般的な検索UI • 大学卒業以上 • 大卒未満
24. 2ͭͷ࣮ݧγεςϜ 32 Control 既存のウェブ検索エンジンで 表示されるクエリ推薦語を8個提示 Proposed Control UIで表示される語のうち 半分をプライム語で置換 ※ クエリ推薦語はGoogle Suggest APIから取得
25. λεΫ 33 あるトピックについて指定のシステムを使って検索。 満足できる情報を見つけ次第、 ͋ͳͨ͸ʮ౶೘පͷ࣏ྍ๏ʯʹؔͯ͠ௐ΂͍ͯΔͱ͠· ͢ɻʮγφϞϯ͸౶೘පʹ༗ޮʯͰ͠ΐ͏͔ʁݕࡧΤϯ δϯΛ࢖ͬͯ৘ใΛूΊɼ༗ӹͳ৘ใΛ୳ͦ͏ͱ͍ͯ͠ Δͱ͠·͢ɻʮݕࡧ։࢝ʯϦϯΫΛΫϦοΫͯ͠ݕࡧΛ ։͍࢝ͯͩ͘͠͞ɻ͋Δఔ౓ೲಘͷ͍͘৘ใ͕ಘΒΕ࣍ ୈɼݕࡧΛऴ͍ྃͯͩ͘͠͞ɻͦͯ͠ɼ࣭໰ʹର͢Δ౴ ͑ɼ͓Αͼ౴͑ͷܾΊखʹͳͬͨ΢ΣϒϖʔδΛ͓஌Β ͍ͤͩ͘͞ɻ 回答とそれが掲載されたURLを報告し，タスク終了
26. ݕࡧγεςϜ 34 クエリ補完 & クエリ推薦時にクエリ語が推薦される × 糖尿病 シナモン × 糖尿病 シナモン 糖尿病 シナモン 薬 糖尿病 シナモン ロール Web Search 糖尿病 シナモン 薬 糖尿病 シナモン ロール 糖尿病にお勧めのXXX …の効果 XXXXXXのYYYY 検 索 結 果 中 の ⽂ 書 検索トップ画⾯ 検索結果画⾯
27. λεΫઃܭʢ1/2ʣ 35 タスク 1 by control UI タスク 1 Plain phase … Participant 1 … Participant 2 by proposed UI タスク 8 by control UI タスク 8 by proposed UI … Intervention phase (8タスク) 実験協力者は合計10回の検索タスクを実施 • 検索タスクの最初の8回は，2種類の検索UIのうち片方のUIを使用 (intervention phase) • タスクの順番はランダムに割り当て
28. λεΫઃܭʢ2/2ʣ 36 タスク 9 タスク 9 事後 アンケート Participant 1 … Participant 2 by plain UI タスク 10 タスク 10 Plain phase (2タスク) using control UI using proposed UI by plain UI by plain UI by plain UI Intervention phase 実験協力者は合計10回の検索タスクを実施 検索タスクの最後の2回は，クエリ推薦・補完が無効化されたUI (plain UI) を使用 (plain phase) 事後 アンケート
29. ඃݧऀ & ݕࡧτϐοΫ 37 被験者 118 名 on Lancers.jp 検索トピック ウェブ上に複数の回答候補が存在する10検索トピック （55名：大卒，63名：非大卒） o 電球の発明者は誰？ o 望遠鏡の発明者は誰？ o 地球温暖化の原因は何？ o 糖尿病にシナモンは有効か？ o ビタミンCは肺炎に有効か？ o ココアは高血圧に有効か？
30. ଌఆ߲໨ 38 検索・閲覧行動 - 検索回数（検索キーワード投入回数） - 検索結果一覧ページの閲覧回数 - タスク所要時間 証拠として提出されたウェブページ - 提出されたウェブページの数（証拠数） - ページ作成者の専門性が確認できるページ数 - ページ作成者の連絡先が確認できるページ数, etc. 事後アンケート 回答を決定する際に重視した観点 （ページ作成者，コンテンツの客観性，…）
31. 結果 3 39
32. InterventionϑΣʔζʹ͓͚ΔΫΤϦൃߦճ਺ 40 Intervention phase Interaction (p <.01) UI (p <.01) Control Priming UI condition 1.0 1.2 1.4 1.6 1.8 2.0 2.2 2.4 Number of issued queries not university-educated university-educated • Not university-educated ▪ University-educated Control UI Proposed UI クエリ発行回数 クエリプライミングUIは、大卒被験者にのみ クエリ発行回数を増加させた (p < .01)
33. InterventionϑΣʔζʹ͓͚Δݕࡧ݁ՌҰཡϖʔδӾཡճ਺ Intervention phase 4.72 4.14 6.13 4.9 0 1 2 3 4 5 6 7 University-educated Not university-educated Control Proposed UP UP UI (p<.05) 検索結果一覧ページ 閲覧回数 クエリプライミングUIは、学歴にかかわらず 検索結果一覧ページ閲覧回数を増加させた (p < .05)
34. InterventionϑΣʔζʹ͓͚Δূڌϖʔδͷఏग़਺ 42 Intervention phase Control Priming UI condition 1.0 1.2 1.4 1.6 1.8 2.0 2.2 2.4 2.6 Number of evidence URLs not university-educated university-educated Control Proposed • Not university-educated ▪ University-educated Interaction (p<.05) 証拠ページの提出数 Education (p<.05) クエリプライミングUIは、大卒被験者にのみ 証拠ページの提出数を増加させた
35. ҙࢥܾఆͷ؍఺ʢࣄޙΞϯέʔτΑΓʣ 46 Control Priming UI condition −1.0 −0.5 0.0 0.5 1.0 1.5 2.0 Importance of content author not university-educated university-educated ページ作成者を考慮する度合い Control Proposed • Not university-educated ▪ University-educated Interaction (p<.05) Education (p<.01) 大卒被験者に関してのみ，クエリプライミングUI はコンテンツ作成者を考慮する度合いを高める 傾向にあった（p<.01）
36. ϦαʔνΫΤενϣϯ΁ͷճ౴ʢ1/3ʣ 47 RQ1 クエリプライミングはユーザのウェブ検索・閲覧行動に 影響を与えるか？ A. YES - クエリ発行回数の増加（大卒only） - ウェブ検索結果一覧ページ訪問数の増加 - 提出された証拠ページ数の増加（大卒only）
37. ϦαʔνΫΤενϣϯ΁ͷճ౴ʢ2/3ʣ 48 RQ2 クエリプライミングが機能する場合，その効果はクエリ プライミングUIを使用後も持続するか？ A. 部分的にYES - クエリ発行数の増加（intervention & plainフェーズ） - ウェブ検索結果一覧ページの訪問回数 （intervention & plainフェーズ） - より長期間スパンでの検証が必要
38. ϦαʔνΫΤενϣϯ΁ͷճ౴ʢ3/3ʣ 49 RQ3 クエリプライミングの効果は学歴と関係があるか？ A. YES 大卒被験者には，クエリプライミングによるポジティブ な効果が発現する - クエリ発行回数 - 証拠ページの提出数 - コンテンツ作成者に対する注意意識
39. ٞ࿦ 50 大卒者にクエリプライミングがポジティブに働く理由 o 大卒者は講義・演習や研究活動を通じて，批判的思考 能力が鍛えられている傾向にある 態度・行動変容と情報の正確さ判断結果との関係 o 批判的な情報探索が促進されても，人々は情報の 正確さを適切に判断できるとは限らない o クエリプライミングによって，それらを使おうとする態度が 喚起されたと推測
40. ·ͱΊ プライミング効果に着目した 批判的な情報検索を促進するクエリ補完・推薦の提案 態度・行動変容と信憑性判断の“実際の”パフォーマンス との関係の分析 今後の課題 51
44. Evidence URLs containing authorized reference 55 Query priming led the participants to report web pages with authorized references as evidence in more tasks only in intervention phase (p<.05) 49.6 48.4 61.1 53.9 0 10 20 30 40 50 60 70 University-educated Not university-educated Control Proposed Ratio of tasks where evidence pages contained authorized reference (%) UP UP UI (p<.05) Intervention phase