Upgrade to Pro — share decks privately, control downloads, hide ads and more …

WebDB2019発表資料

Y. Yamamoto
September 09, 2019

 WebDB2019発表資料

発表タイトル:批判的なウェブ検索を促進するクエリプライミング

Y. Yamamoto

September 09, 2019
Tweet

More Decks by Y. Yamamoto

Other Decks in Research

Transcript

  1. ۄੴࠞᔿͷ΢Σϒ৘ใ 医療専門家のチェックを受けているウェブサイト 50%未満* * E. Sillence et al., “Trust and

    Mistrust of Online Health Sites”, ACM CHI, pp.663-670, 2004 https://minnakenko.jp より https://www.dermatol.or.jp/qa/ より 2
  2. ৘ใ৴པੑ෼ੳγεςϜͷྫ *2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment

    of Web Search Results. In Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011. *1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808. TruthFinder*1 あるオブジェクトに関する ファクトの信頼性をスコアリング CowSearch*2 信頼性判断に重要とされる様々な尺度で ウェブページの信頼性を可視化 分析結果は情報の正確さを保証しているわけではない 技術の限界 5
  3. 57% ΢Σϒ৘ใΛ৴༻͍ͯ͠Δਓ͸༧૝Ҏ্ʹଟ͍ 82% ウェブ情報の信頼性を疑った ことがない15〜35歳の日本人*1 *1 Adobe Inc., “The State

    of Content : Rules of Engagement”, 2015 *2 S.Nakamura et al., “Trustworthiness analysis of Web search results (ECDL 2007) 気にしない、 気にしない。 検索エンジンが返す結果ページの 信頼性を疑わない日本人*2 Googleだったら 信⽤できる! 7
  4. 11 ఏҊɿΫΤϦϓϥΠϛϯά プライミング効果に着目し、情報精査をする気にさせる 単語をクエリ補完・推薦に溶け込ませる ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋

    ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍ ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ ஁௣ಿࢼ 情報精査の促進効果が 期待される語(クエリプライム)
  5. ϓϥΠϛϯάޮՌ 忘れっぽい はげ ごま塩 シワ プライム刺激 おじいさん 観念を想起 刺激を受けた人の 行動が変化

    歩行速度がゆっくりに 先行する刺激(プライム)の処理が後の行動 を促進または抑制する効果 Bargh, J. A., Chen, M. and Burrows, L.: Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action, Journal of personality and social psychology, 71(2), pp. 230-244 (1996). 12
  6. ΫΤϦϓϥΠϛϯάͷૂ͍ ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋ ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍

    ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ B ΫΤϦϓϥΠϛϯάPOΫΤϦิ׬ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) 刺激(プライム語) 13
  7. ൷൑తࢥߟଶ౓ 19 *1 Robert H. Ennis. A taxonomy of critical

    thinking dispositions and abilities (1987) *2 T. Kusumi et al., “Risk Perception and Risk Talk: The Case of the Fukushima Daiichi Nuclear Radiation Risk”. Risk Analysis (2017) 態度的側面 スキル的側面 批判的思考* l 論理的思考の自覚 l 探究心 l 客観性 l 証拠の重視 クエリプライミングで 喚起させる具体的態度 主観にとらわれることなく、客観的に 物事を捉え、適切な基準に基づき 判断しようとする思考
  8. ධՁ஋ͷߴ͔ͬͨϓϥΠϜޠީิTOP3 28 論理的思考の自覚 探究心 客観性 証拠の重視 原理(1.37) 証拠(1.22) 仕組み(1.22) 調査(1.37)

    研究(1.33) 検証(1.31) 比較(1.22) 統計(1.24) 分析(0.98) 根拠(1.74) 実証(1.74) データ(1.56) 各態度の上位3件のうち、意味が重複しない 10つの語をクエリプライミングに用いる
  9. ΫΤϦϓϥΠϛϯάͷૂ͍ʢ࠶ܝʣ ஁௣ಿࢼࣨ ஁௣ಿࢼࣨಅҼ ஁௣ಿࢼࣨஂظ ஁௣ಿࢼࣨഇॾ ஁௣ಿࢼࣨ૛ܵ ஁௣ಿࢼࣨ٥֋ ஁௣ಿࢼࣨ٠࣍ ஁௣ಿࢼࣨܧ֗ ஁௣ಿࢼࣨ߹࣍

    ஁௣ಿࢼࣨ␃⍬⏻ ஁௣ಿࢼࣨٵ๲ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ ஁௣ಿ B ΫΤϦϓϥΠϛϯάPOΫΤϦิ׬ 検索者の 行動変化を誘発 批判的思考 態度* 喚起 批判的な情報精査 刺激(プライム語) - 閲覧ページ数の増える - 多様な話題を確認する - 検索・閲覧時間が長くなる
  10. ࣮ݧσβΠϯ 31 2x2の被験者間実験 UI 学歴 • Proposed UI = クエリプライミング実装UI

    • Control UI = 一般的な検索UI • 大学卒業以上 • 大卒未満
  11. ݕࡧγεςϜ 34 クエリ補完 & クエリ推薦時にクエリ語が推薦される × 糖尿病 シナモン × 糖尿病

    シナモン 糖尿病 シナモン 薬 糖尿病 シナモン ロール Web Search 糖尿病 シナモン 薬 糖尿病 シナモン ロール 糖尿病にお勧めのXXX …の効果 XXXXXXのYYYY 検 索 結 果 中 の ⽂ 書 検索トップ画⾯ 検索結果画⾯
  12. λεΫઃܭʢ1/2ʣ 35 タスク 1 by control UI タスク 1 Plain

    phase … Participant 1 … Participant 2 by proposed UI タスク 8 by control UI タスク 8 by proposed UI … Intervention phase (8タスク) 実験協力者は合計10回の検索タスクを実施 • 検索タスクの最初の8回は,2種類の検索UIのうち片方のUIを使用 (intervention phase) • タスクの順番はランダムに割り当て
  13. λεΫઃܭʢ2/2ʣ 36 タスク 9 タスク 9 事後 アンケート Participant 1

    … Participant 2 by plain UI タスク 10 タスク 10 Plain phase (2タスク) using control UI using proposed UI by plain UI by plain UI by plain UI Intervention phase 実験協力者は合計10回の検索タスクを実施 検索タスクの最後の2回は,クエリ推薦・補完が無効化されたUI (plain UI) を使用 (plain phase) 事後 アンケート
  14. ඃݧऀ & ݕࡧτϐοΫ 37 被験者 118 名 on Lancers.jp 検索トピック

    ウェブ上に複数の回答候補が存在する10検索トピック (55名:大卒,63名:非大卒) o 電球の発明者は誰? o 望遠鏡の発明者は誰? o 地球温暖化の原因は何? o 糖尿病にシナモンは有効か? o ビタミンCは肺炎に有効か? o ココアは高血圧に有効か?
  15. ଌఆ߲໨ 38 検索・閲覧行動 - 検索回数(検索キーワード投入回数) - 検索結果一覧ページの閲覧回数 - タスク所要時間 証拠として提出されたウェブページ

    - 提出されたウェブページの数(証拠数) - ページ作成者の専門性が確認できるページ数 - ページ作成者の連絡先が確認できるページ数, etc. 事後アンケート 回答を決定する際に重視した観点 (ページ作成者,コンテンツの客観性,…)
  16. InterventionϑΣʔζʹ͓͚ΔΫΤϦൃߦճ਺ 40 Intervention phase Interaction (p <.01) UI (p <.01)

    Control Priming UI condition 1.0 1.2 1.4 1.6 1.8 2.0 2.2 2.4 Number of issued queries not university-educated university-educated • Not university-educated ▪ University-educated Control UI Proposed UI クエリ発行回数 クエリプライミングUIは、大卒被験者にのみ クエリ発行回数を増加させた (p < .01)
  17. InterventionϑΣʔζʹ͓͚Δݕࡧ݁ՌҰཡϖʔδӾཡճ਺ Intervention phase 4.72 4.14 6.13 4.9 0 1 2

    3 4 5 6 7 University-educated Not university-educated Control Proposed UP UP UI (p<.05) 検索結果一覧ページ 閲覧回数 クエリプライミングUIは、学歴にかかわらず 検索結果一覧ページ閲覧回数を増加させた (p < .05)
  18. InterventionϑΣʔζʹ͓͚Δূڌϖʔδͷఏग़਺ 42 Intervention phase Control Priming UI condition 1.0 1.2

    1.4 1.6 1.8 2.0 2.2 2.4 2.6 Number of evidence URLs not university-educated university-educated Control Proposed • Not university-educated ▪ University-educated Interaction (p<.05) 証拠ページの提出数 Education (p<.05) クエリプライミングUIは、大卒被験者にのみ 証拠ページの提出数を増加させた
  19. ҙࢥܾఆͷ؍఺ʢࣄޙΞϯέʔτΑΓʣ 46 Control Priming UI condition −1.0 −0.5 0.0 0.5

    1.0 1.5 2.0 Importance of content author not university-educated university-educated ページ作成者を考慮する度合い Control Proposed • Not university-educated ▪ University-educated Interaction (p<.05) Education (p<.01) 大卒被験者に関してのみ,クエリプライミングUI はコンテンツ作成者を考慮する度合いを高める 傾向にあった(p<.01)
  20. ϦαʔνΫΤενϣϯ΁ͷճ౴ʢ2/3ʣ 48 RQ2 クエリプライミングが機能する場合,その効果はクエリ プライミングUIを使用後も持続するか? A. 部分的にYES - クエリ発行数の増加(intervention &

    plainフェーズ) - ウェブ検索結果一覧ページの訪問回数 (intervention & plainフェーズ) - より長期間スパンでの検証が必要
  21. 52

  22. Evidence URLs containing authorized reference 55 Query priming led the

    participants to report web pages with authorized references as evidence in more tasks only in intervention phase (p<.05) 49.6 48.4 61.1 53.9 0 10 20 30 40 50 60 70 University-educated Not university-educated Control Proposed Ratio of tasks where evidence pages contained authorized reference (%) UP UP UI (p<.05) Intervention phase