_2023__萩原_Web用研究スライド.pdf

Transcript

1. 萩原諒 山本岳洋（兵庫県立大学） 賛否両論ある検索トピックに おけるウェブページ評価と 意見形成の調査 発表ID 3a-4-2
2. 背景 2 Googleを使って医療の 重要な決定を行う割合 Very frequently + Often：46% 図の引用： Lily Ray. 2020. 2020 Google Search Survey: How Much Do Users Trust Their Search Results? https://moz.com/blog/2020-google-search-survey ウェブ検索を用いて重要な意見形成が行われている • 健康情報 • 緑茶はがん予防に効果があるのか • 賛否両論あるトピック • 小学生に宿題は必要か N = 1100
3. 賛否両論あるトピック 3 賛否両論あるトピック • 小学生に宿題は必要か • 子供にワクチンを打つべきか • 学生服は必要か • 安楽死は合法にすべきか 真偽が明らかになっていなく 賛成意見と反対意見が存在するトピック 賛成意見 反対意見 • 自分が宿題をして成績が伸びた • 勉強の習慣が身につく • 実験結果で効果がないとわかっている • 教師が宿題を確認する時間が必要 小学生に宿題は必要か
4. 偏った情報だけで意見形成は危険 4 小学生に宿題は 必要か検索中 多様な情報 偏った情報 成績向上 成績低下 口論 様々な情報から意見形成が大切 • 自分の意見のデメリットを知る • 自分が望んでいない結果を未然に回避できる • 他人の言っていることを理解しやすくなる • 他人とのコミュニケーションが円滑にいく
5. 本研究の目的 5 • どんなページを参考にしてどうやって意見形成するのかを調査 • 多様な情報からより良い意見形成を促す検索システムの実現 賛否両論あるトピックにおいて，どんなウェブページを参考に してどのように意見を形成しているのかの研究が少ない 両面が書かれていた ページが参考になった 賛成 自分が宿題をして 成績が伸びた 反対 ある実験で効果が ないと知った 実例や体験談は参考に なった 検索後 検索後 小学生に宿題は必要か
6. 関連研究 6 [1] Karl Gyllstromand Marie-Francine Moens. Clash of thetypings: Finding controversies and children’s topics withinqueries. In European Conference on Information Retrieval,pp. 80–91, 2011. [3] 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメント に関するフォーラム, A34–5, 2022. [2] GizemGezici and Aldo Lipani and Y{¥“u}cel Saygin and EmineYilmaz Evaluation metrics for measuring bias in search engine results Inf. Retr. J2021 24 85-113 賛否両論あるトピックについて • クエリが賛否両論あるトピックか特定[1] • 検索結果にバイアスがかかる傾向 [2] 意見形成について • 健康情報に関する真偽が明らかになっているトピックに おける意見形成[3] 検索システムの分析 検索者とのインタラクションを考慮した分析は少ない 賛否両論あるトピックにおける意見形成の分析は少ない
7. リサーチクエスチョン 7 • どのようなウェブページを 参考にしているのか RQ1 • どのように意見形成を行って いるのか RQ2
8. 実験計画 8 • 実験参加者 • 12名（男性：6名 女性：6名） • 兵庫県立大学社会情報科学部の学生（1回生～4回生） • トピックの選定 • Procon.orgから選定 • 小学生に宿題は必要か • 子供に新型コロナウイルスのワクチンを打つべきか • 被験者間実験を行う • 1実験参加者：1トピック1タスク • 宿題タスク：6名（男性：3名 女性：3名） • ワクチンタスク：6名（男性：3人 女性3名） （宿題タスク） （ワクチンタスク） Aさん トピック 小学生の宿題は 必要か Bさん トピック 子供にワクチンは 必要か
9. 実験の流れ 9 訓 練 タ ス ク タ ス ク 前 ア ン ケ ー ト 検 索 タ ス ク タ ス ク 後 ア ン ケ ー ト ５ 分 休 憩 イ ン タ ビ ュ ー • 閲覧したウェブページがどの程度参考になったのかとその理由 • 検索後の意見とその意見に決めた理由 興味関心・事前知識の有無・事前の意見
10. 検索タスク 10 • 自由に検索してもらう • クエリの投入や閲覧するウェブページも自由 • 検索時間 • 最大30分 • 検索者が満足いく検索ができた場合は終了できる 実験タスク：小学生に宿題は必要か あなたは最近テレビで、宿題について議論している番組を 見ました。今日、AIドリルという新しい宿題方法が広がる 一方で、宿題自体を廃止する学校もあります。 そこで、このタスクではウェブ検索を用いて宿題は必要か どうかを自由に調べてください。 タスク文（状況設定やタスク内容の説明）
11. タスク後アンケート（ウェブページ評価） 11 非常に参考にならなかった かなり参考にならなかった やや参考にならなかった どちらともいえない やや参考になった かなり参考になった 非常に参考になった Q1. 閲覧したウェブページはどの程度参考になりましたか？ Q2. なぜそのような選択をしましたか？ メリット・デメリット両方の意見が書かれている ウェブページだったから。 閲覧したウェブページがどの程度参考になったのかとその理由
12. タスク後アンケート（意見形成の理由） 12 Q1. 小学生に宿題は必要だと思いましたか？ そう思う そう思わない 今回の検索ではわからなかった Q2. なぜそのような選択をしましたか？ 検索後の意見とその意見に決めた理由 多くの記事がハリスクーパー教授の「多すぎる宿題は デメリットが多い」という研究結果を歪曲し、宿題を 課すべきではないと書かれているだけだったから。
13. 実験のイメージ（小学生に宿題は必要か） 13 検索前 検索後 宿題は必要だ ①はかなり参考になった ②は参考にならなかった ① ② 宿題は必要ではない
14. リサーチクエスチョン 14 • どのようなウェブページを 参考にしているのか RQ1 RQ2
15. RQ1：ウェブページ評価の分析 15 メリット・デメリット両方書いてある ページだったから 実際に教師が感じている宿題の意義に ついて知れたから 両面提示 実例 視点の有無 閲覧した ウェブページ どのようなウェブページが参考になるのか • 閲覧したウェブページの中で参考になった理由にラベル付け • ラベルは先行研究をもとに作成 • 複数のラベルが付与できる場合には複数のラベルを付与 Y. Sun, Y. Zhang, J. Gwizdka, and C. B. Trace. Consumer evaluation of the quality of online health information: Systematic literature review of relevant criteria and indicators. Journal of Medical Internet Research, 21(5):e12522, 2019. 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関 するフォーラム, A34–5, 2022.
16. ラベルの定義 16 Y. Sun, Y. Zhang, J. Gwizdka, and C. B. Trace. Consumer evaluation of the quality of online health information: Systematic literature review of relevant criteria and indicators. Journal of Medical Internet Research, 21(5):e12522, 2019. 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関するフォーラム, A34–5, 2022.
17. ラベルの実際の例 17 • 宿題の効果についての研究結果が書いてあったから • 具体的に実験データを用いて述べられていたから 客観性 • 宿題のメリットについて詳しく述べていたから • ワクチンの仕組みについて詳しく学ぶことができたため 詳細性 • メリット・デメリット両方書いてあるページだったから 両面提示 • 生徒目線だけでなく教師や保護者目線の意見も書いて いたから 視点の有無
18. RQ1：ラベル付けの結果 18
19. 宿題タスクの結果 19 • 客観性 • 客観的根拠に基づくか • 詳細性 • 詳しく書かれているか • 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか 宿題タスク • 実験結果などの客観的根拠 • 多角的視点
20. ワクチンタスクの結果 20 ワクチンタスク • 実験結果などの客観的根拠 • 客観性 • 客観的根拠に基づくか • 詳細性 • 詳しく書かれているか • 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか
21. RQ1：ラベル付けの結果 21 • 客観性 • 客観的根拠に基づくか • 詳細性 • 詳しく書かれているか • 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか 宿題タスク ワクチンタスク • 実験結果などの客観的根拠 • 多角的視点 • 実験結果などの客観的根拠 客観性のあるページや様々な視点からの情報を見せるシステム
22. 分析のまとめと考察（RQ1） 22 宿題タスク • 多角的視点や客観的根拠が参考になった • 様々な立場の利害が存在するから • 親の立場・小学校の先生の立場・塾の立場 など ワクチンタスク • 客観的根拠が参考になった • 健康情報の性質も含んでいるため先行研究[3]と同様の 結果になった • 人命に直結するため確固たる根拠を参考にする [3]浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関するフォーラム, A34–5, 2022.
23. リサーチクエスチョン 23 RQ1 • どのように意見形成を行って いるのか RQ2
24. RQ2：意見形成の分析 24 （N = 12） 宿題の出し方(取り組ませ方)を工夫すれば デメリットを補うことができると思ったから。 多くの記事がクーパー教授の「多すぎる宿題はデメ リットが多い」という研究結果を歪曲し、宿題を課す べきではないと書かれているだけだった。 損害を抑える考え方 公正な情報を重視する考え方 どのように意見形成を行っているのか • 検索タスク後の意見に決めた理由を人手で分類 • 1人の実験参加者が複数の意見形成の型を持っている場合も ある
25. RQ2：意見形成の分類結果 25 損害最小型 マイナスな結果になり過ぎないように結論 メリット重視型 デメリットは感じつつもメリットが大きいと判断 デメリット重視型 デメリットと比べてメリットが小さいと判断 信用性重視型 公正なウェブページの情報を重視 多数決型 多くのウェブページで主張されている意見を重視 単一ページ確信型 最も参考にできるウェブページの情報を重視 事前信念先行型 検索タスクに対する事前の考えを重視
26. 意見形成の実際の例 26 多数決型：多くのウェブページで主張されている意見を重視 宿題には勉強の習慣化という意図が含まれているという記事が多く あり、その意見に自分も賛成しているから。 信用性重視型：公正なウェブページの情報を重視 反対的な意見を書いているサイトも閲覧したが、多くの記事が クーパー教授の「多すぎる宿題はデメリットが多い」という研究 結果を歪曲し宿題を課すべきではないと書かれているだけだった。
27. 分析のまとめと考察（RQ2） 27 検索者のそれぞれの型に合ったウェブページを提示 損害最小型 マイナスな結果になり過ぎないように結論 メリット重視型 デメリットは感じつつもメリットが大きいと判断 デメリット重視型 デメリットと比べてメリットが小さいと判断 信用性重視型 公正なウェブページの情報を重視 多数決型 多くのウェブページで主張されている意見を重視 単一ページ確信型 最も参考にできるウェブページの情報を重視 事前信念先行型 検索タスクに対する事前の考えを重視
28. 分析のまとめと考察（RQ2） 28 検索者のそれぞれの型に合ったウェブページを提示 信用性重視型 公正なウェブページの情報を重視 誤った情報ではなく公正なウェブページを参考にする 可能性が高い 両意見とも公正なウェブページを提示
29. 限界点 29 実験参加者 • 検索能力や年代を考慮した実験 • 情報系学部の生徒から募集 • 熟練した検索者は自分の求めている情報を得やすい[4] 扱ったトピック • トピックを増やして実験 • 本実験で扱ったトピックは2つ • トピックには様々な性質を含んでいる • ワクチンタスク：賛否両論 と 健康情報 [4] Christoph H ̈olscher and Gerhard Strube. Web search behavior of internet experts and newbies. Computer Networks,Vol. 33, No. 1, pp. 337– 346, 2000.
30. まとめ 30 賛否両論あるトピックにおいて、どんなウェブページを 参考にしてどのように意見形成しているかを調査 RQ1：ウェブページの評価 • 宿題タスク：客観的根拠や多角的視点からの情報 • ワクチンタスク：客観的根拠 RQ2：意見形成の分類 • 損害最小型・メリット重視型・デメリット重視型・信用性重視型 多数決型・単一ページ確信型・事前信念先行型の7つの型 今後の課題 • 検索行動の分析 • どのようなクエリを投入しているかなど