Share
Embed
Transcript
30 slides
-
背景 2 Googleを使って医療の 重要な決定を行う割合 Very frequently + Often:46% 図の引用: Lily
Ray. 2020. 2020 Google Search Survey: How Much Do Users Trust Their Search Results? https://moz.com/blog/2020-google-search-survey ウェブ検索を用いて重要な意見形成が行われている • 健康情報 • 緑茶はがん予防に効果があるのか • 賛否両論あるトピック • 小学生に宿題は必要か N = 1100 -
賛否両論あるトピック 3 賛否両論あるトピック • 小学生に宿題は必要か • 子供にワクチンを打つべきか • 学生服は必要か •
安楽死は合法にすべきか 真偽が明らかになっていなく 賛成意見と反対意見が存在するトピック 賛成意見 反対意見 • 自分が宿題をして成績が伸びた • 勉強の習慣が身につく • 実験結果で効果がないとわかっている • 教師が宿題を確認する時間が必要 小学生に宿題は必要か -
偏った情報だけで意見形成は危険 4 小学生に宿題は 必要か検索中 多様な情報 偏った情報 成績向上 成績低下 口論 様々な情報から意見形成が大切
• 自分の意見のデメリットを知る • 自分が望んでいない結果を未然に回避できる • 他人の言っていることを理解しやすくなる • 他人とのコミュニケーションが円滑にいく -
本研究の目的 5 • どんなページを参考にしてどうやって意見形成するのかを調査 • 多様な情報からより良い意見形成を促す検索システムの実現 賛否両論あるトピックにおいて,どんなウェブページを参考に してどのように意見を形成しているのかの研究が少ない 両面が書かれていた ページが参考になった
賛成 自分が宿題をして 成績が伸びた 反対 ある実験で効果が ないと知った 実例や体験談は参考に なった 検索後 検索後 小学生に宿題は必要か -
関連研究 6 [1] Karl Gyllstromand Marie-Francine Moens. Clash of thetypings:
Finding controversies and children’s topics withinqueries. In European Conference on Information Retrieval,pp. 80–91, 2011. [3] 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメント に関するフォーラム, A34–5, 2022. [2] GizemGezici and Aldo Lipani and Y{¥“u}cel Saygin and EmineYilmaz Evaluation metrics for measuring bias in search engine results Inf. Retr. J2021 24 85-113 賛否両論あるトピックについて • クエリが賛否両論あるトピックか特定[1] • 検索結果にバイアスがかかる傾向 [2] 意見形成について • 健康情報に関する真偽が明らかになっているトピックに おける意見形成[3] 検索システムの分析 検索者とのインタラクションを考慮した分析は少ない 賛否両論あるトピックにおける意見形成の分析は少ない -
実験計画 8 • 実験参加者 • 12名(男性:6名 女性:6名) • 兵庫県立大学社会情報科学部の学生(1回生~4回生) •
トピックの選定 • Procon.orgから選定 • 小学生に宿題は必要か • 子供に新型コロナウイルスのワクチンを打つべきか • 被験者間実験を行う • 1実験参加者:1トピック1タスク • 宿題タスク:6名(男性:3名 女性:3名) • ワクチンタスク:6名(男性:3人 女性3名) (宿題タスク) (ワクチンタスク) Aさん トピック 小学生の宿題は 必要か Bさん トピック 子供にワクチンは 必要か -
実験の流れ 9 訓 練 タ ス ク タ ス ク
前 ア ン ケ ー ト 検 索 タ ス ク タ ス ク 後 ア ン ケ ー ト 5 分 休 憩 イ ン タ ビ ュ ー • 閲覧したウェブページがどの程度参考になったのかとその理由 • 検索後の意見とその意見に決めた理由 興味関心・事前知識の有無・事前の意見 -
検索タスク 10 • 自由に検索してもらう • クエリの投入や閲覧するウェブページも自由 • 検索時間 • 最大30分
• 検索者が満足いく検索ができた場合は終了できる 実験タスク:小学生に宿題は必要か あなたは最近テレビで、宿題について議論している番組を 見ました。今日、AIドリルという新しい宿題方法が広がる 一方で、宿題自体を廃止する学校もあります。 そこで、このタスクではウェブ検索を用いて宿題は必要か どうかを自由に調べてください。 タスク文(状況設定やタスク内容の説明) -
タスク後アンケート(ウェブページ評価) 11 非常に参考にならなかった かなり参考にならなかった やや参考にならなかった どちらともいえない やや参考になった かなり参考になった 非常に参考になった Q1.
閲覧したウェブページはどの程度参考になりましたか? Q2. なぜそのような選択をしましたか? メリット・デメリット両方の意見が書かれている ウェブページだったから。 閲覧したウェブページがどの程度参考になったのかとその理由 -
タスク後アンケート(意見形成の理由) 12 Q1. 小学生に宿題は必要だと思いましたか? そう思う そう思わない 今回の検索ではわからなかった Q2. なぜそのような選択をしましたか? 検索後の意見とその意見に決めた理由
多くの記事がハリスクーパー教授の「多すぎる宿題は デメリットが多い」という研究結果を歪曲し、宿題を 課すべきではないと書かれているだけだったから。 -
RQ1:ウェブページ評価の分析 15 メリット・デメリット両方書いてある ページだったから 実際に教師が感じている宿題の意義に ついて知れたから 両面提示 実例 視点の有無 閲覧した
ウェブページ どのようなウェブページが参考になるのか • 閲覧したウェブページの中で参考になった理由にラベル付け • ラベルは先行研究をもとに作成 • 複数のラベルが付与できる場合には複数のラベルを付与 Y. Sun, Y. Zhang, J. Gwizdka, and C. B. Trace. Consumer evaluation of the quality of online health information: Systematic literature review of relevant criteria and indicators. Journal of Medical Internet Research, 21(5):e12522, 2019. 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関 するフォーラム, A34–5, 2022. -
ラベルの定義 16 Y. Sun, Y. Zhang, J. Gwizdka, and C.
B. Trace. Consumer evaluation of the quality of online health information: Systematic literature review of relevant criteria and indicators. Journal of Medical Internet Research, 21(5):e12522, 2019. 浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関するフォーラム, A34–5, 2022. -
ラベルの実際の例 17 • 宿題の効果についての研究結果が書いてあったから • 具体的に実験データを用いて述べられていたから 客観性 • 宿題のメリットについて詳しく述べていたから •
ワクチンの仕組みについて詳しく学ぶことができたため 詳細性 • メリット・デメリット両方書いてあるページだったから 両面提示 • 生徒目線だけでなく教師や保護者目線の意見も書いて いたから 視点の有無 -
宿題タスクの結果 19 • 客観性 • 客観的根拠に基づくか • 詳細性 • 詳しく書かれているか
• 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか 宿題タスク • 実験結果などの客観的根拠 • 多角的視点 -
ワクチンタスクの結果 20 ワクチンタスク • 実験結果などの客観的根拠 • 客観性 • 客観的根拠に基づくか •
詳細性 • 詳しく書かれているか • 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか -
RQ1:ラベル付けの結果 21 • 客観性 • 客観的根拠に基づくか • 詳細性 • 詳しく書かれているか
• 両面提示 • 両意見の記載があるか • 視点の有無 • 様々な当事者視点があるか 宿題タスク ワクチンタスク • 実験結果などの客観的根拠 • 多角的視点 • 実験結果などの客観的根拠 客観性のあるページや様々な視点からの情報を見せるシステム -
分析のまとめと考察(RQ1) 22 宿題タスク • 多角的視点や客観的根拠が参考になった • 様々な立場の利害が存在するから • 親の立場・小学校の先生の立場・塾の立場 など
ワクチンタスク • 客観的根拠が参考になった • 健康情報の性質も含んでいるため先行研究[3]と同様の 結果になった • 人命に直結するため確固たる根拠を参考にする [3]浜島聡一郎, 山本岳洋, 山本祐輔, 大島裕明. 健康情報検索における信憑性判断と意見の形成に関する調査. 第 14 回データ工学と情報マネジメントに関するフォーラム, A34–5, 2022. -
RQ2:意見形成の分析 24 (N = 12) 宿題の出し方(取り組ませ方)を工夫すれば デメリットを補うことができると思ったから。 多くの記事がクーパー教授の「多すぎる宿題はデメ リットが多い」という研究結果を歪曲し、宿題を課す べきではないと書かれているだけだった。
損害を抑える考え方 公正な情報を重視する考え方 どのように意見形成を行っているのか • 検索タスク後の意見に決めた理由を人手で分類 • 1人の実験参加者が複数の意見形成の型を持っている場合も ある -
RQ2:意見形成の分類結果 25 損害最小型 マイナスな結果になり過ぎないように結論 メリット重視型 デメリットは感じつつもメリットが大きいと判断 デメリット重視型 デメリットと比べてメリットが小さいと判断 信用性重視型 公正なウェブページの情報を重視
多数決型 多くのウェブページで主張されている意見を重視 単一ページ確信型 最も参考にできるウェブページの情報を重視 事前信念先行型 検索タスクに対する事前の考えを重視 -
分析のまとめと考察(RQ2) 27 検索者のそれぞれの型に合ったウェブページを提示 損害最小型 マイナスな結果になり過ぎないように結論 メリット重視型 デメリットは感じつつもメリットが大きいと判断 デメリット重視型 デメリットと比べてメリットが小さいと判断 信用性重視型
公正なウェブページの情報を重視 多数決型 多くのウェブページで主張されている意見を重視 単一ページ確信型 最も参考にできるウェブページの情報を重視 事前信念先行型 検索タスクに対する事前の考えを重視 -
限界点 29 実験参加者 • 検索能力や年代を考慮した実験 • 情報系学部の生徒から募集 • 熟練した検索者は自分の求めている情報を得やすい[4] 扱ったトピック
• トピックを増やして実験 • 本実験で扱ったトピックは2つ • トピックには様々な性質を含んでいる • ワクチンタスク:賛否両論 と 健康情報 [4] Christoph H ̈olscher and Gerhard Strube. Web search behavior of internet experts and newbies. Computer Networks,Vol. 33, No. 1, pp. 337– 346, 2000. -
まとめ 30 賛否両論あるトピックにおいて、どんなウェブページを 参考にしてどのように意見形成しているかを調査 RQ1:ウェブページの評価 • 宿題タスク:客観的根拠や多角的視点からの情報 • ワクチンタスク:客観的根拠 RQ2:意見形成の分類
• 損害最小型・メリット重視型・デメリット重視型・信用性重視型 多数決型・単一ページ確信型・事前信念先行型の7つの型 今後の課題 • 検索行動の分析 • どのようなクエリを投入しているかなど