論文紹介: An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes (RecSys 2021)

RecSys2021論文読み会での論文紹介に使用したスライドです．
https://connpass.com/event/226873/

紹介した論文
An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes (RecSys 2021)

Transcript

1. Matús Tomlein, Branislav Pecher, Jakub Simko, Ivan Srba, Róbert Móro, Elena Stefancova, Michal Kompan, Andrea Hrckova, Juraj Podrouzek, Mária Bieliková (Kempelen Institute of Intelligent Technologies) An Audit of Misinformation Filter Bubbles on YouTube: Bubble Bursting and Recent Behavior Changes (! Best Paper Award) 紹介者(≠著者): 中野 優 (筑波⼤学) https://sites.google.com/view/yu-nakano (@y_nak6) @RecSys2021論⽂読み会 (2021/10/23) 参考⽂献の番号は論⽂と同⼀のものを使⽤しています
2. YouTube で誤情報を肯定/否定する動画を⾒た際に 検索結果や推薦結果がどう変化するのか？を Bot で検証した どんな論⽂？ 2 動画ページでの 推薦結果 検索結果 YouTube を 視聴するBot 画像は http://www.irasutoya.com/2019/06/blog-post_87.html (2021/10/23) / https://www.irasutoya.com/2019/03/blog-post_84.html (2021/10/23)/ 参考⽂献 [8] の Fig3
3. • 誤情報のフィルターバブルが近年問題と なっている ◦ 誤情報: 誤りを含むもしくは不正確な情報 (意図的かそうでないかは問わない) ◦ フィルターバブル: パーソナライズによって ある特定の情報(特に⾃分の考えに沿った 情報)以外がフィルターされて⾒えないこと 特に⼤きなプラットフォームで 誤情報のフィルターバブルが発⽣すると 影響範囲が⼤きくなってしまう 背景: フィルターバブルと誤情報 3 画像は https://www.politics-prose.com/book/9781594203008 (2021/10/23)
4. • 監査 (Audit): 体系的かつ統計的にオンラインプラット フォームの挙動を調査すること • 既存研究 [8]: YouTube での Sockpuppeting Audit の研究 ◦ (2019 年の研究) bot を使って YouTube では 誤情報のフィルターバブルが形成されることを実証 背景: プラットフォームの監査 4 ソックパペット (靴下⼈形) 画像の出典: https://commons.wikimedia.org/wiki/File:Carlb-sockpuppet-01.jpg (2021/10/22) Sockpuppeting: 複数アカウントでの⾃演やサクラのこと 概要 利点・⽋点 Crowdsourcing Audit クラウドソーシング で⼈を雇って調査 実際のデータが集められるが プライバシーの問題がある Sockpuppeting Audit ⼈の代わりに bot を⽤いて調査 プライバシーの問題がないが現実的な データを集めるための設定が難しい
5. これらの課題を [8] のフレームワークを拡張することで検証 (YouTube で動画を視聴する bot を⾛らせて検証) 研究課題: YouTube における誤情報のフィルターバブル 5 Q. 誤情報のフィルターバブルからは抜け出せるのか？ ◦ 既存研究 [8] はフィルターバブルに⼊り込む部分の研究であり その先を検証した研究はこれまで⾏われてこなかった ◦ 特に誤情報を否定する動画を視聴することで状況は改善するか？ Q. 2020 年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ ◦ [8] は 2019 年に⾏われた研究であるが結果は再現できるのか？
6. 研究課題と結論 Q. 誤情報のフィルターバブルからは抜け出せるのか？ ◦ 既存研究 [8] はフィルターバブルに⼊り込む部分の研究であり その先を検証した研究はこれまで⾏われてこなかった ◦ 特に誤情報を否定する動画を視聴することで状況は改善するか？ Q. 2020 年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ ◦ [8] は 2019 年に⾏われた研究であるが結果は再現できるのか？ 6 A. YES (誤情報を否定する動画を視聴することで抜け出せる) いくつかの状況ではフィルターバブルがそもそも⾒られないことも A. NO (改善したとはいえない)
7. フェーズごとの検索結果や推薦結果を(定量的に)⽐較することで bot が誤情報のフィルターバブルに⼊ったか/抜けたかを検証 調査フレームワーク 7 • 調査対象トピックごとに以下のシナリオを実⾏ ◦ 調査トピックは右図の 5 つ (既存研究 [8] と同じ) ◦ それぞれのトピックは 10 並列で bot を実⾏ ブラウザの⽴ち上げと YouTube へのログイン 誤情報を肯定する 動画 40 本の視聴 誤情報を否定する 動画 40 本の視聴 1. 視聴前フェーズ 2. 肯定動画視聴フェーズ 3. 否定動画視聴フェーズ (A) 動画視聴前 フィルター バブルに⼊る前 (B) 肯定動画視聴後 =フィルターバブルに ⼊っている状態 (C) 否定動画視聴後 =フィルターバブル から抜けている状態 検索結果・推薦結果の ⽐較タイミング 画像は元論⽂より
8. • 「フィルターバブルに⼊った/抜けた」をどう定量化するか？ ◦ 直感: もしあるユーザが誤情報のフィルターバブルに⼊っている場合， 検索・推薦結果には誤情報を肯定する動画が多く出現するはず 評価指標 8 動画の⽴場 肯定 中⽴ 否定 動画のスコア !! +1 0 -1 SERP-MS = ∑"#$ % (%" ∗ (' − ) + 1) ' ∗ (' + 1)/2 Normalized Score (NS) = 1 ' / &#$ % %& 検索結果 推薦結果 1位 2位 3位 4位 5位 SERP-MS +1 +1 +1 0 -1 0.73 +1 -1 -1 +1 0 0.0 -1 -1 -1 0 +1 -0.73 動画集合 NS +1,+1,+1,0,-1 0.4 +1,+1,-1,-1,0 0.0 +1,0,-1,-1,-1 -0.4 肯定多 →スコア⼤ (+1 に近づく) 否定多 →スコア⼩ (-1 に近づく) 傾向 ! =(順位), # =(検索・推薦結果の動画数), $ = (動画のスコア)
9. 研究課題 (1) と仮説 (期待される結果) Q. 誤情報のフィルターバブルからは抜け出せるのか？ ◦ 仮説: SERP-MS/NS は (A) 動画視聴前 (B) 肯定動画視聴後 (C) 否定動画視聴後で次のように変化するはず • 統計的検定でも有意な差がでるはず 9 成⽴するはずの式 (C)否定 < (A)視聴前 < (B)肯定 (A) (B) (C) SERP-MS/NS 肯定多 →スコア⼤ (+1 に近づく) 否定多 →スコア⼩ (-1 に近づく) 傾向(再掲)
10. 結論: YES (誤情報を否定する動画を視聴することで抜け出せる) 実験結果と回答 (1) 10 Q. 誤情報のフィルターバブルからは抜け出せるのか？ (A) (B) (C) SERP-MS/NS 仮説 結果 スコアが低下 →そもそもフィルター バブルが発⽣していない？ 推薦結果 検索結果 仮説の通りにスコアが遷移 →フィルターバブルから抜け出せている 画像は論⽂より作成 (A) 動画視聴前 (B) 肯定動画視聴後 (C) 否定動画視聴後
11. Q. 誤情報のフィルターバブルからは抜け出せるのか？ 実験結果: 調査トピックごとの結果 (1) 11 画像は論⽂より作成 推薦結果 検索結果 おおよそ全体と同じ傾向 (A) 動画視聴前 (B) 肯定動画視聴後 (C) 否定動画視聴後
12. 研究課題 (2) と仮説 (期待される結果) Q. 2020 年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ ◦ 仮説: 2019 年 [8] の結果から SERP-MS/NS は⼩さくなるはず • 統計的検定でも有意な差がでるはず 12 成⽴するはずの式 本研究 < [8] [8] 2019 SERP-MS/NS 本研究 2021 肯定多 →スコア⼤ (+1 に近づく) 否定多 →スコア⼩ (-1 に近づく) 傾向(再掲)
13. 結論: NO (改善したとはいえない) 実験結果と回答 (2) 13 Q. 2020 年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ ともにスコアは減少せず 改善したとは⾔えない 画像は論⽂より作成 [8] 2019 SERP-MS/NS 本研究 2021 仮説 結果 推薦結果 検索結果
14. Q. 2020 年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ 実験結果: 調査トピックごとの結果 (2) 14 画像は論⽂より作成 推薦結果 検索結果 トピックごとに結果に違いが⾒られる 内的要因(推薦アルゴリズムやポリシーの変更)と 外的要因(イベントの発⽣など)を分離する必要性？
15. YouTube で誤情報を肯定/否定する動画を⾒た際に 検索結果や推薦結果がどう変化するのか？を Bot で検証した まとめ 15 Q. 誤情報のフィルターバブルからは抜け出せるのか？ Q. 2020年の YouTube のポリシー変更 [28] によって状況は 改善したのか？ A. YES (誤情報を否定する動画を視聴することで抜け出せる) いくつかの状況ではフィルターバブルがそもそも⾒られないことも A. NO (改善したとはいえない)