1. How Misinformation Density Affects Health Information Search 2. “I Have No Text in My Post”: Using Visual Hints to Model User Emotions in Social Media の紹介 筑波⼤学 加藤研究室 博⼠前期課程2年 柳⽥雄輝 https://ynagi2.github.io/ 2022-06-25 第42回先端的データベースとWeb技術動向講演会 （ACM SIGMOD ⽇本⽀部第79回⽀部⼤会） TheWebConf 2022 国際会議報告

1. How Misinformation Density Affects Health Information Search Authors: Qiurong Song and Jiepu Jiang

投⼊したクエリ数 3 質問の正解率 0.90 検索エンジンは 信頼できたか？ 5 ⁝ ⁝ 投⼊したクエリ数 8 質問の正解率 0.20 検索エンジンは 信頼できたか？ 4 ⁝ ⁝ Web検索結果における誤情報の密度が検索⾏動・学習・体験に与える影響を調査 誤情報の密度が異なる検索エンジンでWeb検索，検索⾏動や質問の回答を⽐較 どんな論⽂？ 3 被験者がWeb検索 ワクチンで5G コロナは陰謀 ワクチンの効果 コロナ感染者数 タスクに関する 情報を探索 • mRNAワクチンを打つと 重症化しにくくなるか？ • 検索エンジンは信頼 できたか？ (5段階評価) ⁝ 差があるか？ タスクに関する質問・ アンケート タスク例: mRNA ワクチンはコロナ ウイルスに有効？ 被験者の結果 誤情報密度: 低 誤情報密度: ⾼

• H1: 誤情報の密度はユーザの検索活動に影響する ◦ Yes. 密度が⾼いと投⼊クエリ数・クエリ⻑が有意に増加 • H2: 誤情報の密度はタスクに関する質問の正解率に影響する ◦ Yes. 密度が⾼いと正解率が有意に低い • H3: 誤情報の密度は検索システムの良さの評価に影響する ◦ No. 検索システムの評価は密度間で有意差なし • 影響するとはいえない 仮説とその回答 4

1. タスクに関する記事を⾒せ，質問を通して情報探索前の知識を記録 2. 分類器で誤情報密度を操作した検索結果から情報探索，質問に再回答 調査の流れ 5 探索開始 タスクに関する 記事を閲覧 タスクの学習を捉える ため探索前にも質問 投⼊したクエリ数 3 質問の正解率 0.90 検索エンジンは 信頼できたか？ 5 ⁝ ⁝ 投⼊したクエリ数 8 質問の正解率 0.20 検索エンジンは 信頼できたか？ 4 ⁝ ⁝ 被験者がWeb検索 ワクチンで5G コロナは陰謀 ワクチンの効果 コロナ感染者数 タスクに関する 情報を探索 • mRNAワクチンを打つと 重症化しにくくなるか？ • 検索エンジンは信頼 できたか？ (5段階評価) ⁝ 差があるか？ タスクに関する質問・ アンケート タスク例: mRNA ワクチンはコロナ ウイルスに有効？ 被験者の結果 誤情報密度: 低 誤情報密度: ⾼ 誤情報の密度を操作するため， 分類器で検索結果をフィルタリング 記事には誤情報が含まれている

投⼊クエリに応じて，誤情報密度を操作した検索結果を返したい →Web検索APIで得た検索結果を⾃動分類，選択的に出⼒ 分類器による誤情報の密度の操作 6 • 学習データ • 3段階の誤情報密度で実験 密度 操作 誤情報の割合 ⾼ 正しい情報と予測された結果を除外 0.90 中 正しい情報と誤情報を同数にする 0.55 低 誤情報と予測された結果を除外 0.12 mRNAワクチン 効果 ワクチンの効果 検索 著者らが作成したクエリ mRNAワクチンとは、 ウイルスが…… 検索結果の概要部の BoW (Bag-of-Words)を作成 BoW 4 ⋮ 3 ワクチン ⁝ ウイルス ⼊⼒ 出⼒ 正しい情報 正しい情報・誤情報・無関係のいずれか Webページを閲覧し⼈⼿で判定 訓練事例 実験中において，無関係なWeb ページを除いた場合の割合

誤情報の密度はユーザの検索活動に影響するか？ 7 1. 密度⾼ではクエリ数・クエリ⻑ が⼤きい ◦ 頻繁かつ複雑なクエリで検索 2. 密度低ではクエリが低類似度 ◦ 再構成前後で⾼類似度: 検索に苦労 していることがわかっている ◦ 密度低では低類似度: 検索での苦労 を回避できている 図は論⽂中より クエリ数 クエリ⻑ 1. クエリ数とクエリ⻑ 2. クエリの再構成前後での⽂字列類似度 ユニークな クエリ数 Unigram類似度 Bigram類似度

誤情報の密度はタスクに関する質問の正解率に影響するか？ 8 1. 各密度でタスク後の正解率に 有意差あり ◦ 誤情報の密度が⾼くなるにつれ， 学習は難しくなる • 特に密度⾼では探索時間 (10分)以内 に学習できなかったと考えられる 2. 質問に対する確度の差も1と 同様の傾向 ◦ 各質問は2択 ◦ 確度: 強く賛成から強く反対の 5段階評価の回答で⾃信を⽰す 図は論⽂中より タスク前 タスク後 タスク後 ‒ タスク前 タスク前 タスク後 タスク後 ‒ タスク前 1. 質問の正解率 2. 質問の正解と確度の差

誤情報の密度は検索システムの良さの評価に影響するか？ 9 • タスク後にアンケートを実施 ◦ 検索システムは有⽤だったか？ ◦ 検索システムは信頼できたか？ ◦ 質問の回答に⾃信はあるか？ など • システムの評価について，密度 ⾼では低い傾向だが有意差なし ユーザは誤情報による影響を⾃覚 できない可能性がある 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 有⽤性 信頼性 回答の⾃信 システムの評価 (5段階評価) 低 中 ⾼ 図は論⽂中の表4の⼀部をグラフにしたもの

Web検索結果における誤情報の密度が検索⾏動・学習・体験に与える影響を調査 誤情報の密度が異なる検索エンジンでWeb検索，検索⾏動や質問の回答を⽐較 まとめ 10 • H1: 誤情報の密度はユーザの検索活動に影響する ◦ Yes. 密度が⾼いと投⼊クエリ数・クエリ⻑が有意に増加 • H2: 誤情報の密度はタスクに関する質問の正解率に影響する ◦ Yes. 密度が⾼いと正解率が有意に低い • H3: 誤情報の密度は検索システムの良さの評価に影響する ◦ No. 検索システムの評価は密度間で有意差なし • 影響するとはいえない

• ユネスコによる好ましくない情報の分類 [1] ◦ Disinformation (偽情報): 間違っており，⼈や団体などに害を与える ために意図的に作られた情報 ◦ Misinformation (誤情報): 間違っているが，害を引き起こすことを 意図して作成されていない情報 • 紹介した論⽂ではDisinformationも誤情報として扱っている ◦ Mal-information (悪意ある情報): 事実に基づく，情報⼈や団体に 害を与えるために使われる情報 補⾜: 好ましくない情報の分類 11 [1] Journalism, 'Fake News' and Disinformation: A Handbook for Journalism Education and Training. https://en.unesco.org/fightfakenews (2022-06-23 閲覧)

2. “I Have No Text in My Post”: Using Visual Hints to Model User Emotions in Social Media Authors: Junho Song, Kyungsik Han, Sang-Wook Kim

• 近年のSNSではテキストというよりも動画や画像が主流 ◦ e.g. Instagram, TikTok • また，これまでテキスト特徴による感情分析が⾏われてきた ◦ しかし，動画や画像が主流の投稿では感情分析が困難 • 画像⾃体の特徴から感情分析を⾏った研究はあるが， 画像が⽰す内容に注⽬した分析は⼗分にされていない ◦ 画像⾃体の特徴: ⾊，明るさ，グラデーション など ◦ 画像が⽰す内容: 何が写っているか，何をしているか など 背景 13

画像の内容 (Visual hints)を⽤いた感情分析+画像特徴との関係分析 Visual hints: 写っている物体や動作とその信頼度 どんな論⽂？ 14 図は論⽂中より ⾊(RGB・HSV) ハッシュタグ (TF-IDF) テキスト本⽂ (TF-IDF) Visual hints (TF-IDF) 次 元 削 減 • ⽤いるモデル e.g. {name: dog, confidence: 0.99}

教師データを⽤意するため，感情を表す語のハッシュタグを利⽤ 分析データ 15 • 以下のハッシュタグが1つだけ付与されたInstagramの投稿 ◦ #happy, #excite, #satisfy → 正例 ◦ #sad, #angry, #scary → 負例 • これらのハッシュタグは先⾏研究をもとに決定 ◦ 著者らが適切に付与されていると判定した投稿のみ採⽤ ◦ クラウドソーシングでの事前調査により，74%のユーザはハッシュ タグで感情表現をすることを確認 • Visual hintsはMicrosoftの物体検出APIを⽤いて抽出，列挙

Visual hintsのトピック 16 • Visual hintsをLDAで 15トピックに集約 ◦ LDA: 語をトピックに集約する 教師なし学習 • Latent Dirichlet Allocation • 抽象的なトピックで Negativeの割合が⾼い傾向 ◦ e.g. stateトピックにはsink, oldなどの単語が属している ◦ 具体的なトピックでは Positiveの割合が⾼い傾向 図表は論⽂中の⼀部 各トピックに属するVisual hintsの具体例

Visual hintsを⽤いた予測 17 • 投稿のテキスト情報を⽤いた 場合と⼤きく変わらない性能 ◦ Visual hintsを⽤いることで，本⽂ のない投稿に対しても予測が可能 • ⾊の特徴はVisual hintsを⽤いた モデルの精度向上に貢献せず ◦ ⾊の特徴: RGB, HSV 0.57 0.59 0.71 0.74 0.73 0.57 0.71 0.74 0.76 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 R G B H SV Visual hints ハ ッ シ ュ タ グ 本 ⽂ R G B + H SV R G B + H SV + Visual hints ハ ッ シ ュ タ グ + 本 ⽂ 全 部 各特徴で予測したときのF1値

画像特徴のみを⽤いるモデルとの⽐較 18 • 画像特徴のみを⽤いるCNNモデル と⽐較 ◦ CNN: 特に画像認識で使われるモデル • Convolutional Neural Network ◦ Visual hintsのみを⽤いるモデルの⽅ が⾼い予測性能 • ⾊の分布は，ネガ/ポジの間で差が あるとはいえなかった ◦ 絵画などを⽤いた先⾏研究では 有意差が⾒られていた • SNSでは雑多な画像が投稿されるため， 差があるとはいえなかった？ 0.67 0.63 0.64 0.71 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 ResNet VGG AlexNet Visual hints 各モデルで予測したときのF1値 代表的なCNNモデル

画像の内容 (Visual hints)を⽤いた感情分析+画像特徴との関係分析 Visual hints: 写っている物体や動作とその信頼度 まとめ 19 • Visual hintsは抽象的なトピックでNegativeの割合が⾼い傾向 ◦ 具体的なトピックではPositiveの割合が⾼い傾向 • Visual hintsは感情分析の特徴として有⽤ ◦ 投稿のテキスト情報を⽤いた場合と⼤きく変わらない性能 • Visual hintsを⽤いることで，本⽂のない投稿に対しても予測が可能 ◦ 画像特徴を⽤いるモデルよりも⾼い予測性能 e.g. {name: dog, confidence: 0.99}