ニュース品質が広告消費⾏動に 与える影響の調査 飯塚洸⼆郎(Gunosy), 加藤誠(筑波⼤学), 関喜史(Gunosy) DEIM2021 H13-4

• オンラインニュース推薦サービスの普及 ‒ 膨⼤なニュースがweb上で⽇々⽣まれている ‒ ユーザ要求に合うニュース記事を提供している [1] • フィード型UIによるコンテンツと広告の配信 ‒ ユーザー満⾜度と収益性の両⽴を⽬指している [2] 背景 [1] Personalized News Recommendation Based on Click Behavior [IUI, 2010] [2] Ads Allocation in Feed via Constrained Optimization [KDD, 2020] 2

課題 3 • ニュースの記事の品質がユーザ⾏動に与える影響は未解明な部分が多い ‒ ユーザが記事に感じる品質は、ユーザの趣向 (preference) に影響する [3] ‒ ⼀⽅で、ニュース記事の品質が広告の収益性にどの程度影響しているのかは不明 • ニュース記事の品質を正確に与えることは困難 ‒ 専⾨家がニュース記事の品質を⼈⼿ですべて与えるのは⾼コスト ‒ 記事品質を間接的に表現するユーザーシグナルを⽤いて機械的に予測できることが理想 [3] Quality Effects on User Preferences and Behaviors in Mobile News Streaming [WWW, 2019] ϥϯΩϯά ඼࣭ ޿ࠂফඅ هࣄ" ߴ هࣄ# ߴ ޿ࠂ ༗Γ ϥϯΩϯά ඼࣭ ޿ࠂফඅ هࣄ$ ௿ هࣄ% ௿ ޿ࠂ ແ͠ 例: 記事品質が広告消費に与える仮想ケース

• ニュース品質に関わるユーザー分析 ‒ 記事品質に関する分析 • [3] Quality Effects on User Preferences and Behaviors in Mobile News Streaming [WWW, 2019] • [4] Effects of User Negative Experience in Mobile News Streaming [SIGIR, 2019] ‒ 広告品質に関する分析 • [5] Effects of Ad Quality & Content-Relevance on Perceived Content Quality [CHI, 2015] • ニュース記事品質の予測 ‒ ユーザー⾏動から記事品質の予測 • [3] Quality Effects on User Preferences and Behaviors in Mobile News Streaming [WWW, 2019] ‒ フェイクニュースやクリックベイトの予測 • [6] Fake News: Fundamental Theories, Detection Strategies and Challenges [WSDM, 2019] • [7] Predicting Clickbait Strength in Online Social Media [COLING, 2020] 関連研究 4

• ニュースの記事品質が広告の消費⾏動に与える影響を明らかにする • RQ1: ニュースの記事品質は広告の消費⾏動にどのように影響するか？ • RQ2: 広告の消費⾏動は記事品質分類の精度向上に寄与するか？ 研究の⽬的 ソース ターゲット 関連研究 [3,4] 記事品質 記事に対する⾏動 関連研究 [5] 広告品質 サイトの品質 本研究の⽬的 記事品質 広告に対する⾏動 5 記事→広告の影響イメージ これは広告

• RQ1: ニュースの記事品質は広告の消費⾏動に影響するか？ ‒ ⾼品質の記事を優先して掲出することは、広告の消費⾏動を促すことがわかった • 広告のクリック率のみならず、コンバージョン率の向上が⾒られた • RQ2: 広告の消費⾏動は記事品質分類の精度向上に寄与するか？ ‒ 広告の消費⾏動を予測に活⽤することで、記事品質の予測性能は向上した ‒ 特に、⾼品質の記事の分類性能に⼤きく寄与した RQへの回答サマリー 6

1. 記事を品質によって分類 2. 記事品質に応じた⾏動分析 ‒ オフライン分析 • 記事の品質と広告の消費の傾向を分析 ‒ A/Bテストの実施 • 因果関係の検証 3. 記事品質の予測実験 研究の⼿順 7

記事品質の分類 8 内容 信憑性 そのニュースが本物であるか、または内容が想像上のものや誇張されたものであるか 価値 ニュースの⼀部に下品、暴⼒的、残虐的、ポルノ的な要素を含むかどうか 表現 ⽂章が客観的かつ正確であるか、情報が豊富かつ冗⻑ではないか タイトル タイトルが不完全または偽物、表現が⼤げさ、下品または、本⽂と⽭盾がないか 品質を決める要素 [3] [3] Quality Effects on User Preferences and Behaviors in Mobile News Streaming [WWW, 2019] 本研究では、記事品質を関連研究[3]と同様に定義する

品質の判定 ‒ ⾼品質の判定:社内のニュースコンテンツチームの専⾨家による判定を実施 • ⾼品質記事の判定は、情報の客観性、正確性、適度な情報量の判定が必要 ‒ 低品質の判定: 機械的に判定を⾏った 1. 下品、残虐的、暴⼒的な"NG単語"をリストアップ 2. ⼀つでもタイトルまたは本⽂に"NG単語"を含む場合は低品質と判定 記事品質の分類 9 ⾼品質記事のカテゴリ割合 低品質記事のカテゴリ割合 エンタメ エンタメ 社会 テクノロジー スポーツ

オフライン分析 記事の品質と広告の消費の傾向をサービスログを⽤いて分析する 10

• データ ‒ Gunosyの30⽇分のユーザーログ (各話題に応じたタブ) ‒ 記事について • 閲覧、クリック、滞在時間ログを含む ‒ 広告について • 閲覧、クリック、コンバージョンログを含む ‒ 記事、広告ともにランキングの上位4件以内の結果のみを利⽤ • 記事、広告、記事、記事の順でランキングに並んでいる • ポジションバイアスを軽減するために、ランキング上位のみを分析に利⽤ • 指標 ‒ 広告クリック率 (クリック数/閲覧数) ‒ 広告コンバージョン率 (コンバージョン数/クリック数) オフライン分析: データと指標 11

オフライン分析: 結果 12 → ⾼品質記事と同時に掲出された広告のクリックとコンバージョン率が⾼い Limitation • 社会的なトピックが好きなユーザーが広告消費を多く⾏う交絡要因がある 記事品質と広告クリック 率 ※ ⾼品質・低品質記事と同時に表⽰された広告のクリック率、コンバージョン率を平均した値 (正規化済み) 記事品質と広告コンバージョン 記事→広告の影響イメージ これは広告 C T R C V R

A/Bテスト • ランダム⽐較試験によって、記事品質と広告消費の因果関係を確認する 13 ⾼品質 ⾼品質 ⾼品質 広告 品質不定 品質不定 品質不定 広告 Treatment群 Control群 広告は同じものを掲出 • ⾼品質 • ⾮個⼈化 記事を優先掲出 個⼈化された記事

• 実験設定 ‒ Gunosyの30⽇間の⼀部ユーザーを対象 ‒ Control群 • サービス上の既存の個⼈化推薦の出⼒をそのままユーザーに掲出 • これらの記事は必ずしも⾼品質ではない ‒ Treatment群 • ⾼品質記事を優先的に表⽰する ‒ サービスを開いた画⾯上のランキング上位3記事を⾼品質記事(⾮個⼈化)に固定 ‒ 朝8時から夜21時までの間において最低5時間に⼀度⾼品質記事を⼊れ替える • 指標 ‒ 広告クリック率、コンバージョン率 ‒ DAU :=⽇次利⽤者数の⽇毎の平均値 ‒ Sales/DAU := 売上/⽇次利⽤者数の⽇毎の平均値 A/Bテスト: 設定と指標 14

A/Bテスト: 結果 15 クリック率 コンバージョン率 Sales/DAU DAU iOS ユーザ +1.71% +2.37% +3.61% -0.17% Android ユーザ +3.17% +4.27% +5.59% -0.31% OS別: 広告指標に関するTreatment/Controlの増減⽐率 ⾼品質記事の掲出により広告消費は促進された

A/Bテスト: 結果 16 クリック率 コンバージョン率 Sales/DAU DAU エンタメ +0.01% +1.04% +1.37% -2.41% 社会 +2.81% +6.02% +3.60% +5.83% スポーツ +1.83% +0.44% +2.05% +3.99% グルメ +0.80% +1.75% +0.09% +0.60% ユーザー⾏動に応じたクラスタ別: 広告指標に関するTreatment/Controlの増減⽐率 • 社会トピックを好むユーザーが顕著に広告消費が増えた • ⼀⽅で、エンタメトピックを好むユーザーの利⽤者数は減少 → ⾼品質記事掲出対象ユーザーを絞ることで、記事満⾜度の低下は回避できる可能性

• ⾼品質記事を多く掲出 → サービス信頼性が向上 (仮説) → 広告消費が増加した と考えられる [8] A/Bテスト: 広告消費が増えた考察 17 CVR上昇幅 ⾦融 +19.5% 飲⾷品 +12.6% 美容 +6.97% アプリ +3.68% 広告ジャンル別コンバージョン増減⽐率上位 [8] The Impact of Brand Awareness on Consumer Purchase Intention: The Mediating Effect of Perceived Quality and Brand Loyalty 信⽤が⼤きく関わる⾦融ジャンルが最も上昇

記事品質の予測への応⽤ • 記事品質が広告の消費⾏動に影響を与えることが分かった • しかし、記事品質を専⾨家が評価するにはコストがかかる • 記事品質の予測に広告消費⾏動を活⽤し、予測性能向上を⽬指す 18

• ラベル ‒ ⾼品質 or 低品質の⼆値 • 学習素性 ‒ 記事素性 • CTR, メディアID, スクロール率, 平均滞在時間 ‒ 広告素性 • 記事と⼀緒に表⽰された広告のコンバージョン率 • 記事が属するメディアと⼀緒に表⽰された広告のコンバージョン率 • モデル ‒ LightGBM • ⽬的関数：クロスエントロピー, 不均衡フラグあり • その他はすべてデフォルトパラメータ • データ ‒ オフライン分析と同様のデータを利⽤ ‒ train:valid:test=3:1:1に分割 記事品質予測: 設定 19

記事品質予測: 結果 20 結果 • 広告素性を追加することで記事品質分類性能が向上 • 特に⾼品質記事の精度向上に⼤きく寄与 考察 • 広告に対する反応は、記事品質を間接的に表現するユーザーシグナルとして利⽤できる Limitation • ⾼品質記事の分類性能は低品質に⽐べ限定的 Precision Recall F1-score 低品質 Low Low High ⾼品質 High ⾼品質 ⾼品質 低品質 低品質 広 告 素 性 あ り 広告素性なし

• RQ1: ニュースの記事品質は広告の消費⾏動に影響するか？ ‒ ⾼品質の記事を掲出することは、広告の消費⾏動を促すことがわかった • 広告のクリック率のみならず、コンバージョン率の向上が⾒られた • 特に、社会トピックを好むクラスタの消費⾏動が顕著に増加 考察 ‒ ⾼品質記事がサービス信頼性を向上させ、結果的に広告消費が増えた [仮説] • 商品に対してコンバージョンする、という⾏為はサービスへの信頼がないと成り⽴たないため • RQ2: 広告の消費⾏動は記事品質の予測の精度向上に寄与するか？ ‒ 広告の消費⾏動を予測に活⽤することで、予測性能は向上した ‒ 特に、⾼品質の記事の予測性能に⼤きく寄与した 考察 ‒ 広告に対する反応は、記事品質を間接的に表現するユーザーシグナルとして利⽤できる • 記事品質を定性的に評価する⼈が評価するは⾼コスト • ⼀⽅で、広告に対するログは⽐較的容易に得ることができるため有⽤性が⾼い • 今後の課題: 品質を考慮した上で、ユーザー満⾜度と収益性を最適化する仕組みをサービス導⼊ まとめと今後の課題 21

品質の分類: 上記判定⽅法は⾼precision, 低recallである • ⾼品質記事が社会的なトピックに限定されている。⾼品質なエンタメ記事も⼀部には存在するはず • NG単語を含まない釣り記事やフェイクニュース記事が低品質記事に含まれていない • 上記判定⽅法が、実際の⼀般ユーザーが感じる品質とどれほど⼀致しているかは要検証 Limitations 22

オフライン分析: 記事品質→記事消費の関係 23 クリック率 記事品質が低い記事は、クリックベイトな記事が多い → 記事品質は低いほうが、クリック率が⾼い 記事品質と記事クリック率の関係 頻 度

オフライン分析: 記事品質→記事消費の関係 24 スクロール率 • 記事品質が低い記事は、クリックベイトな記事が多い • 記事品質が⾼い記事は、 1. タイトルで概要は把握できる 2. その上で、詳細な情報を得るために記事をクリックすることが多い → 記事品質は⾼いほうが、スクロール率が⾼い 記事品質と記事スクロール率の関係 頻 度

オフライン分析: 記事品質→記事消費の関係 25 滞在時間（正規化済み） • 記事品質が低い記事は、スクロール率が⽰すように最後まで読まれないことが多い • 記事品質が⾼い記事は、⽂章量が多い • → 記事品質は⾼いほうが、滞在時間が⻑い 記事品質と記事滞在時間の関係 頻 度

記事品質予測: 結果 26 • 広告素性を追加することで性能が向上 • 特に⾼品質記事の精度向上に⼤きく寄与 Limitation: ⾼品質記事の分類性能は低品質に⽐べ限定的