Geo-Experiments : ABEMAはなぜ新しい宣伝の効果検証にチャレンジするのか

Transcript

1. 1 CA DATA NIGHT #8 Geo-Experiments :ABEMAはなぜ新しい宣伝の効果検証にチャレンジするのか 株式会社AbemaTV 中瀬 達 2026 February 5th
2. 2 Profile 中瀬 達 （なかせ みち） Profile 所属 経歴 株式会社AbemaTV Development Headquarters Content & Data Division Data Science 学生時代 入社 2025 2025 ~ 歴史統計データを用いた実証研究 A/Bテストの分析・ロジックの改善 マーケティング領域のデータ活用
3. 3 広告効果の計測（効果検証）について
4. 4 はじめに この2つのグラフ、なんだと思いますか？
5. 5 はじめに 同じ広告・同じ時期の実際の計測結果。違うのは計測手法のみ
6. 6 広告手法の多様化 + プライバシー規制の強化 広告の計測手法も多様化している。 「何を測りたいのか」 を明確にし、適切な効果検証の仕組みを 選択しないと間違った判断につながってしまう はじめに
7. 7 概要 新たにGeo-Experimentsを行い、動画広告への投資増を実現した 1. ABEMAの特徴： 既存でどんな計測手法が使われているのか。プロダクトや ビジネスプロセスにどんな特殊性があるのだろうか.... 2. 問題設定： 何を明らかにする必要があるのだろうか.... 3. 計測手法の選択・提案： 問題に対してどんな計測手法を利用するべきなのだろうか.... 4. 分析とその活用 分析結果はどのように活用されるのだろうか..... 5. 学びと今後
8. 8 ABEMAの特徴 引用元：https://www.cyberagent.co.jp/ir/library/ataglance/
9. 9 ABEMAの特徴 引用元：https://www.cyberagent.co.jp/ir/library/ataglance/ バラエティ・ドラマ・リアリティ番組・スポーツ など 多種多様なコンテンツを配信している
10. 10 ABEMAの特徴 引用元：https://www.cyberagent.co.jp/ir/library/ataglance/ より多くの人に見てもらうために、 様々なメディアに広告を出している
11. 11 ABEMAの特徴 最後にクリック or インプレッションをした広告を紐付けて実績とする 既存の評価 SNS広告 検索広告 ディスプレイ広告 × × 実績 ABEMA来訪 ラストタッチアトリビューション
12. 12 ABEMAの特徴 ABEMAは2,500万WAUを超える規模に成長した。 既存ユーザーも多く、広告がなくても 自然に発生するコンバージョンが多い。 この状況で広告配信をすると、自然にコンバージョンするユーザーにも広告が 接触し、増分効果がないにも関わらず広告実績として計上されてしまう。 特に安価で大量配信できる広告ほど、自然発生コンバージョン層への接触 が増え、見かけ上の成果が良く見えてしまう。 ABEMAの特殊性① 自然発生のコンバージョンが多い 引用元：https://www.cyberagent.co.jp/ir/library/ataglance/
13. 13 ABEMAの特徴 ABEMAでは新しいコンテンツが頻繁にローンチされる また、それに合わせて広告出稿を行うことが多い。 したがって、ユーザー増加の要因が • 広告出稿の効果 • コンテンツ自体の魅力 のどちらなのかを切り分けることが難しい ABEMAの特殊性② 商材が次から次へと生まれる
14. 14 動画が商材なので、動画の広告が効果的だと考えられる。 しかし.....動画広告は認知・興味喚起が主な役割となり、 直接的なコンバージョンよりも間接的なコンバージョンが多くなる したがって • コンバージョンに近いファネル下部の経路に成果を奪われやすい • 広告接触からコンバージョンまでの距離が遠く、紐付けが欠損しやすい • 経路によっては計測自体ができない (例：YouTube Infeed広告) ABEMAの特徴 ABEMAの特殊性③ 商材が動画
15. 15 問題設定 知りたいことを以下に設定... 動画広告を出稿することの 純粋な増分効果（因果効果）　はどの程度あるのか ※ 広告があったことで追加で生まれた（増分）コンバージョンのみの効果 ただ紐づいただけの広告実績は含まない ※ 広告がなくても発生していたCV X % 広告で生まれた純増CV Y % ⬇ ここのみを測る
16. 16 計測手法 理想： ユーザー単位のA/Bテストを実施したい (RCT) しかし.....ほとんどの広告媒体では不可能 プラットフォーム側の制御の問題 • 媒体側でトラフィック分割の制御ができない • どのユーザーにどの広告が配信されたか、割り当て情報を取得できない ユーザー識別の問題 • プライバシー保護のため、個人レベルのトラッキングデータが限定的 • 多くのユーザーを正確に識別・追跡できない
17. 17 計測手法 他の計測手法を洗い出して、比較してみる 前後比較 手法③ Geo-Experiments （地域分割テスト） 手法④ マルチタッチアトリビューション 手法① マーケティング・ミックス・モデリング （MMM） 手法②
18. 18 計測手法 マルチタッチアトリビューション　 手法① SNS広告 検索広告 ディスプレイ広告 30% 20% 50% コンバージョンまでの全てのタッチを計測対象にする
19. 19 計測手法 マルチタッチアトリビューション　 手法① メリット 全ての広告で細かく分析できる 設定変更が簡単 デメリット 紐づいたデータでの分析になってしまう（過大評価） 解釈が難しい （同じ1インプをどう扱うべきか） 動画広告は紐付けが難しい • 広告運用する上で非常に重要 • 今回の問題設定だとあまり重視ではない
20. 20 計測手法 マーケティング・ミックス・モデリング（MMM）　 手法② マクロデータを用いて、様々なマーケティング施策がそれぞれどの程度 貢献したのかを統計的に分析・可視化する手法。 各メディアの広告接触とKPIにどれだけ相関があるかを分析する。 https://developers.google.com/meridian/docs/basics/meridian-introduction
21. 21 計測手法 マーケティング・ミックス・モデリング（MMM）　 手法② メリット 実験設計が不要 オーガニックの分析も可能 デメリット コンテンツ要因を除去できない （コンテンツのローンチに合わせて広告が増える問題） 長期データが必要で短期の効果は見られない オーガニックの分析もできる点が非常に魅力的 だが、今回の問題設定だと求められていない
22. 22 計測手法 前後比較　 手法③ 広告を実施している時期の実績とそうでない時期の実績を比較する 比較する 広告出稿を実施
23. 23 計測手法 前後比較　 手法③ メリット 実験設定が簡単 トラッキングのしやすさ（紐付けやすさ）によらない デメリット コンテンツ要因を除去できない （コンテンツのローンチに合わせて広告が増える問題） ABEMAにおいては、この影響が大きく無視できない
24. 24 計測手法 Geo-Experiments（地域分割テスト）　 手法④ グループA： 広告の出稿を行う グループB: 広告の出稿を行わない 比較する 地域単位のA/Bテスト
25. 25 計測手法 Geo-Experiments（地域分割テスト）　 手法④ メリット 比較的短期で評価が可能 妥当性・精度が担保できる （トラッキングのしやすさ・コンテンツ要因を除去できる） デメリット 細かく検証はできない 統計的な解釈が理解されるか難しい 今回の問題設定では細かい検証は求められていない
26. 26 手法選択 手法③ 手法④ 手法① 手法② メリット 実験設計が不要 オーガニックの分析も可能 デメリット コンテンツ要因を除去しきれない 長期データが必要で短期の効果は見られない マルチタッチアトリビューション マーケティング・ミックス・モデリング 前後比較 Geo-Experiments（地域分割テスト） メリット リアルタイム・全ての広告で細かく分析できる 設定変更が簡単 デメリット 紐づいたデータでの分析になってしまう（過大評価） 解釈が難しい （同じ1impをどう扱うべきか） メリット 設定が簡単 デメリット コンテンツ要因を除去できない メリット 比較的短期で評価が可能 妥当性・精度が担保できる デメリット 細かく検証はできない 統計的な解釈が理解されるか難しい 計測手法
27. 27 比較する 分析とその活用 検証設計 グループA： 動画広告の出稿を行う グループB: 動画広告の出稿を行わない
28. 28 分析とその活用 検証設計 動画ではない広告との 正しい比較が難しい 比較する グループA： 動画広告の出稿を行う グループB: 動画広告の出稿を行わない
29. 29 グループA： 動画広告(もしくは両方) の出稿を行う グループB: ディスプレイ広告の出稿を行う 比較する 分析とその活用 より NEXTアクションにつながりやすい検証設計に変更 検証設計 グループC: 出稿を行わない（ベースラインに利用）
30. 30 分析とその活用 具体例 ① スキャンダルイブ 出稿 地域 実験内容 グループ A 動画広告のみ出稿 グループ B ディスプレイ広告のみ出稿 グループ C 出稿を行わない ドラマ「スキャンダルイブ」の視聴を 増やすためにWeb出稿を行った。 広告種類ごとに出す地域を分けて検証
31. 31 分析とその活用 具体例 ① スキャンダルイブ 出稿 新規 or 復帰 視聴ユーザー数に対する分析 ディスプレイ広告(グループB) 効果が大きいことがわかる 各グループの介入効果
32. 32 分析とその活用 具体例 ① スキャンダルイブ 出稿 新規 or 復帰 ユーザーの視聴時間に対する分析 動画広告(グループA) 効果が大きいことがわかる グループAの方が投資額が少ないため 動画広告の方が効率はより良い 各グループの介入効果
33. 33 分析とその活用 具体例 ① スキャンダルイブ 出稿 新規 or 復帰 視聴時間に対する効果の時系列推移 動画広告(グループA) が後期の効果が大きいことがわかる ⬇ より継続視聴するユーザーを連れてきている？ 各グループの介入効果の推移
34. 34 分析とその活用 具体例 ② ABEMAプレミアム獲得 出稿 地域 事前期間 (1ヶ月) 事後期間 (2ヶ月) グループ A 通常通り 全出稿を OFF グループ B 通常通り ディスプレイ出稿のみ OFF グループ C 通常通り 通常通り ABEMAプレミアム（限定作品がみられるサブスク） の会員登録を増やす目的でWeb出稿を行った。 広告種類ごとに出す地域を分けて検証
35. 35 全出稿(グループA)の 会員登録数に対する結果 会員登録数を増やす効果がある 分析とその活用 具体例 ② ABEMAプレミアム獲得 出稿 累積介入効果の推移 介入効果の推移 ※ 実際は出稿を止める実験なので、符号を逆転させてプロットしている ※ ※
36. 36 分析とその活用 具体例 ② ABEMAプレミアム獲得 出稿 ディスプレイ広告(グループB)の 会員登録数に対する結果 統計的には差がない 介入効果の推移 累積介入効果の推移 ※ 実際は出稿を止める実験なので、符号を逆転させてプロットしている ※ ※
37. 37 分析とその活用 視聴ユーザー数 視聴時間 サブスク登録数 動画広告 ディスプレイ広告 より深いアクションにつながりやすいのは動画広告なのではないか
38. 38 分析とその活用 ABEMAにおいて複数のKPIで 動画広告の効果がディスプレイ広告を上回ることが確認できた 結果、動画広告への投資増加の判断につながっている 知りたいこと 「動画広告の純粋な増分効果はどの程度あるのか」 ※コンテンツやクリエイティブによるので、全ての状況に当てはまるわけではない ※
39. 39 なぜ実験まで行き着けたのか • 担当者の理解！　 • アウトプットイメージのすり合わせ • 小さく始める なぜ活用されたのか • 問題設定 動画広告を使えるようになるとマーケティングの幅が広がる 関係者が興味を持っている・喜ぶような問題設定になっていた？ 　 • 検証設計 媒体間の比較などNEXTアクションが取りやすい検証設計になっていた？ 学びと今後
40. 40 学びと今後 今後の取り組み • 分析手法の改善 • 広告以外のマーケティングの効果の解明 • 各ジャンル担当者と一緒にマーケティング戦略の構築（ABEMAプレミアム軸） ◦ ユーザー分析から仮説立案 ◦ 仮説検証（効果検証） ◦ 戦略策定 などなど データ活用でABEMAのマーケティングを加速させていきましょう！
41. 41 採用について 中途向け 学生向け