Upgrade to Pro — share decks privately, control downloads, hide ads and more …

DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -

9bbe89407cd58c9c7fb750e57f90fc85?s=47 Kentaro Ueda
December 01, 2020

DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -

9bbe89407cd58c9c7fb750e57f90fc85?s=128

Kentaro Ueda

December 01, 2020
Tweet

Transcript

  1. © DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部 総合トップ開発部 送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと

    DMM PointClub〜 上田 健太郎
  2. © DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •

    19年半ばまでWebアナリストチームで  データ分析を担当 • その後、送客グループに移動 • 開発〜データ分析まで広く従事 • 上田 健太郎
  3. © DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割

    事例紹介 (A/Bテストがなぜ重要か)
  4. © DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

  5. © DMM.com 総合トップの概要 4 • 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※

    版権の都合上、一部画像を伏せております
  6. © DMM.com 総合トップの役割 5

  7. © DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

  8. © DMM.com ABテストとは • ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7

  9. © DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

  10. © DMM.com ① 商品表示UIの改善 成功例 9 • 商品画像の表示レイアウトを 横並び→縦並びに変更 •

    CTR 3% 改善 → 本採用 • 背景: 4番目以降の商品が    タップされていない • 低い実装コストで高いリターンが 得られた好例
  11. © DMM.com ② 商品表示UIの改善 失敗例 • 「もっと見る」リンクの最適化 • CTR 7%

    低下 → 巻き戻し • 背景: 文言が重複しており • 背景: 画面領域を無駄使いしている • サービス提供者の理想 ≠ ユーザの要求 • テスト無しの UI リニューアルの • 危険性を実感 10
  12. © DMM.com ③ パーソナライズ施策 成功例 11 • ログインユーザ向け • 動画枠の商品をパーソナライズ

    • CTR 34% 改善 • CVR 283% 改善 • 背景: 一律の商品をユーザに提示していた →本採用
  13. © DMM.com • 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 • 非ログインユーザにも③の施策を横展開

    • CTR 10% 低下 → 巻き戻し • ユーザーに警戒感を抱かせてしまった? • 対象に応じた最適化が必要
  14. © DMM.com 実績 • CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値)

    105% • 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 • 負債返済の成果 • 次にご紹介する取り組み の成果 13
  15. © DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

  16. © DMM.com ① KPIツリーを作り数値目標を立てる 15 • KPI = 目標達成度を測る指標 •

    総合トップなら CTR や経由売上 • KPIをツリーに分解し、  注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に • 計算式を埋め込み KPI を試算 できるようにすると便利
  17. © DMM.com ② テンプレ化 16

  18. © DMM.com ③ 小さなテストから始め、テストに慣れる 17 • A/Bテストの実施経験が少ない場合に重要 • 序盤は小規模のテストを連続で実施 •

    慣れが必要なことは多い • テスト用のリリースをどう管理するか? • 関係者にテストをどのように周知するか? A/Bテストのスケジュール例 周知例
  19. © DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

  20. © DMM.com まとめ 19 • 総合トップのグロースハックにはA/Bテストを活用 • 高速化の鍵 : テンプレ化・小さなテストから始め、テストに慣れる •

    テスト無しの改善は危険を伴う • 精度向上の鍵: KPIツリーを作り数値目標を立てる • これからA/Bテストを始める際に参考になりそうなお話