DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -

DMM meetup#22〜DMMのプラットフォームを支える総合トップとDMM PointClub〜 (2020/11/30) にて発表した資料です

1. © DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部　総合トップ開発部　送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと DMM PointClub〜 上田 健太郎
2. © DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 • 19年半ばまでWebアナリストチームで 　データ分析を担当 • その後、送客グループに移動 • 開発〜データ分析まで広く従事 • 上田 健太郎
3. © DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
4. © DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
5. © DMM.com 総合トップの概要 4 • 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※ 版権の都合上、一部画像を伏せております
6. © DMM.com 総合トップの役割 5
7. © DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
8. © DMM.com ABテストとは • ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7
9. © DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
10. © DMM.com ① 商品表示UIの改善 成功例 9 • 商品画像の表示レイアウトを 横並び→縦並びに変更 • CTR 3% 改善 → 本採用 • 背景: 4番目以降の商品が 　　 タップされていない • 低い実装コストで高いリターンが 得られた好例
11. © DMM.com ② 商品表示UIの改善 失敗例 • 「もっと見る」リンクの最適化 • CTR 7% 低下 → 巻き戻し • 背景: 文言が重複しており • 背景: 画面領域を無駄使いしている • サービス提供者の理想 ≠ ユーザの要求 • テスト無しの UI リニューアルの • 危険性を実感 10
12. © DMM.com ③ パーソナライズ施策 成功例 11 • ログインユーザ向け • 動画枠の商品をパーソナライズ • CTR 34% 改善 • CVR 283% 改善 • 背景: 一律の商品をユーザに提示していた →本採用
13. © DMM.com • 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 • 非ログインユーザにも③の施策を横展開 • CTR 10% 低下 → 巻き戻し • ユーザーに警戒感を抱かせてしまった？ • 対象に応じた最適化が必要
14. © DMM.com 実績 • CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 • 負債返済の成果 • 次にご紹介する取り組み の成果 13
15. © DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
16. © DMM.com ① KPIツリーを作り数値目標を立てる 15 • KPI = 目標達成度を測る指標 • 総合トップなら CTR や経由売上 • KPIをツリーに分解し、 　注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に • 計算式を埋め込み KPI を試算 できるようにすると便利
17. © DMM.com ② テンプレ化 16
18. © DMM.com ③ 小さなテストから始め、テストに慣れる 17 • A/Bテストの実施経験が少ない場合に重要 • 序盤は小規模のテストを連続で実施 • 慣れが必要なことは多い • テスト用のリリースをどう管理するか？ • 関係者にテストをどのように周知するか？ A/Bテストのスケジュール例 周知例
19. © DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
20. © DMM.com まとめ 19 • 総合トップのグロースハックにはA/Bテストを活用 • 高速化の鍵　: テンプレ化・小さなテストから始め、テストに慣れる • テスト無しの改善は危険を伴う • 精度向上の鍵: KPIツリーを作り数値目標を立てる • これからA/Bテストを始める際に参考になりそうなお話