Tweet
Tweet

Slide 1

Slide 1 text

© DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部　総合トップ開発部　送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと DMM PointClub〜 上田 健太郎

Slide 2

Slide 2 text

© DMM.com 自己紹介 1 ● 2017年入社 Compass ID: KentaroUeda0138 ● 19年半ばまでWebアナリストチームで 　データ分析を担当 ● その後、送客グループに移動 ● 開発〜データ分析まで広く従事 ● 上田 健太郎

Slide 3

Slide 3 text

© DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 4

Slide 4 text

© DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 5

Slide 5 text

© DMM.com 総合トップの概要 4 ● 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ ● 月間5,000万PV以上 ※ 版権の都合上、一部画像を伏せております

Slide 6

Slide 6 text

© DMM.com 総合トップの役割 5

Slide 7

Slide 7 text

© DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 8

Slide 8 text

© DMM.com ABテストとは ● ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7

Slide 9

Slide 9 text

© DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 10

Slide 10 text

© DMM.com ① 商品表示UIの改善 成功例 9 ● 商品画像の表示レイアウトを 横並び→縦並びに変更 ● CTR 3% 改善 → 本採用 ● 背景: 4番目以降の商品が 　　 タップされていない ● 低い実装コストで高いリターンが 得られた好例

Slide 11

Slide 11 text

© DMM.com ② 商品表示UIの改善 失敗例 ● 「もっと見る」リンクの最適化 ● CTR 7% 低下 → 巻き戻し ● 背景: 文言が重複しており ● 背景: 画面領域を無駄使いしている ● サービス提供者の理想 ≠ ユーザの要求 ● テスト無しの UI リニューアルの ● 危険性を実感 10

Slide 12

Slide 12 text

© DMM.com ③ パーソナライズ施策 成功例 11 ● ログインユーザ向け ● 動画枠の商品をパーソナライズ ● CTR 34% 改善 ● CVR 283% 改善 ● 背景: 一律の商品をユーザに提示していた →本採用

Slide 13

Slide 13 text

© DMM.com ● 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 ● 非ログインユーザにも③の施策を横展開 ● CTR 10% 低下 → 巻き戻し ● ユーザーに警戒感を抱かせてしまった？ ● 対象に応じた最適化が必要

Slide 14

Slide 14 text

© DMM.com 実績 ● CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% ● 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% ● 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 ● 負債返済の成果 ● 次にご紹介する取り組み の成果 13

Slide 15

Slide 15 text

© DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 16

Slide 16 text

© DMM.com ① KPIツリーを作り数値目標を立てる 15 ● KPI = 目標達成度を測る指標 ● 総合トップなら CTR や経由売上 ● KPIをツリーに分解し、 　注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に ● 計算式を埋め込み KPI を試算 できるようにすると便利

Slide 17

Slide 17 text

© DMM.com ② テンプレ化 16

Slide 18

Slide 18 text

© DMM.com ③ 小さなテストから始め、テストに慣れる 17 ● A/Bテストの実施経験が少ない場合に重要 ● 序盤は小規模のテストを連続で実施 ● 慣れが必要なことは多い ● テスト用のリリースをどう管理するか？ ● 関係者にテストをどのように周知するか？ A/Bテストのスケジュール例 周知例

Slide 19

Slide 19 text

© DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)

Slide 20

Slide 20 text

© DMM.com まとめ 19 ● 総合トップのグロースハックにはA/Bテストを活用 ● 高速化の鍵　: テンプレ化・小さなテストから始め、テストに慣れる ● テスト無しの改善は危険を伴う ● 精度向上の鍵: KPIツリーを作り数値目標を立てる ● これからA/Bテストを始める際に参考になりそうなお話