Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up
for free
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
Kentaro Ueda
December 01, 2020
Technology
2
360
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
DMM meetup#22〜DMMのプラットフォームを支える総合トップとDMM PointClub〜
(2020/11/30) にて発表した資料です
Kentaro Ueda
December 01, 2020
Tweet
Share
Other Decks in Technology
See All in Technology
y0hgi
1
370
clustervr
0
190
awsbelaraby
4
1.2k
am7cinnamon
2
2.7k
kurochan
0
560
sylph01
0
170
asaju7142501
0
250
hsano
0
120
osonoi
0
160
hamadakoji
0
1.1k
clustervr
0
160
clustervr
0
210
Featured
See All Featured
qrush
285
18k
jrom
114
7.1k
smashingmag
229
18k
sachag
267
17k
sachag
446
36k
wjessup
338
16k
matthewcrist
73
7.5k
tanoku
86
8.5k
chriscoyier
499
130k
addyosmani
1348
190k
jasonvnalue
82
8k
chriscoyier
145
19k
Transcript
© DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部 総合トップ開発部 送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと
DMM PointClub〜 上田 健太郎
© DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •
19年半ばまでWebアナリストチームで データ分析を担当 • その後、送客グループに移動 • 開発〜データ分析まで広く従事 • 上田 健太郎
© DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割
事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 総合トップの概要 4 • 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※
版権の都合上、一部画像を伏せております
© DMM.com 総合トップの役割 5
© DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ABテストとは • ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7
© DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① 商品表示UIの改善 成功例 9 • 商品画像の表示レイアウトを 横並び→縦並びに変更 •
CTR 3% 改善 → 本採用 • 背景: 4番目以降の商品が タップされていない • 低い実装コストで高いリターンが 得られた好例
© DMM.com ② 商品表示UIの改善 失敗例 • 「もっと見る」リンクの最適化 • CTR 7%
低下 → 巻き戻し • 背景: 文言が重複しており • 背景: 画面領域を無駄使いしている • サービス提供者の理想 ≠ ユーザの要求 • テスト無しの UI リニューアルの • 危険性を実感 10
© DMM.com ③ パーソナライズ施策 成功例 11 • ログインユーザ向け • 動画枠の商品をパーソナライズ
• CTR 34% 改善 • CVR 283% 改善 • 背景: 一律の商品をユーザに提示していた →本採用
© DMM.com • 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 • 非ログインユーザにも③の施策を横展開
• CTR 10% 低下 → 巻き戻し • ユーザーに警戒感を抱かせてしまった? • 対象に応じた最適化が必要
© DMM.com 実績 • CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値)
105% • 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 • 負債返済の成果 • 次にご紹介する取り組み の成果 13
© DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① KPIツリーを作り数値目標を立てる 15 • KPI = 目標達成度を測る指標 •
総合トップなら CTR や経由売上 • KPIをツリーに分解し、 注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に • 計算式を埋め込み KPI を試算 できるようにすると便利
© DMM.com ② テンプレ化 16
© DMM.com ③ 小さなテストから始め、テストに慣れる 17 • A/Bテストの実施経験が少ない場合に重要 • 序盤は小規模のテストを連続で実施 •
慣れが必要なことは多い • テスト用のリリースをどう管理するか? • 関係者にテストをどのように周知するか? A/Bテストのスケジュール例 周知例
© DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com まとめ 19 • 総合トップのグロースハックにはA/Bテストを活用 • 高速化の鍵 : テンプレ化・小さなテストから始め、テストに慣れる •
テスト無しの改善は危険を伴う • 精度向上の鍵: KPIツリーを作り数値目標を立てる • これからA/Bテストを始める際に参考になりそうなお話