Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
Search
Kentaro Ueda
December 01, 2020
Technology
2
1.6k
DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み -
DMM meetup#22〜DMMのプラットフォームを支える総合トップとDMM PointClub〜
(2020/11/30) にて発表した資料です
Kentaro Ueda
December 01, 2020
Tweet
Share
More Decks by Kentaro Ueda
See All by Kentaro Ueda
Redashダッシュボード・クエリ作成の時短方法
kentaroueda36
0
660
信頼性の高いRedashクエリを作る方法を考える
kentaroueda36
0
21
Other Decks in Technology
See All in Technology
Databricks:『生成AI World Cup』のご案内
databricksjapan
2
150
Reducing Cross-Zone Egress at Spotify with Custom gRPC Load Balancing Recap
koh_naga
0
120
Data and AI Governance: Existing Challenges and Emerging Trends
scotthsieh825
0
150
キャラクター制御のためのプロンプト術 for LINE Bot
uezo
0
520
レガシーをぶっ壊せ。AEONで始めるDevRelの話 / Qiita Night 2024-2-22
aeonpeople
3
150
長期運用プロジェクトでのMySQLからTiDB移行の検証
colopl
2
660
SREとその組織類型
tatsuo48
8
1.5k
SPI原点回帰論:事業課題とFour Keysの結節点を見出す実践的ソフトウェアプロセス改善 / DevOpsDays Tokyo 2024
visional_engineering_and_design
4
1.5k
ユーザーストーリーのレビューを自動化したみたの
bun913
1
320
**強い**エンジニアのなり方 - フィードバックサイクルを勝ち取る / grow one day each day
soudai
61
18k
Next'24 事例セッションの紹介とクラウド資格を活用したキャリア形成について語りMuscle
yasumuusan
1
340
エンタープライズ環境下での Active Directory の運用 TIPS
tamaiyutaro
1
1.6k
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
6
990
Optimising Largest Contentful Paint
csswizardry
7
2.3k
What's in a price? How to price your products and services
michaelherold
237
11k
KATA
mclloyd
14
12k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
12
1.5k
StorybookのUI Testing Handbookを読んだ
zakiyama
11
4.6k
Web development in the modern age
philhawksworth
202
10k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
The Cost Of JavaScript in 2023
addyosmani
14
3.8k
Unsuck your backbone
ammeep
662
57k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Art, The Web, and Tiny UX
lynnandtonic
288
19k
Transcript
© DMM.com DMM総合トップのグロースハック - ABテスト高速化・精度向上への取り組み - プラットフォーム事業本部 総合トップ開発部 送客グループ 2020/11/30 @DMM meetup#22〜DMMのプラットフォームを支える総合トップと
DMM PointClub〜 上田 健太郎
© DMM.com 自己紹介 1 • 2017年入社 Compass ID: KentaroUeda0138 •
19年半ばまでWebアナリストチームで データ分析を担当 • その後、送客グループに移動 • 開発〜データ分析まで広く従事 • 上田 健太郎
© DMM.com 目次 2 これからA/Bテストを始める際に 参考になりそうなお話 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割
事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 目次 3 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com 総合トップの概要 4 • 40以上のサービスにユーザーを送客する、DMM 一丁目一番地のページ • 月間5,000万PV以上 ※
版権の都合上、一部画像を伏せております
© DMM.com 総合トップの役割 5
© DMM.com 目次 6 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ABテストとは • ユーザー影響を抑えつつ施策の有効性を検証するテスト手法のひとつ 7
© DMM.com 目次 8 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① 商品表示UIの改善 成功例 9 • 商品画像の表示レイアウトを 横並び→縦並びに変更 •
CTR 3% 改善 → 本採用 • 背景: 4番目以降の商品が タップされていない • 低い実装コストで高いリターンが 得られた好例
© DMM.com ② 商品表示UIの改善 失敗例 • 「もっと見る」リンクの最適化 • CTR 7%
低下 → 巻き戻し • 背景: 文言が重複しており • 背景: 画面領域を無駄使いしている • サービス提供者の理想 ≠ ユーザの要求 • テスト無しの UI リニューアルの • 危険性を実感 10
© DMM.com ③ パーソナライズ施策 成功例 11 • ログインユーザ向け • 動画枠の商品をパーソナライズ
• CTR 34% 改善 • CVR 283% 改善 • 背景: 一律の商品をユーザに提示していた →本採用
© DMM.com • 当初はテストをスキップする予定だった ④ パーソナライズ施策 失敗例 12 • 非ログインユーザにも③の施策を横展開
• CTR 10% 低下 → 巻き戻し • ユーザーに警戒感を抱かせてしまった? • 対象に応じた最適化が必要
© DMM.com 実績 • CTR (商品などのクリック率) 2020年3-5月期 2020年6-8月期 100% (基準値)
105% • 売上 (総合トップ経由) 2020年3-5月期 2020年6-8月期 100% (基準値) 105% • 施策実施数 2020年3-5月期 2020年6-8月期 1件 12件 • 負債返済の成果 • 次にご紹介する取り組み の成果 13
© DMM.com 目次 14 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com ① KPIツリーを作り数値目標を立てる 15 • KPI = 目標達成度を測る指標 •
総合トップなら CTR や経由売上 • KPIをツリーに分解し、 注力すべきところを明確化する → 目標 (何を何%向上させる) 立てが容易に • 計算式を埋め込み KPI を試算 できるようにすると便利
© DMM.com ② テンプレ化 16
© DMM.com ③ 小さなテストから始め、テストに慣れる 17 • A/Bテストの実施経験が少ない場合に重要 • 序盤は小規模のテストを連続で実施 •
慣れが必要なことは多い • テスト用のリリースをどう管理するか? • 関係者にテストをどのように周知するか? A/Bテストのスケジュール例 周知例
© DMM.com 目次 18 ABテストとは 高速化・精度向上に効いたこと まとめ 総合トップの概要・役割 事例紹介 (A/Bテストがなぜ重要か)
© DMM.com まとめ 19 • 総合トップのグロースハックにはA/Bテストを活用 • 高速化の鍵 : テンプレ化・小さなテストから始め、テストに慣れる •
テスト無しの改善は危険を伴う • 精度向上の鍵: KPIツリーを作り数値目標を立てる • これからA/Bテストを始める際に参考になりそうなお話