Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
Search
Kenta Watanabe
October 24, 2017
Technology
0
1.9k
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
第12回若手Webエンジニア交流会での発表内容です
Kenta Watanabe
October 24, 2017
Tweet
Share
More Decks by Kenta Watanabe
See All by Kenta Watanabe
振り返りをドライバーにした若手チームでのサービス開発
kwtnb
1
600
Gunosyの新規事業開発
kwtnb
1
1.1k
Other Decks in Technology
See All in Technology
プロダクトエンジニアを支えるための開発生産性向上施策
tsukakei
0
140
2024年のナビゲーション・フォーカス対応:Composeでキーボード・ナビゲーションをサポートしよう
tahia910
0
110
The XZ Backdoor Story
fr0gger
0
3.5k
Creative UIs with Compose: DroidKaigi 2024
chrishorner
1
260
サプライチェーン攻撃に備える
ryunen344
0
190
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
AI活用したくてもできなかった不動産SaaSの今とこれから
nealle
0
320
OCI で始める!! Red Hat OpenShift / Get Started OpenShift on OCI
oracle4engineer
PRO
1
150
JEP 480: Structured Concurrency
aya_ebata
0
130
Agile in Automotive Industry, puzzles and lights.
hiranabe
2
890
グイグイ系QAマネージャーの仕事
sadonosake
0
220
スーパーマリオRPGのリメイク版の変更点からみるUX
nishiharatsubasa
1
340
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
85
5.6k
[RailsConf 2023] Rails as a piece of cake
palkan
48
4.6k
Creatively Recalculating Your Daily Design Routine
revolveconf
215
12k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
157
15k
Designing with Data
zakiwarfel
98
5k
Why You Should Never Use an ORM
jnunemaker
PRO
53
8.9k
The Invisible Customer
myddelton
119
13k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Writing Fast Ruby
sferik
623
60k
Become a Pro
speakerdeck
PRO
22
4.9k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
Transcript
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips Kenta Watanabe / 第12回若手Webエンジニア交流会
自己紹介 • Kenta Watanabe • 株式会社Gunosy 新規事業開発室所属 ◦ 女性向けアプリ「ルクラ」 •
We are hiring
アジェンダ • A/Bテストとは • A/Bテスト実施のメリット/問題 • A/Bテスト4つのTips スライド中の例で出てくる数字は仮想の数字です
A/Bテストとは?
A/Bテストとは? • A/Bテストとは ◦ サービス内のある体験に関して、2つ以 上の異なる状態がユーザに与える影響 を計測する仕組み • 目的 ◦
アプリサービスにおいては、ある機能が ユーザに与える影響を正確に計測する ために利用 • 例 ◦ 1)記事リスト面にてお気に入りボタンの 表示・UI比較 ◦ 2)複数の記事配信ロジックの比較 ◦ 3)トップページに検索バーを表示 VS VS なし VS VS
A/Bテスト実施のメリット
A/Bテストを行うことのメリット • 施策の結果を正確に把握できる • 施策の肌感覚を高めることが出来る ◦ UI/UXの変更で、対象ユーザが何%いて継続率が何%上がるか ◦ 次回以降の施策の効果見積もりに活かせる •
納得感をもってプロダクトに関われる ◦ 施策の結果が明確に見れるため、建設的に施策の議論ができる 確実にKPIが上がる施策についてもA/Bテストを実施する
A/Bテストの問題
A/Bテストの問題点 • KPIが変化した要因を勘違いする • 間違ったノウハウが数値的に裏付けのある正しいノウハウとして組織に蓄 積される
快適なABライフを送るための4つの Tipsを紹介
1. A/Aテスト
1. A/Aテスト • A/Bテストを開始する前に、状態の変化なしにKPIを比較する ◦ 検証したい状態以外の要因がKPIに影響していないか把握できる ◦ 誤差の大きさを把握できる • 例
◦ 対象ユーザが数千だとアプリの利用継続率で ~1%とかの差が出ることはある
2. 初動に惑わされない
2. 初動に惑わされない • UI/UX に大きな変化があった直後はKPIが上がりやすい • ユーザがお試しでボタンを触ったりするため ◦ 例)トップ画面に検索バーを表示したところ、継続ユーザの検索 UUが5%向上し
たが、一週間経過すると1%の向上に落ち着いた • 最低限の期間テストを継続する とりあえず一回触る
3. 想定外の影響に注意
3. 想定外の影響に注意 • 比較したい要因以外の要因でKPIが影響を受けることが多い ◦ 例)新しい記事配信ロジックの対象ユーザの一人当たりの記事クリック数が 0.5 下落したが、下落要因はAPIのレスポンス速度が400ms上がったためだった • 比較したいメインのKPI以外も可視化しておく
◦ サーバのレスポンス速度、Imp/DAU、etc
4. 長期でA/B
4. 長期でA/B • 短期的にサービスのKPIが上がるが、長期的には下がる施策は多い ◦ 例)プッシュ通知の頻度をあげると、 3日後継続率は2.5pt向上したが、20日後 継続率は0.8pt下落 ◦ 主観的にストレスを感じる施策に多い
• このような施策は短期で評価できないため、長期で一部のユーザでA/Bを 実施する ◦ 例)5%のユーザに対しては、記事リスト面で表示する記事数を 20記事に絞る
まとめ
まとめ • A/Bテストはプロダクトを改善するために有用な手段 • A/Bテストの結果を解釈するときに注意が必要だが、ポイントを押さえるこ とで回避できる • A/Bテストで快適な開発ライフを!