Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
Search
Kenta Watanabe
October 24, 2017
Technology
0
1.8k
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
第12回若手Webエンジニア交流会での発表内容です
Kenta Watanabe
October 24, 2017
Tweet
Share
More Decks by Kenta Watanabe
See All by Kenta Watanabe
振り返りをドライバーにした若手チームでのサービス開発
kwtnb
1
540
Gunosyの新規事業開発
kwtnb
1
980
Other Decks in Technology
See All in Technology
技術広報経験0のEMがエンジニアブランディングをはじめてみた
coconala_engineer
1
120
期待しすぎずに取り組む両面 TypeScript
shozawa
2
260
Evolutionary Optimization of Model Merging Recipes
fuyu_quant0
3
500
暗黙知を集積するプラットフォーム : 「健常者エミュレータ事例集」の取り組み
sora32127
1
160
8週連続ウェビナー_イチから学ぶFivetran
cmsuzu
0
160
Ask-LLM論文紹介: How to Train Data-Efficient LLMs
s_ota
0
110
OCI Data Integration技術情報 / ocidi_technical_jp
oracle4engineer
PRO
1
1.5k
サービス成長と共に肥大化するモノレポ、長くなるCI時間 / As services grow, monorepos get bigger and CI time gets longer
kohbis
5
2k
戦略的DDDを実践するための跳躍力 / OOC 2024
pictiny
6
3.1k
データ化エンジニアとしての1年を振り返る
sansantech
PRO
3
250
関数型DDDの理論と実践:「決定を遅らせる」を先につくり、 ビジネスの機動力と価値をあげる
knih
2
150
長文から長文を生成するLLMツールをオープンソースで作ってみた。
tomohisa
2
140
Featured
See All Featured
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
272
12k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
14
1.3k
GraphQLとの向き合い方2022年版
quramy
28
12k
Become a Pro
speakerdeck
PRO
8
4.4k
Bash Introduction
62gerente
604
210k
Unsuck your backbone
ammeep
660
56k
Product Roadmaps are Hard
iamctodd
43
9.6k
The Language of Interfaces
destraynor
150
22k
RailsConf 2023
tenderlove
0
510
Fireside Chat
paigeccino
19
2.6k
Build your cross-platform service in a week with App Engine
jlugia
223
17k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Transcript
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips Kenta Watanabe / 第12回若手Webエンジニア交流会
自己紹介 • Kenta Watanabe • 株式会社Gunosy 新規事業開発室所属 ◦ 女性向けアプリ「ルクラ」 •
We are hiring
アジェンダ • A/Bテストとは • A/Bテスト実施のメリット/問題 • A/Bテスト4つのTips スライド中の例で出てくる数字は仮想の数字です
A/Bテストとは?
A/Bテストとは? • A/Bテストとは ◦ サービス内のある体験に関して、2つ以 上の異なる状態がユーザに与える影響 を計測する仕組み • 目的 ◦
アプリサービスにおいては、ある機能が ユーザに与える影響を正確に計測する ために利用 • 例 ◦ 1)記事リスト面にてお気に入りボタンの 表示・UI比較 ◦ 2)複数の記事配信ロジックの比較 ◦ 3)トップページに検索バーを表示 VS VS なし VS VS
A/Bテスト実施のメリット
A/Bテストを行うことのメリット • 施策の結果を正確に把握できる • 施策の肌感覚を高めることが出来る ◦ UI/UXの変更で、対象ユーザが何%いて継続率が何%上がるか ◦ 次回以降の施策の効果見積もりに活かせる •
納得感をもってプロダクトに関われる ◦ 施策の結果が明確に見れるため、建設的に施策の議論ができる 確実にKPIが上がる施策についてもA/Bテストを実施する
A/Bテストの問題
A/Bテストの問題点 • KPIが変化した要因を勘違いする • 間違ったノウハウが数値的に裏付けのある正しいノウハウとして組織に蓄 積される
快適なABライフを送るための4つの Tipsを紹介
1. A/Aテスト
1. A/Aテスト • A/Bテストを開始する前に、状態の変化なしにKPIを比較する ◦ 検証したい状態以外の要因がKPIに影響していないか把握できる ◦ 誤差の大きさを把握できる • 例
◦ 対象ユーザが数千だとアプリの利用継続率で ~1%とかの差が出ることはある
2. 初動に惑わされない
2. 初動に惑わされない • UI/UX に大きな変化があった直後はKPIが上がりやすい • ユーザがお試しでボタンを触ったりするため ◦ 例)トップ画面に検索バーを表示したところ、継続ユーザの検索 UUが5%向上し
たが、一週間経過すると1%の向上に落ち着いた • 最低限の期間テストを継続する とりあえず一回触る
3. 想定外の影響に注意
3. 想定外の影響に注意 • 比較したい要因以外の要因でKPIが影響を受けることが多い ◦ 例)新しい記事配信ロジックの対象ユーザの一人当たりの記事クリック数が 0.5 下落したが、下落要因はAPIのレスポンス速度が400ms上がったためだった • 比較したいメインのKPI以外も可視化しておく
◦ サーバのレスポンス速度、Imp/DAU、etc
4. 長期でA/B
4. 長期でA/B • 短期的にサービスのKPIが上がるが、長期的には下がる施策は多い ◦ 例)プッシュ通知の頻度をあげると、 3日後継続率は2.5pt向上したが、20日後 継続率は0.8pt下落 ◦ 主観的にストレスを感じる施策に多い
• このような施策は短期で評価できないため、長期で一部のユーザでA/Bを 実施する ◦ 例)5%のユーザに対しては、記事リスト面で表示する記事数を 20記事に絞る
まとめ
まとめ • A/Bテストはプロダクトを改善するために有用な手段 • A/Bテストの結果を解釈するときに注意が必要だが、ポイントを押さえるこ とで回避できる • A/Bテストで快適な開発ライフを!