Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
Search
Kenta Watanabe
October 24, 2017
Technology
2.2k
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips
第12回若手Webエンジニア交流会での発表内容です
Kenta Watanabe
October 24, 2017
Transcript
20 slides
長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips Kenta Watanabe / 第12回若手Webエンジニア交流会
自己紹介 • Kenta Watanabe • 株式会社Gunosy 新規事業開発室所属 ◦ 女性向けアプリ「ルクラ」 •
We are hiring
アジェンダ • A/Bテストとは • A/Bテスト実施のメリット/問題 • A/Bテスト4つのTips スライド中の例で出てくる数字は仮想の数字です
A/Bテストとは?
A/Bテストとは? • A/Bテストとは ◦ サービス内のある体験に関して、2つ以 上の異なる状態がユーザに与える影響 を計測する仕組み • 目的 ◦
アプリサービスにおいては、ある機能が ユーザに与える影響を正確に計測する ために利用 • 例 ◦ 1)記事リスト面にてお気に入りボタンの 表示・UI比較 ◦ 2)複数の記事配信ロジックの比較 ◦ 3)トップページに検索バーを表示 VS VS なし VS VS
A/Bテスト実施のメリット
A/Bテストを行うことのメリット • 施策の結果を正確に把握できる • 施策の肌感覚を高めることが出来る ◦ UI/UXの変更で、対象ユーザが何%いて継続率が何%上がるか ◦ 次回以降の施策の効果見積もりに活かせる •
納得感をもってプロダクトに関われる ◦ 施策の結果が明確に見れるため、建設的に施策の議論ができる 確実にKPIが上がる施策についてもA/Bテストを実施する
A/Bテストの問題
A/Bテストの問題点 • KPIが変化した要因を勘違いする • 間違ったノウハウが数値的に裏付けのある正しいノウハウとして組織に蓄 積される
快適なABライフを送るための4つの Tipsを紹介
1. A/Aテスト
1. A/Aテスト • A/Bテストを開始する前に、状態の変化なしにKPIを比較する ◦ 検証したい状態以外の要因がKPIに影響していないか把握できる ◦ 誤差の大きさを把握できる • 例
◦ 対象ユーザが数千だとアプリの利用継続率で ~1%とかの差が出ることはある
2. 初動に惑わされない
2. 初動に惑わされない • UI/UX に大きな変化があった直後はKPIが上がりやすい • ユーザがお試しでボタンを触ったりするため ◦ 例)トップ画面に検索バーを表示したところ、継続ユーザの検索 UUが5%向上し
たが、一週間経過すると1%の向上に落ち着いた • 最低限の期間テストを継続する とりあえず一回触る
3. 想定外の影響に注意
3. 想定外の影響に注意 • 比較したい要因以外の要因でKPIが影響を受けることが多い ◦ 例)新しい記事配信ロジックの対象ユーザの一人当たりの記事クリック数が 0.5 下落したが、下落要因はAPIのレスポンス速度が400ms上がったためだった • 比較したいメインのKPI以外も可視化しておく
◦ サーバのレスポンス速度、Imp/DAU、etc
4. 長期でA/B
4. 長期でA/B • 短期的にサービスのKPIが上がるが、長期的には下がる施策は多い ◦ 例)プッシュ通知の頻度をあげると、 3日後継続率は2.5pt向上したが、20日後 継続率は0.8pt下落 ◦ 主観的にストレスを感じる施策に多い
• このような施策は短期で評価できないため、長期で一部のユーザでA/Bを 実施する ◦ 例)5%のユーザに対しては、記事リスト面で表示する記事数を 20記事に絞る
まとめ
まとめ • A/Bテストはプロダクトを改善するために有用な手段 • A/Bテストの結果を解釈するときに注意が必要だが、ポイントを押さえるこ とで回避できる • A/Bテストで快適な開発ライフを!
More Decks by Kenta Watanabe
See All by Kenta Watanabe
振り返りをドライバーにした若手チームでのサービス開発
kwtnb
1
720
Gunosyの新規事業開発
kwtnb
1
1.6k
Other Decks in Technology
See All in Technology
ラクスル会社紹介資料|エンジニア向け / RAKSUL Introduction for Engineers
raksulrecruiting
0
130
_マネジメントする人される人ナイト_2026__良いチームを作っていきたい_お気持ち_.pdf
xkxaxkx
0
740
SSFの現在地 ― CAEP/RISCからAI Identityへ
oidfj
0
460
「任されビリティ」で引き受けて「よしなりてぃ」に頼らず任せる / Accept tasks with "makasarebility" and hand them over without relying on "yoshinarily"
pauli
1
740
狙われているAPIの脆弱性!今こそ手をつけるべき根本的な対策とは?
nagix
0
140
AWS基盤改善を支える 私たちの理念と行動指針
kentosuzuki
0
240
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
440
Kansai WordPress Meetup@大阪『ブロックテーマを作る上で知っておくべきこと
torounit
0
210
落とし穴にハマってわかった 開発生産性を測るときに気をつけたいこと
munakata
3
280
AI時代における医療情報システムのセキュリティ / Security of Healthcare IT Systems in the AI Era
henryofficial
0
180
DevOps Agentにあらゆるセキュリティインシデントのトリアージを任せた件
jirtosterone
1
170
会社説明資料_最新版
demaecan
0
32k
Featured
See All Featured
The #1 spot is gone: here's how to win anyway
tamaranovitovic
4
1.2k
State of Search Keynote: SEO is Dead Long Live SEO
ryanjones
0
350
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
350
Scaling GitHub
holman
464
140k
Claude Code のすすめ
schroneko
67
230k
Producing Creativity
orderedlist
PRO
348
41k
Reflections from 52 weeks, 52 projects
jeffersonlam
356
22k
4 Signs Your Business is Dying
shpigford
187
23k
For a Future-Friendly Web
brad_frost
184
11k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
990
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640
Public Speaking Without Barfing On Your Shoes - THAT 2023
reverentgeek
1
670