長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips

第12回若手Webエンジニア交流会での発表内容です

Transcript

1. 長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips Kenta Watanabe / 第12回若手Webエンジニア交流会
2. 自己紹介 • Kenta Watanabe • 株式会社Gunosy 新規事業開発室所属 ◦ 女性向けアプリ「ルクラ」 • We are hiring
3. アジェンダ • A/Bテストとは • A/Bテスト実施のメリット/問題 • A/Bテスト4つのTips スライド中の例で出てくる数字は仮想の数字です
4. A/Bテストとは？
5. A/Bテストとは？ • A/Bテストとは ◦ サービス内のある体験に関して、２つ以 上の異なる状態がユーザに与える影響 を計測する仕組み • 目的 ◦ アプリサービスにおいては、ある機能が ユーザに与える影響を正確に計測する ために利用 • 例 ◦ １）記事リスト面にてお気に入りボタンの 表示・UI比較 ◦ ２）複数の記事配信ロジックの比較 ◦ ３）トップページに検索バーを表示 VS VS なし VS VS
6. A/Bテスト実施のメリット
7. A/Bテストを行うことのメリット • 施策の結果を正確に把握できる • 施策の肌感覚を高めることが出来る ◦ UI/UXの変更で、対象ユーザが何%いて継続率が何%上がるか ◦ 次回以降の施策の効果見積もりに活かせる • 納得感をもってプロダクトに関われる ◦ 施策の結果が明確に見れるため、建設的に施策の議論ができる 確実にKPIが上がる施策についてもA/Bテストを実施する
8. A/Bテストの問題
9. A/Bテストの問題点 • KPIが変化した要因を勘違いする • 間違ったノウハウが数値的に裏付けのある正しいノウハウとして組織に蓄 積される
10. 快適なABライフを送るための4つの Tipsを紹介
11. 1. A/Aテスト
12. 1. A/Aテスト • A/Bテストを開始する前に、状態の変化なしにKPIを比較する ◦ 検証したい状態以外の要因がKPIに影響していないか把握できる ◦ 誤差の大きさを把握できる • 例 ◦ 対象ユーザが数千だとアプリの利用継続率で ~1%とかの差が出ることはある
13. 2. 初動に惑わされない
14. 2. 初動に惑わされない • UI/UX に大きな変化があった直後はKPIが上がりやすい • ユーザがお試しでボタンを触ったりするため ◦ 例）トップ画面に検索バーを表示したところ、継続ユーザの検索 UUが5%向上し たが、一週間経過すると1%の向上に落ち着いた • 最低限の期間テストを継続する とりあえず一回触る
15. 3. 想定外の影響に注意
16. 3. 想定外の影響に注意 • 比較したい要因以外の要因でKPIが影響を受けることが多い ◦ 例）新しい記事配信ロジックの対象ユーザの一人当たりの記事クリック数が 0.5 下落したが、下落要因はAPIのレスポンス速度が400ms上がったためだった • 比較したいメインのKPI以外も可視化しておく ◦ サーバのレスポンス速度、Imp/DAU、etc
17. 4. 長期でA/B
18. 4. 長期でA/B • 短期的にサービスのKPIが上がるが、長期的には下がる施策は多い ◦ 例）プッシュ通知の頻度をあげると、 3日後継続率は2.5pt向上したが、20日後 継続率は0.8pt下落 ◦ 主観的にストレスを感じる施策に多い • このような施策は短期で評価できないため、長期で一部のユーザでA/Bを 実施する ◦ 例）5%のユーザに対しては、記事リスト面で表示する記事数を 20記事に絞る
19. まとめ
20. まとめ • A/Bテストはプロダクトを改善するために有用な手段 • A/Bテストの結果を解釈するときに注意が必要だが、ポイントを押さえるこ とで回避できる • A/Bテストで快適な開発ライフを！