Upgrade to Pro — share decks privately, control downloads, hide ads and more …

長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips

長期に渡ってプロダクトを改善す るためのA/Bテスト4つのTips

第12回若手Webエンジニア交流会での発表内容です

Kenta Watanabe

October 24, 2017
Tweet

More Decks by Kenta Watanabe

Other Decks in Technology

Transcript

  1. A/Bテストとは? • A/Bテストとは ◦ サービス内のある体験に関して、2つ以 上の異なる状態がユーザに与える影響 を計測する仕組み • 目的 ◦

    アプリサービスにおいては、ある機能が ユーザに与える影響を正確に計測する ために利用 • 例 ◦ 1)記事リスト面にてお気に入りボタンの 表示・UI比較 ◦ 2)複数の記事配信ロジックの比較 ◦ 3)トップページに検索バーを表示 VS VS なし VS VS
  2. A/Bテストを行うことのメリット • 施策の結果を正確に把握できる • 施策の肌感覚を高めることが出来る ◦ UI/UXの変更で、対象ユーザが何%いて継続率が何%上がるか ◦ 次回以降の施策の効果見積もりに活かせる •

    納得感をもってプロダクトに関われる ◦ 施策の結果が明確に見れるため、建設的に施策の議論ができる 確実にKPIが上がる施策についてもA/Bテストを実施する
  3. 4. 長期でA/B • 短期的にサービスのKPIが上がるが、長期的には下がる施策は多い ◦ 例)プッシュ通知の頻度をあげると、 3日後継続率は2.5pt向上したが、20日後 継続率は0.8pt下落 ◦ 主観的にストレスを感じる施策に多い

    • このような施策は短期で評価できないため、長期で一部のユーザでA/Bを 実施する ◦ 例)5%のユーザに対しては、記事リスト面で表示する記事数を 20記事に絞る