Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GunosyにおけるABテスト
Search
ij_spitz
March 18, 2016
Technology
1
460
GunosyにおけるABテスト
2016/03/18
エムスリー x Gunosy Beer bash!(Gunosy.beer#2)
ij_spitz
March 18, 2016
Tweet
Share
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
3
2.2k
プロダクト改善のためのデータ分析入門
ij_spitz
1
80
これからの強化学習_3.1_3.2
ij_spitz
0
100
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
17k
fitbitではじめるオープンデータ
ij_spitz
0
160
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
340
Linuxとファイル
ij_spitz
0
86
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
190
Supporter Opinion
ij_spitz
0
60
Other Decks in Technology
See All in Technology
AIエージェント元年@日本生成AIユーザ会
shukob
1
260
Охота на косуль у древних
ashapiro
0
130
JAWS FESTA 2024「バスロケ」GPS×サーバーレスの開発と運用の舞台裏/jawsfesta2024-bus-gps-serverless
ma2shita
3
370
スクラムというコンフォートゾーンから抜け出そう!プロジェクト全体に目を向けるインセプションデッキ / Inception Deck for seeing the whole project
takaking22
3
170
ABWG2024採択者が語るエンジニアとしての自分自身の見つけ方〜発信して、つながって、世界を広げていく〜
maimyyym
1
230
“常に進化する”開発現場へ! SHIFTが語るアジャイルQAの未来/20250306 Yuma Murase
shift_evolve
0
100
サバイバルモード下でのエンジニアリングマネジメント
konifar
22
7.3k
フォーイット_エンジニア向け会社紹介資料_Forit_Company_Profile.pdf
forit_tech
1
1.7k
LINE NEWSにおけるバックエンド開発
lycorptech_jp
PRO
0
390
遷移の高速化 ヤフートップの試行錯誤
narirou
6
1.9k
QAエンジニアが スクラムマスターをすると いいなぁと思った話
____rina____
0
150
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
180
Featured
See All Featured
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.7k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
Code Reviewing Like a Champion
maltzj
521
39k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Into the Great Unknown - MozCon
thekraken
35
1.6k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.6k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Optimizing for Happiness
mojombo
377
70k
Typedesign – Prime Four
hannesfritz
41
2.5k
Building Applications with DynamoDB
mza
93
6.2k
Transcript
石塚 淳(Gunosy Inc.) 2016 年 3 月 18 日 GunosyにおけるABテスト
第2回 エムスリー x Gunosy Beer bash!
2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム
• 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など
3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例
4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例
5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦
UI / UX
6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針
◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない
7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例
8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト •
AAテストをしないとどうなる? ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる
9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する(2006年Amazon公表) •
気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更
10 ©Gunosy Inc. 希薄化(dilution) • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開
目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる
11 ©Gunosy Inc. 希薄化(dilution) • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機
能を利用したユーザーに限定する
12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう (条件にバイアスが掛かってしまう) 図はTwitterのエンジニアブログから引用
13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering
Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing