Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
GunosyにおけるABテスト
Search
ij_spitz
March 18, 2016
Technology
1
480
GunosyにおけるABテスト
2016/03/18
エムスリー x Gunosy Beer bash!(Gunosy.beer#2)
ij_spitz
March 18, 2016
Tweet
Share
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
3
2.2k
プロダクト改善のためのデータ分析入門
ij_spitz
1
89
これからの強化学習_3.1_3.2
ij_spitz
0
110
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
17k
fitbitではじめるオープンデータ
ij_spitz
0
170
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
370
Linuxとファイル
ij_spitz
0
100
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
210
Supporter Opinion
ij_spitz
0
67
Other Decks in Technology
See All in Technology
【Kaigi on Rails 事後勉強会LT】MeはどうしてGirlsに? 私とRubyを繋いだRail(s)
joyfrommasara
0
230
社内お問い合わせBotの仕組みと学び
nish01
1
560
Escaping_the_Kraken_-_October_2025.pdf
mdalmijn
0
160
Geospatialの世界最前線を探る [2025年版]
dayjournal
1
200
AI時代こそ求められる設計力- AWSクラウドデザインパターン3選で信頼性と拡張性を高める-
kenichirokimura
3
290
これがLambdaレス時代のChatOpsだ!実例で学ぶAmazon Q Developerカスタムアクション活用法
iwamot
PRO
6
960
Adminaで実現するISMS/SOC2運用の効率化 〜 アカウント管理編 〜
shonansurvivors
4
440
Vibe Coding Year in Review. From Karpathy to Real-World Agents by Niels Rolland, CEO Paatch
vcoisne
0
120
20201008_ファインディ_品質意識を育てる役目は人かAIか___2_.pdf
findy_eventslides
2
600
三菱電機・ソニーグループ共同の「Agile Japan企業内サテライト」_2025
sony
0
140
能登半島地震で見えた災害対応の課題と組織変革の重要性
ditccsugii
0
450
The Cake Is a Lie... And So Is Your Login’s Accessibility
leichteckig
0
110
Featured
See All Featured
Speed Design
sergeychernyshev
32
1.2k
Bash Introduction
62gerente
615
210k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Thoughts on Productivity
jonyablonski
70
4.9k
Navigating Team Friction
lara
190
15k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
KATA
mclloyd
32
15k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Rebuilding a faster, lazier Slack
samanthasiow
84
9.2k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
30
2.7k
The Power of CSS Pseudo Elements
geoffreycrofte
79
6k
Transcript
石塚 淳(Gunosy Inc.) 2016 年 3 月 18 日 GunosyにおけるABテスト
第2回 エムスリー x Gunosy Beer bash!
2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム
• 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など
3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例
4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例
5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦
UI / UX
6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針
◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない
7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例
8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト •
AAテストをしないとどうなる? ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる
9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する(2006年Amazon公表) •
気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更
10 ©Gunosy Inc. 希薄化(dilution) • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開
目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる
11 ©Gunosy Inc. 希薄化(dilution) • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機
能を利用したユーザーに限定する
12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう (条件にバイアスが掛かってしまう) 図はTwitterのエンジニアブログから引用
13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering
Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing