Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
GunosyにおけるABテスト
Search
ij_spitz
March 18, 2016
Technology
510
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
GunosyにおけるABテスト
2016/03/18
エムスリー x Gunosy Beer bash!(Gunosy.beer#2)
ij_spitz
March 18, 2016
Transcript
13 slides
石塚 淳(Gunosy Inc.) 2016 年 3 月 18 日 GunosyにおけるABテスト
第2回 エムスリー x Gunosy Beer bash!
2 ©Gunosy Inc. 自己紹介 • いしつか じゅん (@ij_spitz) • データ分析チーム
• 入社して1ヶ月半くらい • 前職はソーシャルゲームの分析基盤づくり • 今やっていることはABテスト、アドホック分析など
3 ©Gunosy Inc. 今日話すこと • GunosyとABテスト • ABテストのよくある失敗事例
4 ©Gunosy Inc. GunosyとABテスト • GunosyとABテスト • ABテストのよくある失敗事例
5 ©Gunosy Inc. GunosyとABテスト • Gunosyではあらゆる機能のリリースやアップデー トにABテストを利用している ◦ 記事配信ロジック ◦
UI / UX
6 ©Gunosy Inc. GunosyとABテスト • なぜやるか ◦ 数字は神より正しい ▪ HiPPOに流されないフェアな指針
◦ 施策を定量的に評価するため ▪ 平均への回帰に惑わされない
7 ©Gunosy Inc. ABテストのよくある失敗事例 • GunosyとABテスト • ABテストのよくある失敗事例
8 ©Gunosy Inc. AAテスト • AAテストとは ◦ テスト対象と比較対象に同じパターンを出して、 値のばらつきを確認するテスト •
AAテストをしないとどうなる? ◦ 値の上がり下がりが誤差によるものなのか判断 できない ◦ 誤った判断につながる
9 ©Gunosy Inc. データ通信速度 • データ通信速度が与える影響 ◦ Amazonでは読み込み時間が0.1秒減ると、売 上が1%増加する(2006年Amazon公表) •
気をつけるポイント ◦ デザインや画像の変更 ◦ APIを叩く回数の変更
10 ©Gunosy Inc. 希薄化(dilution) • すべてのユーザーが目的の機能を利用するわけで はない 50% 10% 全ユーザーの50%に公開
目的の機能を利用したユーザーは 50%中の20% 全体の10%が目的の機能を利用したユーザーになる
11 ©Gunosy Inc. 希薄化(dilution) • 気をつけるポイント ◦ 対象となるABのサイズをあらかじめ想定しておく ◦ 集計時に指標を一人当たりで補正するときは機
能を利用したユーザーに限定する
12 ©Gunosy Inc. バイアス • テスト対象にのみに特定の条件が満たされてしまう (条件にバイアスが掛かってしまう) 図はTwitterのエンジニアブログから引用
13 ©Gunosy Inc. 最後に • もっとABテストについて知りたい方はこちら ◦ The Twitter Engineering
Blog ▪ https://blog.twitter.com/tags/experiments?blog=engineering ◦ LinkedIn Engineering Blog ▪ https://engineering.linkedin.com/blog/topic/ab-testing
More Decks by ij_spitz
See All by ij_spitz
GunosyにおけるABテストの全容
ij_spitz
3
2.3k
プロダクト改善のためのデータ分析入門
ij_spitz
1
110
これからの強化学習_3.1_3.2
ij_spitz
0
140
海外スタートアップにおけるA/Bテスト基盤の紹介
ij_spitz
9
18k
fitbitではじめるオープンデータ
ij_spitz
0
190
食べログデータから見る東新宿と西早稲田のランチ事情
ij_spitz
0
400
Linuxとファイル
ij_spitz
0
120
紳士なおじさんYeomanに学ぶ異性を落とす3つのテクニック
ij_spitz
0
230
Supporter Opinion
ij_spitz
0
86
Other Decks in Technology
See All in Technology
Sonnetだけで業務はまわる?
kintotechdev
1
140
20261113_JAWS_Osaka
takuyay0ne
0
560
WasmをRustにする技術
sansantech
PRO
0
110
属人化したISMS運用をGitHubとAIで仕組み化した1年間の記録
sioncojp
4
2.7k
プロダクションコードにおける encoding/json から encoding/json/v2 へのスムーズな移行
sansantech
PRO
1
440
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
14
25k
AI対話型分析を作成し、リリースするまでの話 / The Road to Release: Buiding AI Conversational Analytics
yappli_developers
0
150
_マネジメントする人される人ナイト_2026__良いチームを作っていきたい_お気持ち_.pdf
xkxaxkx
0
710
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
1
230
Context != Context: One window, many lifecycles (AI Native DevCon, Nov 2026)
birgitta410
0
150
CloudTrail を推したい
kazzpapa3
0
110
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
0
260
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
32
3.1k
Unlocking the hidden potential of vector embeddings in international SEO
frankvandijk
0
1k
RailsConf 2023
tenderlove
30
1.6k
Build The Right Thing And Hit Your Dates
maggiecrowley
39
3.5k
How to build a perfect <img>
jonoalderson
1
6.2k
Mobile First: as difficult as doing things right
swwweet
225
10k
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
baasie
0
770
Evolving SEO for Evolving Search Engines
ryanjones
0
360
Keith and Marios Guide to Fast Websites
keithpitt
413
23k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
1.7k
How to make the Groovebox
asonas
2
2.6k
Chasing Engaging Ingredients in Design
codingconduct
0
400