Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ベイズABテスト
Search
tanaka_marimo
June 30, 2020
0
450
ベイズABテスト
ベイズABテストの話です。
tanaka_marimo
June 30, 2020
Tweet
Share
More Decks by tanaka_marimo
See All by tanaka_marimo
状態空間モデルによる予測と補間
tanaka_marimo
0
320
時変係数モデル
tanaka_marimo
0
580
brmsの使い方
tanaka_marimo
0
690
不連続回帰デザイン
tanaka_marimo
0
620
ぼくの町の不安定
tanaka_marimo
0
870
真夜中には何が起こっているのか
tanaka_marimo
0
1.1k
佐渡島を見積もる
tanaka_marimo
0
1.1k
Featured
See All Featured
The Invisible Side of Design
smashingmag
301
51k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.9k
Why Our Code Smells
bkeepers
PRO
339
57k
How to Ace a Technical Interview
jacobian
279
23k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Writing Fast Ruby
sferik
628
62k
Into the Great Unknown - MozCon
thekraken
40
2k
Balancing Empowerment & Direction
lara
3
620
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
352
21k
Making Projects Easy
brettharned
117
6.4k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Transcript
Pythonで体験するベイズ推論 ベイズA/Bテスト 第7章 ベイズA/Bテスト 2020年6⽉30⽇(夏⾄) Pythonで体験するベイズ推論 PyMCによるMCMC⼊⾨
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAのCV率が サイトBのCV率より ⼤きい確率は31%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト 契約プランページの解析 E[R]= 79p 79 + 49p 49 +
25p 25 +0p 0 p 79 + p 49 + p 25 + p 0 =1 79ドルのプラン を選択する確率 どのプランも 選ばなかった確率 契約プランの 期待値
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト パラメータを推定して 損失関数に渡し 現実世界と関連づける
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAの期待収益は サイトBの期待収益より 1ドル少ない
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトBの期待収益が サイトAの期待収益 より⼤きい確率は96%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト A/Bテストの結果から推定される増加量 lift = p A − p B
p B 不確実さの情報が消えている AとBのコンバージョン 率の相対的な増加量
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト ⼤きすぎる
Pythonで体験するベイズ推論 ベイズA/Bテスト それでも点推定が必要なとき n 相対増加量の事後分布の平均値 n 歪んだ分布の場合は平均は影響を受けて、 相対増加量を⼤きく⾒積もってしまう n 相対増加量の事後分布の中央値
n 歪んだ分布の場合でも平均に⽐べるとロバスト n 実際は、歪んだ分布の影響を受けることは多い n 相対増加量の事後分布の50%以下のパーセン タイル n 過⼩評価より過⼤評価にペナルティを課す n データを多くとるにつれて、どのパーセンタイル も同じ値に収束していく
Pythonで体験するベイズ推論 ベイズA/Bテスト サマリ n ベイズABテストを⾏うことで、確率的に解釈 できる n ベイズABテストは、損失関数に適応できる n ベータ分布・ディリクレ分布は⼆項分布・多
項分布の共役事前分布になっており、MCMC が不要(⾼速に計算できる)
Pythonで体験するベイズ推論 ベイズA/Bテスト Enjoy!
Pythonで体験するベイズ推論 ベイズA/Bテスト