Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ベイズABテスト
Search
tanaka_marimo
June 30, 2020
0
320
ベイズABテスト
ベイズABテストの話です。
tanaka_marimo
June 30, 2020
Tweet
Share
More Decks by tanaka_marimo
See All by tanaka_marimo
状態空間モデルによる予測と補間
tanaka_marimo
0
200
時変係数モデル
tanaka_marimo
0
380
brmsの使い方
tanaka_marimo
0
480
不連続回帰デザイン
tanaka_marimo
0
500
ぼくの町の不安定
tanaka_marimo
0
740
真夜中には何が起こっているのか
tanaka_marimo
0
970
佐渡島を見積もる
tanaka_marimo
0
970
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
22
3.9k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
The Straight Up "How To Draw Better" Workshop
denniskardys
227
130k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
13
1.5k
Why Our Code Smells
bkeepers
PRO
331
56k
Teambox: Starting and Learning
jrom
128
8.4k
Done Done
chrislema
178
15k
Debugging Ruby Performance
tmm1
69
11k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
1
3.4k
How STYLIGHT went responsive
nonsquared
92
4.8k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.8k
Making Projects Easy
brettharned
107
5.5k
Transcript
Pythonで体験するベイズ推論 ベイズA/Bテスト 第7章 ベイズA/Bテスト 2020年6⽉30⽇(夏⾄) Pythonで体験するベイズ推論 PyMCによるMCMC⼊⾨
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAのCV率が サイトBのCV率より ⼤きい確率は31%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト 契約プランページの解析 E[R]= 79p 79 + 49p 49 +
25p 25 +0p 0 p 79 + p 49 + p 25 + p 0 =1 79ドルのプラン を選択する確率 どのプランも 選ばなかった確率 契約プランの 期待値
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト パラメータを推定して 損失関数に渡し 現実世界と関連づける
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAの期待収益は サイトBの期待収益より 1ドル少ない
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトBの期待収益が サイトAの期待収益 より⼤きい確率は96%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト A/Bテストの結果から推定される増加量 lift = p A − p B
p B 不確実さの情報が消えている AとBのコンバージョン 率の相対的な増加量
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト ⼤きすぎる
Pythonで体験するベイズ推論 ベイズA/Bテスト それでも点推定が必要なとき n 相対増加量の事後分布の平均値 n 歪んだ分布の場合は平均は影響を受けて、 相対増加量を⼤きく⾒積もってしまう n 相対増加量の事後分布の中央値
n 歪んだ分布の場合でも平均に⽐べるとロバスト n 実際は、歪んだ分布の影響を受けることは多い n 相対増加量の事後分布の50%以下のパーセン タイル n 過⼩評価より過⼤評価にペナルティを課す n データを多くとるにつれて、どのパーセンタイル も同じ値に収束していく
Pythonで体験するベイズ推論 ベイズA/Bテスト サマリ n ベイズABテストを⾏うことで、確率的に解釈 できる n ベイズABテストは、損失関数に適応できる n ベータ分布・ディリクレ分布は⼆項分布・多
項分布の共役事前分布になっており、MCMC が不要(⾼速に計算できる)
Pythonで体験するベイズ推論 ベイズA/Bテスト Enjoy!
Pythonで体験するベイズ推論 ベイズA/Bテスト