Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ベイズABテスト
Search
tanaka_marimo
June 30, 2020
0
440
ベイズABテスト
ベイズABテストの話です。
tanaka_marimo
June 30, 2020
Tweet
Share
More Decks by tanaka_marimo
See All by tanaka_marimo
状態空間モデルによる予測と補間
tanaka_marimo
0
320
時変係数モデル
tanaka_marimo
0
570
brmsの使い方
tanaka_marimo
0
680
不連続回帰デザイン
tanaka_marimo
0
610
ぼくの町の不安定
tanaka_marimo
0
850
真夜中には何が起こっているのか
tanaka_marimo
0
1.1k
佐渡島を見積もる
tanaka_marimo
0
1.1k
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Unsuck your backbone
ammeep
671
58k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Automating Front-end Workflow
addyosmani
1370
200k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Side Projects
sachag
455
42k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Transcript
Pythonで体験するベイズ推論 ベイズA/Bテスト 第7章 ベイズA/Bテスト 2020年6⽉30⽇(夏⾄) Pythonで体験するベイズ推論 PyMCによるMCMC⼊⾨
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAのCV率が サイトBのCV率より ⼤きい確率は31%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト 契約プランページの解析 E[R]= 79p 79 + 49p 49 +
25p 25 +0p 0 p 79 + p 49 + p 25 + p 0 =1 79ドルのプラン を選択する確率 どのプランも 選ばなかった確率 契約プランの 期待値
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト パラメータを推定して 損失関数に渡し 現実世界と関連づける
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAの期待収益は サイトBの期待収益より 1ドル少ない
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトBの期待収益が サイトAの期待収益 より⼤きい確率は96%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト A/Bテストの結果から推定される増加量 lift = p A − p B
p B 不確実さの情報が消えている AとBのコンバージョン 率の相対的な増加量
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト ⼤きすぎる
Pythonで体験するベイズ推論 ベイズA/Bテスト それでも点推定が必要なとき n 相対増加量の事後分布の平均値 n 歪んだ分布の場合は平均は影響を受けて、 相対増加量を⼤きく⾒積もってしまう n 相対増加量の事後分布の中央値
n 歪んだ分布の場合でも平均に⽐べるとロバスト n 実際は、歪んだ分布の影響を受けることは多い n 相対増加量の事後分布の50%以下のパーセン タイル n 過⼩評価より過⼤評価にペナルティを課す n データを多くとるにつれて、どのパーセンタイル も同じ値に収束していく
Pythonで体験するベイズ推論 ベイズA/Bテスト サマリ n ベイズABテストを⾏うことで、確率的に解釈 できる n ベイズABテストは、損失関数に適応できる n ベータ分布・ディリクレ分布は⼆項分布・多
項分布の共役事前分布になっており、MCMC が不要(⾼速に計算できる)
Pythonで体験するベイズ推論 ベイズA/Bテスト Enjoy!
Pythonで体験するベイズ推論 ベイズA/Bテスト