Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ベイズABテスト
Search
tanaka_marimo
June 30, 2020
0
440
ベイズABテスト
ベイズABテストの話です。
tanaka_marimo
June 30, 2020
Tweet
Share
More Decks by tanaka_marimo
See All by tanaka_marimo
状態空間モデルによる予測と補間
tanaka_marimo
0
320
時変係数モデル
tanaka_marimo
0
570
brmsの使い方
tanaka_marimo
0
680
不連続回帰デザイン
tanaka_marimo
0
620
ぼくの町の不安定
tanaka_marimo
0
860
真夜中には何が起こっているのか
tanaka_marimo
0
1.1k
佐渡島を見積もる
tanaka_marimo
0
1.1k
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
830
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Making Projects Easy
brettharned
116
6.3k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
Automating Front-end Workflow
addyosmani
1370
200k
Visualization
eitanlees
146
16k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
29
9.6k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
281
13k
Mobile First: as difficult as doing things right
swwweet
223
9.7k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
35
2.4k
Transcript
Pythonで体験するベイズ推論 ベイズA/Bテスト 第7章 ベイズA/Bテスト 2020年6⽉30⽇(夏⾄) Pythonで体験するベイズ推論 PyMCによるMCMC⼊⾨
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAのCV率が サイトBのCV率より ⼤きい確率は31%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト 契約プランページの解析 E[R]= 79p 79 + 49p 49 +
25p 25 +0p 0 p 79 + p 49 + p 25 + p 0 =1 79ドルのプラン を選択する確率 どのプランも 選ばなかった確率 契約プランの 期待値
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト パラメータを推定して 損失関数に渡し 現実世界と関連づける
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトAの期待収益は サイトBの期待収益より 1ドル少ない
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト サイトBの期待収益が サイトAの期待収益 より⼤きい確率は96%
Pythonで体験するベイズ推論 ベイズA/Bテスト AGENDA n コンバージョンテストの復習 n 線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n
増加量の推定 n それでも点推定が必要なときは
Pythonで体験するベイズ推論 ベイズA/Bテスト A/Bテストの結果から推定される増加量 lift = p A − p B
p B 不確実さの情報が消えている AとBのコンバージョン 率の相対的な増加量
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト
Pythonで体験するベイズ推論 ベイズA/Bテスト ⼤きすぎる
Pythonで体験するベイズ推論 ベイズA/Bテスト それでも点推定が必要なとき n 相対増加量の事後分布の平均値 n 歪んだ分布の場合は平均は影響を受けて、 相対増加量を⼤きく⾒積もってしまう n 相対増加量の事後分布の中央値
n 歪んだ分布の場合でも平均に⽐べるとロバスト n 実際は、歪んだ分布の影響を受けることは多い n 相対増加量の事後分布の50%以下のパーセン タイル n 過⼩評価より過⼤評価にペナルティを課す n データを多くとるにつれて、どのパーセンタイル も同じ値に収束していく
Pythonで体験するベイズ推論 ベイズA/Bテスト サマリ n ベイズABテストを⾏うことで、確率的に解釈 できる n ベイズABテストは、損失関数に適応できる n ベータ分布・ディリクレ分布は⼆項分布・多
項分布の共役事前分布になっており、MCMC が不要(⾼速に計算できる)
Pythonで体験するベイズ推論 ベイズA/Bテスト Enjoy!
Pythonで体験するベイズ推論 ベイズA/Bテスト