ベイズABテスト

Pythonで体験するベイズ推論ベイズA/Bテスト第７章ベイズA/Bテスト 2020年6⽉30⽇（夏⾄） Pythonで体験するベイズ推論 PyMCによるMCMC⼊⾨

Pythonで体験するベイズ推論ベイズA/Bテスト

Pythonで体験するベイズ推論ベイズA/Bテスト AGENDA n  コンバージョンテストの復習 n  線形損失関数の追加 n 期待収益の解析 n A/Bテストへと拡張 n 
増加量の推定 n それでも点推定が必要なときは

Pythonで体験するベイズ推論ベイズA/BテストサイトAのCV率がサイトBのCV率より⼤きい確率は31%

Pythonで体験するベイズ推論ベイズA/Bテスト契約プランページの解析 E[R]= 79p 79 + 49p 49 +
25p 25 +0p 0 p 79 + p 49 + p 25 + p 0 =1 79ドルのプランを選択する確率どのプランも選ばなかった確率契約プランの期待値

Pythonで体験するベイズ推論ベイズA/Bテストパラメータを推定して損失関数に渡し現実世界と関連づける

Pythonで体験するベイズ推論ベイズA/BテストサイトAの期待収益はサイトBの期待収益より１ドル少ない

Pythonで体験するベイズ推論ベイズA/BテストサイトBの期待収益がサイトAの期待収益より⼤きい確率は96%

Pythonで体験するベイズ推論ベイズA/Bテスト A/Bテストの結果から推定される増加量 lift = p A − p B
p B 不確実さの情報が消えている AとBのコンバージョン率の相対的な増加量

Pythonで体験するベイズ推論ベイズA/Bテスト⼤きすぎる

Pythonで体験するベイズ推論ベイズA/Bテストそれでも点推定が必要なとき n  相対増加量の事後分布の平均値 n  歪んだ分布の場合は平均は影響を受けて、相対増加量を⼤きく⾒積もってしまう n  相対増加量の事後分布の中央値
n  歪んだ分布の場合でも平均に⽐べるとロバスト n  実際は、歪んだ分布の影響を受けることは多い n  相対増加量の事後分布の50%以下のパーセンタイル n  過⼩評価より過⼤評価にペナルティを課す n  データを多くとるにつれて、どのパーセンタイルも同じ値に収束していく

Pythonで体験するベイズ推論ベイズA/Bテストサマリ n  ベイズABテストを⾏うことで、確率的に解釈できる n  ベイズABテストは、損失関数に適応できる n  ベータ分布・ディリクレ分布は⼆項分布・多
項分布の共役事前分布になっており、MCMC が不要（⾼速に計算できる）

Pythonで体験するベイズ推論ベイズA/Bテスト Enjoy!

ベイズABテスト

ベイズABテスト

More Decks by tanaka_marimo

Featured

Transcript