ベイジアンA/Bテストとノンコンプライアンス

インターン先の会社内Lightning Talkでの発表資料です。

Transcript

1. ベイジアンA/Bテスト とノンコンプライアンス DSグループ（インターン）　上野孝斗
2. 自己紹介 名前：上野孝斗(うえのたかと / Takato Ueno) 担当業務：マーケティング施策の企画や分析、効果検証、ダッシュボード作成 興味：MCMC(マルコフ連鎖モンテカルロ法)、ベイズ統計学、ベイジアン機械学習 修正箇所ありましたらご指摘どうぞよろしくお願いいたします。修正します。
3. 発表概要 今日の目的 A/Bテストとは ベイジアンA/Bテストとは インターンで経験した難所 終了後の感想 おわりに
4. 今日の目的
5. A/Bテスト実例を楽しく紹介し 関心を持ってもらう
6. A/Bテストとは
7. (A/Bテストの前に)統計的因果推論とは 因果関係についてデータから推定する方法論[1] 相関があるからといって、因果関係があるとは限らない 例：チョコレート消費量とノーベル賞受賞者数[2] ≠因果がわからないから、相関だけでは役に立たない
8. 因果効果を知るための基本概念: 反事実（反実仮想） もし〇〇だったらどうなる？ 「もしもクーポンをあげたら、商品を購入するか」 「もしもクーポンをあげなかったら、商品を購入するか」 あり なし 利用 利用なし 男性（個体）について、クーポンの購入促進への因果効果あり
9. 因果推論の根本問題[3] 個体における因果効果は一般には同定できない あり なし 利用 ？？？ クーポンを渡してしまったら、 クーポンを渡さなかった場合にどうなるかは不明 ？？？
10. A/Bテストで、グループにおける効果を確認する ランダムに2つのグループに分けることで、各グループのメンバーは違うが、集団として は同じとなる。均質な集団同士で効果を比較するのがA/Bテスト もし集団全員にクーポンを渡した場合（A） もし集団全員にクーポンを渡さなかった場合（B） あり なし Aの利用率 Bの利用率 違いはクーポンの有無のみ A B
11. A/Bテストにおける効果：平均処置効果 aaa あり なし Aの利用率 Bの利用率 A B 利用の有無だけで十分だから
12. A/Bテストにおける効果：平均処置効果 aaa あり なし Aの利用率 Bの利用率 A B 利用の有無だけで十分だから つまり Aの利用率とBの利用率の差 が平均処置効果
13. ベイジアンA/Bテストとは
14. その平均処置効果は信頼できる？ 問い：その効果、本当に差がありますか？ →”平均処置効果のとりうる値と、その値をとる確率を全て考える”ことで答えとする こんな感じのことをやりたい 例）サイコロのとりうる値と、値のとる確率は？ →1から6までの値をとり、確率は全て1/6である
15. ベイズ推定で利用率の計算をする 平均処置効果をもう一度思い出してみる Aの利用率、Bの利用率をそれぞれ求めて、引き算すれば良い →ベータ・二項分布モデルで計算可（詳細は省く）
16. ベイジアンA/Bテストのメリットとデメリット 分布で平均処置効果を捉えられる 頻度論のA/Bテストとの比較 メリット： 1. 「95%の確率でここからここまでの値をとる」と言えて 解釈がしやすい 2. あらかじめ「どれだけ差がありそうか」といった 効果量を考えなくて良い デメリット： 1. 方向性確率で有意性を確認するが、逆に有意性の否定が やりにくい[4] 2. 確率分布の知識が必要、 分析者の習得コストが高い ベイジアンA/Bテストの出力例 [5]
17. インターンで経験した難所
18. 経験した効果検証事例 施策：クーポン付きメールの配信 主な確認指標：利用率 グループの分け方： A）クーポン付きメール配信 B）クーポンなしメール配信 C）クーポンなしメールなし イメージ（画像は同じだけど違う人） A B C
19. Question
20. Q: グループの違いはクーポンの有無だけか？ A B C
21. A:No! メール開封の有無がある クーポンメールが送られたとしても、全員がメールを開くとは限らない つまり、集団として同じにならない なので、平均処置効果を計算できない→A/Bテストできない... 統計的因果推論で非順守（不遵守、Non-Compliance）とよぶ[6][7] Q: グループの違いはクーポンの有無だけか？ メールを開く人 メールを開かない人 B
22. Question
23. Q: A/Bテストをやめるか？ A B C
24. A: できます！！！ 実は今回、二つの対処法がある Q: A/Bテストをやめるか？
25. 対処法その１: 前提条件を揃える Cグループは違うけど、AとBにはメールを送信している つまり、違いはクーポンの有無のみ ⚠メールの内容が販売促進するものか？など確認必須 A B 違いはクーポンの有無のみ クーポンについて効果を測ることができる （メール開封率、クリック先も比較可） VS
26. 対処法その２：局所的平均処置効果を計算する クーポンによる平均的な効果を計算することはできない しかしメールを見た会員が、もしメールを見ていなかったら、どれだけ購入率が下がって いたかは計算できる この値を局所的平均処置効果とよぶ ⚠今回の場合
27. 対処法をためした結果 対処法１: ノンコンプライアンス問題に気がつく前から違和感を感じたため、A/Bテストの 企画段階でBグループを追加した。（最初はA,Cだけだった） → AとBについてメール開封、リンククリック、利用率のA/Bテストが可能に!! 対処法２：その後ノンコンプライアンス問題を知り、CとAやCとBについても対処した → AとC、BとCについてもA/Bテストをしてより良いテスト結果を得ることができた!! 図は利用率の95信用区間。ATEが平均処置効果 でATTが局所的平均処置効果を示す。 ATEの場合 本来効果が大きくても小さく推定する可能性があ る
28. 終了後の感想
29. A/Bテスト後の感想その１ 分析者が効果検証前から関わることが大事だと感じた、今回だとあらかじめメールのみ グループを用意できたことで対処できていた（≒実験計画） ひとつひとつのケースに対して（スピードは大事だけど）紋切り型でタスクを進めるので はなく一件一件対処していく、今回もあくまで具体例 逆に事前に実験計画に注意を払うことができれば、対処法その２を行わなくても効果検 証は可能だが対処法その２に気づいてる人しか今回の対処は無理、つまり伝家の宝刀 は使わないことに意味がある。数学は必要。 例えば局所平均処置効果の計算結果は施策によりけり、スライドの式をそのまま使うのはアウト
30. A/Bテスト後の感想その２ （to分析者）ベイジアンA/Bテストは計算・解釈が楽だが最終アウトプットは通常のA/Bテ ストと事後平均しか使わない場合、伝えるアウトプットは大きく変わらないイメージ。自分 の技術力とケースに合わせた手法を柔軟に選択できると良いと思う（僕に言えた技術力 はないですが...） 今回のアプローチはベイズを使っていて、いわゆるNeyman流のモーメントベースではな くモデリングアプローチをとっている。インベンス・ルービン25章の最初に記載があるやり 方とほぼ同じ（はず）[6] 今回は共変量を考慮できてないところが限界、共変量を使ったコード例を参考にあげて おく[6][8]
31. 参考 1) 清水昌平 (2023) データで課題を解決する -因果関係を調べる統計的因果推論- 2) Messerli, F. H. “Chocolate Consumption, Cognitive Function, and Nobel Laureates” The New England Journal of Medicine, 367, 2012, pp.1562-1564. 3) Holland, Paul W. “Statistics and Causal Inference.” Journal of the American Statistical Association, vol. 81, no. 396, 1986, pp. 945–60. 4) Makowski, D., Ben-Shachar, M. S., Chen, S. H. A., & Lüdecke, D. (2019). Indices of effect existence and significance in the Bayesian framework. Frontiers in Psychology, 10, Article 2767. 5) KatoNao (2022) ソウゾウにベイジアンA/Bテストを導入しました 6) G.W. インベンス, D.B. ルービン (2023) 統計的因果推論 7) @s1ok69oo (2023) A/Bテスト（RCT）におけるノンコンプライアンスと操作変数法の応用
 8) ま (2024) 操作変数法のベイズモデリング―『統計的因果推論』(下) 25章より