RでSurrogate Index

Tokyo.R 第113回R勉強会応用セッション 「RでSurrogate Index」の資料です。

Transcript

1. RでSurrogate Index Tokyo.R 第113回R勉強会応用セッション 2024.06.08 @nobububi
2. 自己紹介 • 職業：SNSサービスのデータサイエンティスト • 最近ハマっているもの：ネット麻雀 • しばらくメイン言語はPythonでしたが、1-2年前くらいに 「実証分析のための計量経済学」を読む→統計学周りへ の興味が再燃→Rに切り替え始める、という経路を辿っ ています、どうぞよろしくお願いします
3. Webサービスのデータ分析でありそうな話 • ABテストを実施 • →　統計的仮設検定を用いて勝ち負けを判定 • →　勝っていれば、晴れて新パターンを適用決定 • 例えば、トップページのデザインを変更してエンゲージメント増を狙ったり • データドリブンに意思決定をしていて、いい感じに思える • ただ時々同僚からこんなことを聞かれる・・
4. ABテストで有意差が出たね！ おめでとう！！ ちなみになんだけど、今回の上昇分 は1年後とかでもずっと維持され続 けるのかな？
5. • 先程の質問、意外と返答が難しい • なぜなら、よくあるABテストは長くても数週間程度のことが多く、例えば年単位の長 期的な動向に対してはそもそも検証データがないので確かなことが言えない • 先程のトップページデザイン変更の例などでは、効果は低減しそうな気もする • 長期効果を知りたければ長期間検証すれば良いものの、実際にはコストも大きく現 実的でない場合もある Webサービスの分析でありそうな話
6. • 身近な業務例で考えたが、実はこの問題は多くのRCTで直面する問題だと考えら れる。 • 一般化すると、RCT時に推定される短期的な効果から、RCT期間を超えた長期的 な効果を推定したい、という問題になる。 • この問題に対する解決法として提唱された手法が Surrogate Index (Susan Athey, 2019) • （一応RCT以外も対象内） Webサービスの分析でありそうな話
7. • 昔の研究者はどう対処していたのか？ • Statistical Surrogate (Prentice 1989) と呼ばれる短期的な代理変数に対する治 療効果を分析していたらしい（surrogate=代理） • 短期的な代理変数に対する治療効果と、観察標本における短期的な代理変数の長 期効果への回帰係数を掛け合わせる • この際の仮定は、statistical surrogateを条件づけた際に長期的な結果と処置が独 立であること（サロゲート仮定 surrogacy assumptionと呼ぶ） 昔はどうやっていたのか？
8. • 例えば、少人数学級が収入に及ぼす効果の分析で、テストの得点を条件付けると 収入と学級規模から独立になる場合、テストの得点が収入のStatistical Surrogateと して機能する 昔はどうやっていたのか？
9. 過去の観察データから推定 RCTで推定 少人数学級 テストの点数 =代理変数 生涯賃金 （仮定のもと）テスト点数へ の効果から生涯賃金への 効果を推定できる
10. • サロゲート仮定が満たされているかが論点になる • 少人数学級の例では、テストのスコアでは捉えられない非認知能力の変化や、サロ ゲートと長期的アウトカムとの間の測定不能な交絡が存在する懸念から、懐疑的に 見られることが多い。 昔はどうやっていたのか？
11. 過去の観察データから推定 RCTで推定 代理変数以外の要因が長 期指標に影響しており、推 定値がズレる
12. • Surrogate Indexは、先程のStatistical Surrogateの代わりに、代理変数を複数の変 数から合成した指標のことである。 • 複数の変数を取り込むことで、介入→長期指標までの中間にある要因をなるべく捉 えるようにしている Surrogate Index
13. 過去の観察データから推定 RCTで推定 長期指標に影響する要因 をまとめてインデックスに する
14. • 以下の状態を想定する • 実験標本Eと観察標本Oの両方がある、PiはサンプルiがEとOどちらに属するかを示 す • 実験標本において長期アウトカムYiは観測されず、中間指標Si（ベクトル）のみ観測 される • 処置はWiはバイナリ、介入前の共変量Xiは介入の影響を受けない • 実験標本の母集団における長期アウトカムYiへのATEを推定したい 定式化
15. • 定義：Surrogate Index ◦ Surrogate Indexは、観察標本Oにおけるサロゲート指標と治療前変数を条件付けた時の長期アウ トカムの条件付き期待値である ◦ 線形モデルを用いた場合は、中間指標の加重和となる。 定式化
16. • ３つの仮定の下で成立する • 仮定1. unfoundedness または ignorability ◦ 因果推論でよくあるやつ ◦ e(x)は介入の確率 仮定 • 仮定2. surrogacy condition ◦ サロゲートが治療と主要アウトカム間の因果関係を捉えているか
17. • 仮定３：Comparability ◦ 観察標本における（Si , Xi）が与えられたYiの条件付き分布は、実験標本における（ Si , Xi）が与え られたYiの条件付き分布と等しい 仮定
18. • 実際の適用事例を見ると、目的変数 自体の途中までの値を使用する ケースが多そう • 論文では、T=36四半期内の平均 雇用率を、S期間までの雇用率を用 いて推定 適用事例 介入 目的変数 t=1期 目的変数 t=2期 目的変数 t=S期 目的変数 T期間平均 ・ ・
19. • 介入の効果が徐々に減衰していく パターンで、S期間雇用率を長期効 果とみなすシンプル推定よりも、 Surrogate Indexの方がより長期効 果を適切に推定できていた 適用事例
20. • サンプルデータを作ってSurrogate Indexを適用してみる • 介入Tは二値変数、S1~S2を通じてY に影響する、またS3は交絡因子でtの 影響を受けない • S1~S3は実験中に観測され、Yは将来 に決まる Rで試してみる T S1 S2 S3 Y +1.0 +3.0 +1.0 +3.7 +1.0 +3.3
21. • 右のサンプルデータで、実験データ内 の長期指標yの差は6.875 Rで試してみる
22. Rで試してみる T S1 S2 Y +1.0 +3.0 +1.0 +3.7 +1.0 +3.3 S3 • パターン1：SurrogateとしてS1を用いる 場合 • パターン2：SurrogateとしてS1,S2を用 いる場合 • パターン3：SurrogateとしてS1,S2,S3 を用いる場合
23. • パターン1：SurrogateとしてS1を用いる 場合 • t→S2経路を含んでいないため、効果 を少なめに見積もる • 実際に推定すると、tの推定値は3.323 となった Rで試してみる T S1 S2 S3 Y +1.0 +3.0 +1.0 +3.7 +1.0 +3.3
24. • パターン2：SurrogateとしてS1,S2を用 いる場合 • S3の交絡を含まないため、効果を多く 見積もる • 実際に推定すると、tの推定値は10.02 となった Rで試してみる T S1 S2 S3 Y +1.0 +3.0 +1.0 +3.7 +1.0 +3.3
25. • パターン3：SurrogateとしてS1,S2,S3 を用いる場合 • 実際に推定すると、tの推定値は6.872 で正しそうな結果となった Rで試してみる T S1 S2 S3 Y +1.0 +3.0 +1.0 +3.7 +1.0 +3.3
26. • RCTの長期効果は、Surrogate Indexにより推定できるかもしれない • 推定のための仮定が満たされているかを慎重に検討する必要がある まとめ
27. • THE SURROGATE INDEX: COMBINING SHORT-TERM PROXIES TO ESTIMATE LONG-TERM TREATMENT EFFECTS MORE RAPIDLY AND PRECISELY https://www.nber.org/system/files/working_papers/w26463/w26463.pdf • Evaluating the Surrogate Index as a Decision-Making Tool Using 200 A/B Tests at Netflix https://arxiv.org/abs/2311.11922 • Surrogate indexについて調べて簡単にまとめる https://saltcooky.hatenablog.com/entry/2024/02/04/230021#R%E3%81%A7%E7%A2%BA%E8%AA%8 D • Surrogate index：短期で観測できる指標を用いた長期効果の推定 https://developers.cyberagent.co.jp/blog/archives/44402/ • MGTECON 634 at Stanford https://d2cml-ai.github.io/mgtecon634_r/intro.html 参考資料
28. Enjoy!