効率的な因果推論と意思決定のための実験計画において異質性が果たす役割

統計関連学会連合大会2021

1. 適応的実験計画において 異質性が果たす役割 因果推論と意思決定を効率的に⾏うために サイバーエージェントAI事業本部 加藤真大 1
2. 概要 n 因果推論や意思決定を効率的に行うための適応的実験計画． • 逐次的に訪れるサンプルに処置を割り振ることができる設定． n 適応的実験計画における処置の報酬の異質性が果たす役割を紹介． 2
3. 概要 n 目次 1. 因果推論と意思決定のための適応的実験計画 2. 効率的な期待処置効果推定と適応的実験計画 3. 最適腕識別と異質性 Ø 処置の報酬に何らかの異質性（異質な期待値や分散）がある場合，その 異質性を活用することで，実験をより効率的にできる． 3
4. 因果推論と意思決定のための 適応的実験計画 4
5. 処置と報酬 n 処置と報酬： • 処置：薬の処方，政策の実施，広告の配信． • 報酬：薬の効果，政策による貧困の削減，広告による売り上げへの変化． n ある処置に対してどのような報酬（結果）が生じるのかを知りたい． Ø 問題：その処置（行動）を起こさなかった場合の結果は観測できない． • 私たちは実際に施した処置に対してのみ効果を観測できる． 5
6. 潜在報酬 n 報酬と処置の割り振りを表す確率変数を定義する． • 個人𝑡に処置𝑑 ∈ 1,2, … , 𝑘 が与えられるときの報酬：𝑌! 𝑑 • 個人𝑡に割り当てられる処置：𝐷! n 観測できる報酬は𝑌! = ∑"∈{%,',…,)} 1[𝐷! = 𝑑]𝑌!(𝑑)．つまり， • 実際に割り当てた処置（𝐷! = 𝑑である処置𝑑）だけ𝑌!(𝑑)が分かり， • 割り当てなかった処置（𝐷! ≠ 𝑑である処置𝑑）には𝑌!(𝑑)が分からない． 6
7. 関心のあるパラメータと統計的推論 n 処置の報酬に関連する以下のパラメータに関心がある． • 処置𝑑の期待報酬： 𝔼 𝑌!(𝑑) n 期待処置効果（処置が二種類の場合）： • 二つの処置𝑑とd′（𝑑 ≠ 𝑑′）の期待アウトカムの差分 𝔼 𝑌! 𝑑 − 𝔼 𝑌! 𝑑+ . 7
8. 意思決定問題 n パラメータを推定することそのものがゴールではない場合． 例えば，平均処置効果の推定によって，より良い処置を選択すること． n 推定されたパラメータについて統計的推論や意思決定を行うことを考える． Ø 点推定：より良い性能（小さい誤差）で期待処置効果を推定する． Ø 仮説検定：期待報酬や期待処置効果に対する仮説の検証． 例：期待処置効果が0であるという仮説． Ø 最適腕（処置）識別：高確率でもっとも期待報酬の高い処置を見つける． 8
9. 適応的実験計画 n ランダム化比較実験：無作為に処置を施し，その平均で期待報酬を推定． n 統計的推論をより効率的（少ない被験者の数）に行う方法が存在する？ n 過去の実験結果を用いることで被験者の数を減らすことはできないか？ → 適応的実験計画：過去の情報に応じて実験を修正する枠組み． • 逐次的に被験者が来訪し，その被験者への処置効果を観測できる状況 9 処置の報酬 𝑌! (𝑑) 研究者 個人𝑡 処置𝑑 ∈ {0, 1, … , 𝑘}
10. 適応的実験計画において異質性が果たす役割 n 共変量𝑋! を副次的な情報として使える適応的実験計画． • 共変量𝑋! の例：年齢・性別・身長・体重など． • 処置の報酬𝑌!(𝑑)や処置の割り振り方𝐷! を決める情報． n 処置の報酬𝑌!(𝑑)に関する推論を共変量𝑋! を用いて効率化する． 10
11. 適応的実験計画において異質性が果たす役割 n 共変量𝑋, にもとづく処置の報酬𝑌!(𝑑)の異質性が実験の効率性の源泉． Ø 研究①：期待処置効果の効率的な推定． • 処置が二種類（𝑘 = 1 or 2）のみであるとする． • 平均処置効果𝔼 𝑌! 1 − 𝔼 𝑌! 2 の推定量の分散を最小化する． Ø 研究②：漸近最適な最適腕識別 • 高確率でもっとも期待報酬𝔼 𝑌! 𝑘 の高い処置𝑑を見つける． • 今回の発表はこちらがメイン． 11
12. 効率的な期待処置効果推定と 適応的実験計画 12
13. 期待処置効果の推定量の分散の最小化 n 処置が２つの場合を考える（処置1と処置2） n 期待処置効果𝔼 𝑌, 1 − 𝔼 𝑌, 2 を精度良く推定することを目指す． • 処置1が効果を調べたい薬，処置2が比較のための偽薬（プラシーボ）． • 薬の効果 = 本物の薬を与えた場合と，偽薬を与えた場合の期待値の差． n 推定精度の良い，効率的な実験を計画したい． → そのために以下のような目標を立てる． n 目標：適切な実験で期待処置効果の推定量の漸近分散を最小化する． 13
14. 期待処置効果の推定量の分散の最小化 n 目標：適切に処置を割り当てることで，推定量の漸近分散を最小化． • 期間𝑡 = 1,2, … , 𝑇にわたって，逐次的に被験者が来訪する． • ある期𝑖に訪れる被験者𝑖に処置𝐷! = 1を与える確率を𝑝(𝐷! = 1|𝑋!)とする． n 𝑝(𝐷! = 1|𝑋!)が全ての期間で同じ場合，期待処置効果の推定量の下限は 𝔼 Var(𝑌! (1)|𝑋! ) 𝑝(𝐷! = 1|𝑋! ) + Var(𝑌! (2)|𝑋! ) 1 − 𝑝(𝐷! = 1|𝑋! ) + 𝔼 𝑌! 1 − 𝑌! 2 |𝑋" − 𝔼 𝑌! 1 − 𝑌! 2 # で与えられる（Hahn (2003)）． • ここで， Var(𝑌!(𝑑)|𝑋!)は処置𝑌!(𝑑)の条件付き分散． 14
15. 最適な処置の割り当て確率 n 漸近分散の下限を， 𝑝(𝐷! = 1|𝑋!)の関数として考えて最小化する． n 処置割り当ての確率𝑝(𝐷! = 1|𝑋!)を 𝑝-./ 𝐷! = 1 𝑋! = Var(𝑌!(1)|𝑋!) Var(𝑌!(1)|𝑋!) + Var(𝑌!(2)|𝑋!) とするとき推定量の漸近分散の下限を最小化できる． 15
16. 期待処置効果推定のための実験計画 n この処置割り当ての確率𝑝 𝐷! = 1|𝑋! を用いる実験を行いたい． → 𝐕𝐚𝐫(𝒀𝒕(𝒅)|𝑿𝒕)の値が未知なのでこれも同時に推定する必要がある． n そのため，以下を同時に行うことで，精度良く平均処置効果を推定できる． 1. 𝒑𝑶𝑷𝑻 𝑫𝒕 = 𝟏 𝑿𝒕 の推定と， 2. 最小化された漸近分散の下限を達成する推定量の構築 • Kato, Ishihara, Honda, and Narita. Adaptive Experimental Design for Efficient Treatment Effect Estimation． • 他にもHahn. Hirano, and Karlan (2011)やvan der Laan (2008)など． 16
17. 最適腕識別と異質性 17
18. 多腕バンディット問題 n 多腕バンディット問題（Multi-armed Bandit Problem; MAB）： • 期間𝑡 = 1,2, …と𝑘個のスロット（腕・処置）が与えられている状況を考える． • 各期𝑡において𝑘個の腕のなかから1個を選ぶことができる（𝐷! ）． • その腕はある確率分布に従ってプレイヤーに報酬𝑌!(𝐷!)を与える． n 期待アウトカムが最大の腕を 𝑑∗ = arg max " 𝔼[𝑌!(𝑑)] と表記する． 18
19. n 多腕バンディット問題における２つの問題設定． Ø 累積報酬最大化（リグレット最小化）： • 報酬を最大化することに関心がある． • 期待値最大の腕𝑑∗，もしくは期待値最大の腕に限りなく近い期待値の腕を できる限り多く引く． Ø 最適腕識別： • 期待値最大の腕𝑑∗を高確率で識別することに関心がある． • 最適でない腕を最適としてしまう確率は誤識別率と呼ばれる． 多腕バンディット問題の二つの問題設定 19
20. 最適腕識別の問題設定 n 最適腕識別のアルゴリズム： • 期待値報酬が最大と思われる腕を推薦する． • サンプルサイズを𝜏とする． • サンプルサイズ𝜏のもとで推薦される腕を N 𝑑5 ∗とする． 20
21. 最適腕識別の問題設定 n 誤識別率：最適でない腕を最適としてしまう確率．誤識別率は ℙ N 𝑑5 ∗ ≠ 𝑑∗ として表記される． n 固定信頼度の設定： • 達成したいℙ N 𝑑5 ∗ ≠ 𝑑∗ の水準を固定して，サンプルサイズ𝜏を最小化． n 固定予算の設定： • サンプルサイズ（予算）𝜏を固定して， ℙ N 𝑑5 ∗ ≠ 𝑑∗ を最小化． 21
22. 固定信頼度の最適腕識別 n 固定信頼度の最適腕識別問題 • 総選択数（腕を引ける回数，サンプルサイズ）𝜏を決められる． • 最適でない腕を最適としてしまう確率（信頼度）を𝛿 ∈ (0,1)以下にしたい． • 誤識別率が𝛿以内になるまで実験を続ける． • プレイヤーの決めた停止ルールのもとで実験が停止する． • サンプルサイズは確率変数（停止時刻）として扱われる． 22
23. 固定信頼度の最適腕識別 n プレイヤーの目的：設定した停止規則のもとでの停止時刻を𝜏とする時，誤 識別率があらかじめ決められた信頼度𝛿以下，つまり， ℙ N 𝑑5 ∗ ≠ 𝑑∗ ≤ 𝛿 を満たし，かつ，期待サンプルサイズ𝔼[𝜏]を小さくするアルゴリズムを構成． 23
24. 固定予算の最適腕識別 n 固定予算の最適腕識別問題 • 総選択数（腕を引ける回数，サンプルサイズ）が𝑡回までと固定されている． • プレイヤーの目的：合計𝑡回腕を引いた後に𝑑∗の推定値 N 𝑑! ∗を回答し，その 誤り確率（誤識別率） 𝑃6 = ℙ[ N 𝑑! ∗ ≠ 𝑑∗] を最小化すること． 24
25. 固定信頼度の最適腕識別の性能評価 • 固定信頼度𝛿のもとでの停止時刻を𝜏7 とする． • 信頼度𝛿で最適腕を推薦するアルゴリズムを𝛿-𝑃𝐴𝐶アルゴリズムと呼ぶ． • 腕（処置）の分布の集合を𝒑 = (𝑝%, 𝑝', … , 𝑝))とする． 25
26. 固定信頼度の最適腕識別の性能評価 n サンプル複雑度 • 信頼度𝛿のもとでの固定信頼度の最適腕識別に対して，複雑度 𝜅8 𝒑 ≔ inf 7-:;8 <=>?@,!AB lim sup 7→D 𝔼[𝜏7] log 1 𝛿 を用いてサンプル複雑度𝔼[𝜏7]を評価． • Mannor and Tsitsiklis (2004)，Kaufmann et al. (2016)，Garivier and Kaufmann (2016)． 26
27. サンプル複雑度の下限 n 個人の異質性を考慮しない場合の下限． • 𝒑のクラスをℳとする． • ℳ内の分布𝒑は唯一の最適腕を持つものとする． • 𝒑のもとでの最適腕を𝑑∗(𝒑)とする． n ある問題𝒑に対するアルゴリズムに対して，同じアルゴリズムが対処するこ とが難しい問題を𝒒を考えることで下限を導出する． 27
28. サンプル複雑度の下限 n サンプル複雑度の下限（Garivier and Kaufmann (2016）) • 任意の𝛿- PAC戦略と，バンディットモデル 𝑝%, 𝑝', … , 𝑝) = 𝒑 ∈ ℳに対し て， liminf 7→D 𝔼E 𝜏7 log(1/𝛿) ≥ c 𝑇∗ 𝒑 log(1/𝛿) . • c 𝑇∗ 𝒑 F% ≔ sup G∈𝒲 inf 𝒒,𝜻 ∈KLM 𝒑 ∑<O% P 𝑤<KL 𝑝< , 𝑞< ． • Alt 𝑣 ≔ 𝒒 ∈ ℳ: 𝑑∗ 𝒒 ≠ 𝑑∗ 𝒑 ． • 𝒲はサンプル割り当て(𝑤%, 𝑤', … , 𝑤))の集合． 28
29. Track-and-Stop戦略 n Garivier and Kafmann (2016) • この下限と，下限を達成するアルゴリズムを提案． n Track-and-Stop戦略 • 最適な腕へのサンプルの配分比率（処置の配分）を推定． • 推定された比率をTrackするように腕を選択． • 逐次的な一般化尤度比検定を行う． • Chernoffの停止ルールと呼ばれるルールにしたがって停止． 29
30. 最適腕識別において異質性が果たす役割 n Garivier and Kaufmann (2016)の下限は個人の異質性を使わない場合． • 共変量を使うことでより効率化が可能？ n バンディット問題において，共変量𝑋! は文脈と呼ばれる． n 文脈𝑋! を観測して，異質性を考慮できる設定を考える． 30
31. 最適腕識別において異質性が果たす役割 n 目標は，文脈𝑋! で周辺化した期待報酬が最大の腕𝑑∗を見つけること． 𝑑∗ = arg max " 𝔼 𝑌! 𝑑 = arg max " 𝔼 𝔼[𝑌! 𝑑 |𝑋] . • この目標は文脈を使わない場合と同じ． • 個人の異質性を考慮することで，達成できる下限をより小さくできる． • より効率的な最適腕識別が可能になることを意味する． 31
32. 最適腕識別において異質性が果たす役割 n リグレット最小化の設定では文脈についての研究があった． n 最適腕識別の設定では文脈についての研究はなかった． n Kato and Ariu. The Role of Contextual Information in Best Arm Identification. • 効率的な期待処置効果推定（Hahn, Hirano, and Karlan (2011)，van der Laan (2008），Kato, Ishiraha, Honda, and Narita (2020))の拡張． • （ほぼ）初めての文脈（共変量）を伴う最適腕識別の論文． • 最適腕識別において今まで文脈の役割がよくわかっていなかった． 32
33. 最適腕識別において異質性が果たす役割 • 文脈𝑥の分布を𝜻とする． • 𝒗 = (𝒑, 𝜻)のクラスをΩとする． • Ω内の分布𝒑は唯一の最適腕を持つものとする． • 𝒗のもとでの最適腕を𝑑∗(𝒗)とする． n ある問題𝒗 = (𝒑, 𝜻)に用いるアルゴリズムに対して，同じアルゴリズムが対 処することが難しい問題 𝒒, 𝜻 ∈ Ωを考えることで下限を導出する． 33
34. 改善されたサンプル複雑度の下限 n サンプル複雑度の下限（Kato and Ariu (2021）) • 文脈（共変量）を使える場合のサンプル複雑度の下限． liminf 7→D 𝔼E 𝜏7 log(1/𝛿) ≥ 𝑇∗ 𝑣 . • 𝑇∗ 𝒗 F% ≔ sup G∈𝒲 inf 𝒒,𝜻 ∈KLM 𝒗 ∑<O% P ∫ ℝ 𝑤<,SKL 𝑝<,S , 𝑞<,S 𝜁 𝑥 d𝑥 , • Alt 𝒗 ≔ 𝒒, 𝜻 ∈ Ω: 𝑑∗ 𝒒, 𝜻 ≠ 𝑑∗ 𝒗 • 𝒲はサンプル割り当て(𝑤%, 𝑤', … , 𝑤))の集合． 34
35. 例：２文脈２腕正規バンディットの下限 n 正規分布に従う2腕バンディット（𝑘 = 2）． n 一次元の文脈（共変量）𝑋! ∈ ℝ． • (𝑌! 1 𝑌! 2 𝑋!)は，平均(1 0 0)の多変量正規分布にしたがう．分散は1． 35
36. 例：２文脈２腕正規バンディットの下限 n 𝑌!(1)と𝑋! ， 𝑌!(2)と𝑋! の相関：𝜌%S と𝜌'S ． • 𝜌%S と𝜌'S をそれぞれ[0, 1]の範囲で動かす． Ø 共変量を無視する場合の下限をℓ， Ø 共変量を考慮する場合の下限をc ℓとする． n 下限の改善率1 − c ℓ/ℓを右図にプロット． • 赤色に近づくほど下限が改善． 36
37. ２文脈２腕正規バンディットのアルゴリズム n ２文脈２腕正規バンディットのアルゴリズムの場合の最適なアルゴリズム． n 条件付き分散の値を既知であるとする． n 文脈付き𝛼-削除戦略． • 腕1と腕2を引いた回数の比率が，条件付き分散の正の平方根（標準偏 差）の比で，一定になるように腕を選択し続ける． • 導出した下限を達成する． • 文脈（共変量）𝑋! を用いない場合の最適戦略（𝛼-削除戦略，Kaufmann et al. (2016））を拡張したもの． 37
38. 有限文脈多腕ベルヌーイバンディット n 文脈が連続値を取る場合の一般的な解析は難しい． n 文脈が離散値（有限文脈）を取る場合の解析について考える． n 腕（処置）のアウトカムも二値でベルヌーイ分布に従うものであるとする． • 腕（処置）の数は𝑘 ≥ 2であるとする． • 文脈は𝑚 ≥ 2個であるとする． • それぞれの文脈が現れる確率を(𝜁%, … , 𝜁B)とする．つまり， ℙ 𝑋! = 𝑥 = 𝜁S 38
39. 文脈付きTrack-and-Stop戦略 n 各文脈𝑥における腕𝑑のアウトカムのサンプル平均をy 𝜇",S とする． n ある文脈𝑥が現れた回数のサンプル平均を N 𝜁S とする． n ある期𝑡において，もっとも報酬が高い腕を N 𝑑! とする． 39
40. 文脈付きTrack-and-Stop戦略 n ある期𝑡における最適な割り当て比率の推定量 { 𝑤＝ { 𝑤%,S, { 𝑤',S, … { 𝑤),S S∈{%,…,B} は，ミニミマックス最適化により， ! 𝑤! = arg max "∈𝒲 min %& ' %! ∗ min ∑#$% & ' )#*',#+∑#$% & ' )#*) '! ∗,# + ,+- . 𝜁, 𝑤%,, kl ̂ 𝜇%,, , 𝜆%,, + 𝑤 ' %!,, kl ̂ 𝜇' %! ∗,, , 𝜆' %,, として推定される． • kl 𝜇, 𝜆 は平均𝜇と𝜆のベルヌーイ分布のカルバックライブラー距離． 40
41. 文脈付きTrack-and-Stop戦略 n 腕を選んだ比率がこの推定された{ 𝑤! をTrackするように腕を選択する． n 最適解が複数個存在する． • 最適解の集合の凸性を利用することで，最適解の和も最適解の集合に含 まれることを示す． n 各期において，一般化尤度比検定を行い，適当にコントールされたタイミン グで実験を停止する． 41
42. 文脈付きTrack-and-Stop戦略の漸近最適性 n 文脈付きTrack-and-Stop戦略のサンプル複雑度は， limsup 7→D 𝔼E 𝜏7 log(1/𝛿) ≤ 𝑇∗ 𝑣 となる． n これはアルゴリズムの性能が理論的下限と一致することを意味する． 42
43. 最適腕識別に関連する話題 43
44. 固定予算の最適腕識別の性能評価 n 予算𝑇のもとでの固定予算の最適腕識別に対して複雑度を 𝜅T 𝑣 ≔ inf U?VW,W!6V! <=>?@,!ABW lim sup X→Y − 1 𝑇 log 𝑝X 𝑣 F% 定義する． • ここで， 𝑝X 𝑣 ≔ ℙ N 𝑑X ≠ 𝑑∗ （誤識別率）． • inf U?VW,W!6V! <=>?@,!ABW は𝑇 → ∞で正しい最適腕を識別するアルゴリズムの集 合に対して定義している． 44
45. （参考） 方策選択と固定予算の最適腕識別 n Kasy and Sautmann. 2021 “Adaptive Treatment Assignment in Experiments for Policy Choice” Econometrica. n 設定は固定予算の最適腕識別と全く同じ． n 最適腕識別が経済学でも評価されつつある一例． 45
46. （参考） 方策選択と固定予算の最適腕識別 n 論文の間違い： • 設定の新規性はない． • ほぼ全ての「発見」がすでに機械学習において報告されている． • 全ての定理の証明が間違っている． • 定理の内容がおそらく示すことは不可能な内容． • 固定予算の最適腕識別の漸近最適性の議論が難しいことと関連． 46
47. 未解決問題１：文脈付き線形最適腕識別 47
48. 未解決問題２：連続文脈付き最適腕識別 48
49. 未解決問題３：期待処置効果推定と最適腕識別 49
50. 50 参考文献
51. • van der Laan, M. J. The construction and analysis of adaptive group sequential designs. 2008. • Kaufmann, E., Cappé, O., and Garivier, A. On the complexity of best-arm identification in multi-armed bandit models. JMLR, 2016. 51