ブレグマン距離最小化に基づくリース表現量推定： バイアス除去学習の統一理論

Transcript

1. ブレグマン距離最小化に基づくリース表現量推定： バイアス除去学習の統一理論 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. みずほ第一フィナンシャルテクノロジー・大阪公立大学 加藤真大 慶應大学 計量経済学ワークショップ（1月20日）
2. 2 概要 ◼因果推論とは何か • 観測されたデータが従う生成過程とは異なる行動が発生する状況における推論． • データの欠損による情報の損失． • 関心のない未知関数（局外母数）の推定によって生じる誤差． • 因果推論の定式化 • 平均処置効果推定・平均方策価値推定・平均限界効果推定・差分の差法etc ◼二重機械学習・バイアス除去学習 • 因果推論における多様な問題を統一的に扱う枠組み． ◼リース回帰 • バイアス除去学習の手法の中核． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
3. 3 概要 ◼因果推論における関心のあるパラメータ（parameter of interest）の推定方法． • 逆確率重み付け推定量 • 拡張逆確率重み付け推定量 • マッチング推定量 etc ◼一般論・一般化のための枠組み． • バイアス除去学習． • 因果推論における多様な問題を統一的に扱う枠組み． • リース回帰． • バイアス除去学習の手法の中核． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
4. 4 概要 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. ◼実務家の関心： どの手法を用いれば良いのか？ ◼この問いに対する回答 • 漸近的効率性の観点ではネイマン直交性を満たすように推定量を作れば良い． • 拡張逆確率重み付け（二重に頑健な）推定量が基本． • モデル選択や損失選択の基準を提案． • 有限サンプルでのパフォーマンスについては議論の余地がある． • 傾向スコアの推定方法や回帰関数の推定方法の選択が影響する． マッチング推定量やIPW推定量など，多くの推定方法が因果推論で提案されているが， どういう状況で何を使えばいいという基準はあるのか．
5. 5 概要 ◼本研究の貢献：リース回帰をさらに一般化・精緻化． • 提案法： 一般化リース回帰（Generalized Riesz Regression） • リース回帰がブレグマン距離最小化問題の特殊系であることを発見． • リース回帰以外の主要な手法の多くが同じ枠組みで扱える． • マッチング推定量はリース表現量の推定において特殊なカーネルを使う方法と解釈可能． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
6. 6 概要 ◼本研究の貢献：リース回帰をさらに一般化・精緻化． • 自動共変量バランシング（Automatic Covariate Balancing） • リース回帰と共変量バランシングは双対関係にあることを確認． • 適当な損失関数とリンク関数の組み合わせにより，自動的に共変量バランシングが達成される． • モデル選択や損失選択の基準になる性質． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
7. 7 概要 ◼本研究の貢献：リース回帰をさらに一般化・精緻化． • 自動ネイマン直交化（Automatic Neyman Orthogonalization） • リース表現量を適当な方法で推定するとき，IPW推定量はそのままAIPW推定量に一致する． • アウトカムの回帰関数のモデリングとリース表現量のモデリングの関係の考察． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
8. 8 ０. 因果推論の基礎
9. 9 処置効果 ◼状況： 新しい薬は以前の薬と比べてどのぐらい効果があるか のように２種類の施策の効果の違いに関心がある． ◼目標： • 二つの処置のそれぞれによって得られる結果（アウトカム）の比較 ＝ 処置効果の推定． （例1）クーポン配信を行うことで，配信を行わない場合と比べて，どの程度売り上げが増加するか． （例２）新薬とプラシーボ（偽薬）をそれぞれ投与した場合の治療効果の差（発熱や血圧の減少）．
10. 10 個別的処置効果 ◼同じ人は同時に２人存在しない ＝個人ごとの処置効果（individual treatment effect）は観測できない 処置1 資金100億円 処置0 資金0円 新規事業成功 新規事業失敗 処置効果
11. 11 個別的処置効果 ◼アプローチ： 似たような人に異なる処置をそれぞれ施す． ◼問題点： • 似ている人を探すことが大変． • 全く同じ人はいない． → たくさん人を集めて，その集団に処置を施す（平均的には似ているだろう）． → 個人の処置効果は分からないが，集団上の平均的な処置効果は分かる． ≒ 処置1 新規事業成功 処置0 新規事業失敗
12. 12 実験アプローチと観察アプローチ ◼処置効果の推定における二つのアプローチ： 実験アプローチと観察アプローチ ◼実験アプローチ • 二つの処置を人々に割り当てて，そのアウトカムを観察する実験を行う． • ランダム化比較実験（RCT）や治験が代表例（RCTは因果推論の黄金律）． • 実験後のデータから平均処置効果を推定． ◼観察アプローチ • 実験を行える状況は限られている． • 適当に観察されたデータを用いて平均処置効果を推定する． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
13. 13 平均処置効果推定の評価指標 ◼バイアスと分散（バリアンス） • 処置効果を正しく推定できない状況 バイアス（偏り）がある • 処置効果の推定値のばらつきが大きい（精度が悪い）状況 分散が大きい． （評価指標や文脈によってバイアスと分散の意味は変わりうる） ◼漸近正規性 • サンプルサイズ𝑛が大きくなるにつれて，推定量のばらつきが正規分布に． （真の処置効果への高速な収束（ 𝑛-一致性）と，統計的な推論ができることも示される） （注） 𝑛より遅い漸近正規性もありうるが，本発表では簡単化のために 𝑛-一致性=漸近正規性．
14. 14 平均処置効果推定の評価指標 ◼理想的な平均処置効果の推定： • バイアスがなく，分散が小さくなるように，推定量を構築したい． • バイアスはサンプルサイズが大きくなるにつれて消えれば良い． ◼漸近正規性（と 𝑛-一致性）を得るためには： • バイアスが1/ 𝑛よりも速いレートでゼロになる必要がある． 𝑛 መ 𝜃 − 𝜃0 →𝑝 Bias + 𝐺. (𝐺は平均0で分散𝑉の正規分布に従う変数)
15. 15 平均処置効果推定の評価指標 ◼漸近正規性が証明される推定量間（バイアスが早く消える推定量）での良さ より漸近分散が小さい推定量が良い． • 漸近分散 = 推定量が漸近的に従う正規分布の分散． ◼分散の理論的最良値？ • Carmer-Rao下限 • 不偏推定量の集合に対して分散の下限（理論的最良値）を与える． • 正則推定量に対する効率下限 • 正則推定量と呼ばれる望ましい性質を持つ推定量の集合に対して，漸近分散の下限を与える． • セミパラメトリックモデルの下限をセミパラメトリック効率下限と呼ぶ．
16. 16 潜在アウトカム観察データ ◼処置は処置群とコントロール群の二つ． • 処置群への割り当てを1，コントロール群への割り当てを0とする． ◼潜在アウトカム • それぞれの処置に対して𝑌𝑖 1 ∈ ℝと𝑌𝑖 (0) ∈ ℝという潜在アウトカムが存在する． • 平均処置効果（Average Treatment Effect; ATE）を以下のように定義する： 𝜃0 𝐴𝑇𝐸 ≔ 𝔼 𝑌 1 − 𝑌 0 . ◼観察データ： 𝐷𝑖 , 𝑍𝑖 , 𝑌𝑖 𝑖=1 𝑛 • 𝐷𝑖 ∈ {1, 0}は処置． • 𝑍𝑖 ∈ ℝ𝑘は共変量． • 𝑌𝑖 ∈ ℝはアウトカム． • 𝑌𝑖 = 1 𝐷𝑖 = 1 𝑌𝑖 1 + 1 𝐷𝑖 = 0 𝑌𝑖 (0)が成立． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
17. 17 代表的な推定量 ◼準備 • 𝑌に対する𝑋 = (𝐷, 𝑍)の回帰関数を𝛾0 (𝐷, 𝑍) ≔ 𝔼[𝑌 ∣ 𝑋 = (𝐷, 𝑍)]とする． • 𝐷 = 1である確率（傾向スコア）を𝑒0 𝑍 ≔ 𝑃(𝐷 = 1 ∣ 𝑍)とする． • 回帰関数𝛾0 と傾向スコア𝑒0 の推定量をそれぞれො 𝛾と Ƹ 𝑒とする． ➢プラグイン推定量（Plug-in estimator）： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛾 1, 𝑍𝑖 −ො 𝛾 0, 𝑍𝑖 . • 直接法（Direct Method; DM）推定量とも呼ばれる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
18. 18 代表的な推定量 ➢逆確率重み付け推定量： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 1 𝐷𝑖 = 1 𝑌𝑖 Ƹ 𝑒 𝑍𝑖 − 1 𝐷𝑖 = 0 𝑌𝑖 1 − Ƹ 𝑒 𝑍𝑖 . • Horvitz-Thompson推定料量とも呼ばれる． ➢拡張逆確率重み付け（ Augmented IPW estimator; AIPW）推定量： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 1 𝐷𝑖 = 1 𝑌𝑖 − ො 𝛾 1, 𝑍𝑖 Ƹ 𝑒 𝑍𝑖 − 1 𝐷𝑖 = 0 𝑌𝑖 − ො 𝛾 1, 𝑍𝑖 1 − Ƹ 𝑒 𝑍𝑖 + ො 𝛾 1, 𝑍𝑖 − ො 𝛾 0, 𝑍𝑖 . • 二重に頑健な（Doubly Robust; DR）推定量とも呼ばれる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
19. 19 代表的な推定量 ➢マッチング推定量： • 似た個体同士を「マッチング」させることで未観測アウトカムを補完． • 𝐽𝑀 (𝑖)を以下のような条件を満たす𝑍𝑖 の近傍の個体𝑗を𝑀個集めた集合とする： • 個体𝑗は𝑍𝑖 と近い共変量を持ち， • 𝑖とは異なる処置を受けている（𝐷𝑗 = 1 − 𝐷𝑖 ）． • このとき，潜在アウトカムの推定量を以下のように定義する： ෠ 𝑌𝑖 1 = 𝑌𝑖 , 𝐷𝑖 = 1 1 𝑀 ෍ 𝑗∈𝐽𝑀 𝑖 𝑌 𝑗 , 𝐷𝑖 = 0 , ෠ 𝑌𝑖 0 = 1 𝑀 ෍ 𝑗∈𝐽𝑀 𝑖 𝑌 𝑗 , 𝐷𝑖 = 1 𝑌𝑖 , 𝐷𝑖 = 0 . • 処置効果を以下のように推定する： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ෠ 𝑌𝑖 1 − ෠ 𝑌𝑖 0 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
20. 20 漸近効率な推定量 ◼より良い推定量を作りたい． ◼漸近分散が最小になる推定量を作ることを目指す． = 漸近効率下限（Hajek-Le Cam型の効率下限・セミパラメトリック効率下限とも）を達成する推定量． • 正則推定量のなかでもっとも漸近分散が小さい． ◼漸近効率な推定量はRAL（Regular and Asymptotically Linear；正則かつ漸近線形な）推定量． 𝑛 መ 𝜃 − 𝜃0 = 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝐷𝑖 , 𝑍𝑖 , 𝑌𝑖 + 𝑜𝑝 1 as 𝑛 → ∞. • 𝜓 𝐷𝑖 , 𝑍𝑖 , 𝑌𝑖 は効率影響関数． ◼ATE推定における効率影響関数： 𝜓 𝐷, 𝑍, 𝑌; 𝛾0 , 𝑒0 , 𝜃 = 𝐷 𝑒0 𝑍 − 1 − 𝐷 1 − 𝑒𝑜 𝑍 𝑌 − 𝛾0 𝑋 + 𝛾0 1, 𝑍 − 𝛾0 0, 𝑍 − 𝜃 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
21. 21 漸近効率な推定量 ◼𝛾0 と𝑒0 の推定量をො 𝛾と Ƹ 𝑒とする． ◼ATE推定におけるRAL推定量の作り方 • ワンステップバイアス補正アプローチ • プラグイン推定量 መ 𝜃 ≔ 1 𝑛 σ 𝑖=1 𝑛 ො 𝛾 1, 𝑍𝑖 −ො 𝛾 0, 𝑍𝑖 を得る． • バイアス補正項 𝐷 Ƹ 𝑒 𝑍 − 1−𝐷 1− Ƹ 𝑒 𝑍 𝑌 − ො 𝛾 𝑋 を加える． • 推定方程式アプローチ • 1 𝑛 σ 𝑖=1 𝑛 𝜓 𝐷, 𝑍, 𝑌; ො 𝛾, Ƹ 𝑒, 𝜃 = 0を満たすように推定量෡ 𝜃 を得る． • 標的最尤推定アプローチ • プラグイン推定量 መ 𝜃 ≔ 1 𝑛 σ 𝑖=1 𝑛 ො 𝛾 1, 𝑍𝑖 −ො 𝛾 0, 𝑍𝑖 を得る． • 標的最尤推定を用いてො 𝛾 1, 𝑍𝑖 とො 𝛾 0, 𝑍𝑖 を更新． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
22. 22 バイアス除去学習 ◼漸近効率な推定量の構築をネイマン直交性の視点から統一的に記述する枠組み． • 関心のあるパラメータは局外母数（関心のないパラメータ）の推定に依存する． • 関心のあるパラメータの例：ATE • 局外母数の例：回帰関数𝛾0 や傾向スコア𝑒0 ． • ネイマン直交スコア • 推定方程式アプローチ1 𝑛 σ 𝑖=1 𝑛 𝜓 𝐷𝑖 , 𝑍𝑖 , 𝑌𝑖 ; Ƹ 𝜂, መ 𝜃 = 0を考える． • 関心のあるパラメータの推定において，局外母数の推定量 Ƹ 𝜂の推定誤差が影響しないスコア𝜓 ． • 効率影響関数 ≈ 効率影響スコア ≈ ネイマン直交スコア． ◼平均処置効果以外の推定対象に対しても適応可能． （例） 平均限界効果・平均方策効果・共変量シフト適応． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
23. 23 一般的定式化 ◼データ𝑊 ≔ (𝑋, 𝑌)． • 回帰変数（regressor）𝑋とアウトカム𝑌． ◼回帰関数𝛾0 𝑋 ≔ 𝔼[𝑌 ∣ 𝑋]． ◼推定対象 𝜃0 ≔ 𝔼 𝑚 𝑊, 𝛾0 • 𝑚(𝑊, 𝛾0 )は既知のパラメータ汎関数． • 𝑚を定めると推定したいパラメータが定まる． • 𝑚(𝑊, 𝛾0 )は回帰関数𝛾0 に対して線形で連続であるとする． ◼観測値 𝑋𝑖 , 𝑌𝑖 𝑖=1 𝑛 を用いて𝜃0 を推定することを目指す． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
24. 24 事例 ◼準備： データ𝑊 ≔ (𝑋, 𝑌)，回帰関数𝛾0 (𝑋) ≔ 𝔼[𝑌 ∣ 𝑋]，推定対象𝜃0 ≔ 𝔼 𝑚 𝑊, 𝛾0 ． ◼平均処置効果 • 𝑋 = (𝐷, 𝑍)．𝐷 ∈ {1,0}は処置．𝑍は共変量．𝑌 = 𝐷𝑌 1 + 1 − 𝐷 𝑌(0)． • 𝜃0 ≔ 𝔼 𝑌 1 − 𝑌 0 ．𝑚 𝑊, 𝛾0 = 𝛾0 1, 𝑍 − 𝛾0 0, 𝑍 ． ◼平均限界効果 • 𝑋 = (𝐷, 𝑍)．𝐷 ∈ ℝは連続値の処置．𝑍は共変量． • 𝜃0 ≔ 𝔼[𝜕𝑑 𝛾0 𝑑, 𝑍 𝑑=𝐷 ]．𝑚 𝑊, 𝛾0 = 𝜕𝑑 𝛾0 𝑑, 𝑍 𝑑=𝐷 ． ◼共変量シフト適応 • 𝑋の密度関数𝑝0 (𝑋)．ターゲット密度関数𝑝1 (𝑋)． • 𝜃0 ≔ 𝔼 𝑌 𝑝1(𝑋) 𝑝0 𝑋 ． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
25. 25 ネイマン直交スコアとリース表現量 ◼リースの表現定理 • 𝔼 𝛼 𝑋 2 < ∞であるような関数𝛼: 𝒳 → ℝが存在し，すべての𝔼 𝛾 𝑋 2 < ∞であるような関数 𝛾: 𝒳 → ℝについて，以下が成立する： 𝔼 𝑚 𝑊, 𝛾 = 𝔼 𝛼 𝑋 𝛾 𝑋 . ◼真の局外母数と関心のあるパラメータのもとでのネイマン直交スコアは以下の形式で与えられる： 𝜓 𝑊; 𝜂0 , 𝜃0 = 𝑚 𝑊, 𝛾0 + 𝛼0 𝑋 𝑌 − 𝛾0 𝑋 − 𝜃0 . • 𝜂0 ≔ (𝛾0 , 𝛼0 )． ◼関数𝛼はリース表現量（Riesz representer）と呼ばれる．問題ごとに異なる： • 平均処置効果（ATE）推定𝛼0 𝐴𝑇𝐸 𝑋 = 𝐷 𝑒0(𝑍) − 1−𝐷 1−𝑒𝑜(𝑍) ． • 平均限界効果（AME）推定𝛼0 𝐴𝑀𝐸 𝑋 = −𝜕𝑑 log 𝑝0 𝑑, 𝑍 ȁ𝑑=𝐷 ． • 共変量シフト適応𝛼0 𝐶𝑆 𝑋 = 𝑝1 𝑋 𝑝0(𝑋) ． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
26. 26 バイアス除去学習 ◼ネイマン直交スコア𝜓 𝑊; 𝜂0 , 𝜃0 = 𝑚 𝑊, 𝛾0 + 𝛼0 𝑋 𝑌 − 𝛾0 𝑋 − 𝜃0 ． • 局外母数𝜂0 ≔ (𝛾0 , 𝛼0 )に依存． ◼（実行不可能な）関心のあるパラメータの推定： 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝑊; 𝜂0 , መ 𝜃 = 0. ◼𝜂0 は未知 → 回帰関数𝛾0 とリース表現量𝛼0 を推定する必要がある． ◼𝜂0 をその推定量 Ƹ 𝜂で置き換えて，以下のようにパラメータ𝜃0 を推定： 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝑊; Ƹ 𝜂, መ 𝜃 = 0. ◼ Ƹ 𝜂が以下を満たせば መ 𝜃は漸近効率． • Donsker条件を満たすか， Ƹ 𝜂がサンプル分割を用いて構築されている． • 適当な収束レートを満たす． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
27. 27 バイアス除去学習 ◼プラグイン推定量： ෡ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾 . ◼重み付け平均推定量： ෡ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 • リースの表現定理やIPW推定量に対応． ◼拡張重み付け推定量： ෡ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾 + ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 𝑋𝐼 • AIPW推定量や二重に頑健な推定量に対応．ネイマン直交性の観点からはもっとも素直な推定量． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
28. 28 リース表現量推定の手法 ◼リース表現量の推定には推定対象に応じてさまざまな手法が提案されている． • ATEの推定 • 標準的なアプローチは傾向スコアの最尤推定． • 共変量バランシング． • 共変量シフト適応 • 密度比推定 ◼一般的枠組み：リース回帰（Riesz regression，Chernozhukov et al., arXiv 2019，ECMA 2022） ො 𝛼 ≔ arg min 𝛼∈ℋ 1 𝑛 ෍ 𝑖=1 𝑛 −2𝑚 𝑊, 𝛼 + 𝛼 𝑋 2 . • ℋはリース表現量の適当なモデル． • ATE推定の場合： ො 𝛼 ≔ arg min 𝛼∈𝒜 1 𝑛 σ 𝑖=1 𝑛 −2 𝛼 1, 𝑍 − 𝛼 0, 𝑍 + 𝛼 𝑋 2 ． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
29. 29 傾向スコアの最尤推定 ◼ATE推定におけるリース表現量： 𝛼0 𝐴𝑇𝐸 𝑋 = 𝐷 𝑒0(𝑍) − 1−𝐷 1−𝑒𝑜 𝑍 ． • 𝑒0 𝑍 = 𝑃(𝐷 = 1 ∣ 𝑍)は傾向スコア（処置群に割り当てられる確率）． ◼ロジスティック回帰モデルの最尤推定 • ロジスティック回帰モデル：𝑒 𝑍 = 1 1+exp −𝑓 𝑍 と傾向スコアをモデリングする． • 𝑓: 𝒵 → ℝは適当なモデル（線形モデル・ニューラルネット・ランダムフォレストetc） • 最尤推定 • 対数尤度ℓ 𝑒 ≔ 1 𝑛 σ 𝑖=1 𝑛 (𝐷𝑖 log 𝑒 𝑍𝑖 + 1 − 𝐷𝑖 log(1 − 𝑒 𝑍𝑖 )))の最大化により𝑓を学習． ◼リース表現量の推定 • Ƹ 𝑒 = arg max 𝑒 ℓ(𝑒)を𝛼 𝑋 = 𝐷 𝑒(𝑍) − 1−𝐷 1−𝑒(𝑍) に代入して，リース表現量を以下のように推定： ො 𝛼 𝑋 = 𝐷 Ƹ 𝑒(𝑍) − 1 − 𝐷 1 − Ƹ 𝑒 𝑍 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
30. 30 共変量バランシング ◼傾向スコアの最尤推定はATEの推定という点で適切か？ ◼傾向スコアの役割 =バランシングスコア． • バランシングスコア：処置群とコントロール群の共変量の歪みを補正する： 1 𝑛 ෍ 𝑖=1 𝑛 1 𝑒0 (𝑍𝑖 ) 𝐷𝑖 𝑍𝑖 ≈ 1 𝑛 ෍ 𝑖=1 𝑛 1 1 − 𝑒0 (𝑍𝑖 ) (1 − 𝐷𝑖 )𝑍𝑖 ◼適当なノルムのもとで共変量をバランシング（均衡）させるように 1 𝑒0(𝑍𝑖) と 1 1−𝑒0(𝑍𝑖) を推定． • Imai and Ratkovic (JRSSB 2013): Ƹ 𝑒 ≔ arg min 𝑒 1 𝑛 σ 𝑖=1 𝑛 1 𝑒 𝑍𝑖 𝐷𝑖 𝑍𝑖 − 1 𝑛 σ 𝑖=1 𝑛 1 1−𝑒 𝑍𝑖 (1 − 𝐷𝑖 )𝑍𝑖 . • Hainmueller (Political Analysis 2012) および Zubizarreta (JASA 2015): ෝ 𝑤 = argmin 𝑤∈ℝ𝑛 𝑆 𝑤 s. t. 1 𝑛 ෍ 𝑖=1 𝑛 𝑤𝑖 𝐷𝑖 𝑍𝑖 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑤𝑖 (1 − 𝐷𝑖 )𝑍𝑖 • ここで，ෝ 𝑤𝑖 は𝐷𝑖 = 1のとき 1 𝑒0(𝑍𝑖) の推定量で， 𝐷𝑖 = 0のとき 1 1−𝑒0(𝑍𝑖) の推定量． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
31. 31 １．ブレグマン距離最小化に基づくリース表現量推定
32. 32 貢献 ◼ブレグマン距離最小化の観点に基づいて様々な手法を統一． • ブレグマン距離：二乗距離やKL距離を含む一般的な距離尺度． ◼提案法を一般化リース回帰（Generalized Riesz Regression）と呼ぶことにする． • 二乗距離の場合：Chernozhukov et al.のリース回帰と一致． • 双対問題は安定共変量バランシングの最適化問題と一致． • 密度比推定におけるLSIFに対応． • 未正規化KL（Unnormalized KL; UKL）距離の場合：Zhao et al.のテイラー損失最小化などと一致． • 双対問題はエントロピー共変量バランシングの最適化問題と一致． • 密度比推定におけるKLIEPに対応． • 二値KL（Binary KL; BKL）距離の場合：傾向スコアの最尤推定と一致． 関連研究： ブレグマン距離最小化に基づく密度比推定（Sugiyama et al., Ann Inst Stat Math 2012） Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
33. 33 ブレグマン距離最小化によるリース表現量推定 ◼リース表現量のモデル • 𝛼: 𝒳 → ℝを適当なリース表現量のモデルとする． （例）線形モデル・RKHS（再生核ヒルベルト空間）・ニューラルネットワーク ◼ブレグマン距離 • 𝑔: ℝ → ℝを微分可能な強凸関数とする． • 𝛼(𝑥), 𝛼0 (𝑥) ∈ ℝのブレグマン距離： BD𝑔 † 𝛼0 (𝑥) 𝛼(𝑥) ≔ 𝑔 𝛼0 𝑥 − 𝑔 𝛼 𝑥 − 𝜕𝑔 𝛼 𝑥 𝛼0 𝑥 − 𝛼 𝑥 . • 𝑋に対する平均を取ると以下を得る： BD𝑔 † 𝛼0 𝛼 ≔ 𝔼 𝑔 𝛼0 𝑋 − 𝑔 𝛼 𝑋 − 𝜕𝑔 𝛼 𝑋 𝛼0 𝑋 − 𝛼 𝑋 . ◼ブレグマン距離最小化によるリース表現量推定 • BD𝑔 † 𝛼0 𝛼 を最小化するように𝛼を𝛼0 にフィッティング． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
34. 34 ブレグマン距離最小化によるリース表現量推定 ◼理想 ത 𝛼 ≔ arg min 𝛼 BD𝑔 † 𝛼0 𝛼 . ◼課題と解決方法 • 真のリース表現量𝛼0 は未知 → 真のリース表現量𝛼0 を含まない同値な最適化問題に置き換える． • 期待値は分からない → サンプル平均で置き換える． ◼以下が成り立つ： ത 𝛼 ≔ arg min 𝛼 BD𝑔 † 𝛼0 𝛼 = arg min 𝛼 BD𝑔 (𝛼) . • ここで， BD𝑔 (𝛼)は以下のように定義される関数： BD𝑔 𝛼 ≔ 𝔼 −𝑔 𝛼 𝑋 + 𝜕𝑔 𝛼 𝑋 𝛼 𝑋 − 𝑚 𝑊, 𝜕𝑔 ∘ 𝛼 ⋅ . • これは真のリース表現量𝛼0 を含んでいない！ Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
35. 35 一般化リース回帰 ◼リース表現量推定 • 以下のように，観測できる変数のみを用いてリース表現量を推定できる： ො 𝛼 ≔ arg min 𝛼 ෢ BD𝑔 𝛼 + 𝜆𝐽(𝛼). • ここで，෢ BD𝑔 𝛼 は以下のように定義される関数： ෢ BD𝑔 𝛼 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 −𝑔 𝛼 𝑋𝑖 + 𝜕𝑔 𝛼 𝑋𝑖 𝛼 𝑋𝑖 − 𝑚 𝑊𝑖 , 𝜕𝑔 ∘ 𝛼 ⋅ . • 𝜆𝐽(𝛼)は正則化項．𝜆 > 0は正則化パラメータ．𝐽(𝛼)は正則化汎関数． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
36. 36 一般化リース回帰の具体的な実装例 ◼𝑔 を具体的に指定することでブレグマン距離からさまざまな距離尺度を導出可能． 𝐶 を適当な定数とする． ➢SQリース回帰（SQ-Riesz regression） • 二乗（Squared; SQ）距離： 𝑔𝑆𝑄 𝛼 ≔ 𝛼 − 𝐶 2． • ෢ BD 𝑔𝑆𝑄 𝛼 ≔ 1 𝑛 σ 𝑖=1 𝑛 𝛼 𝑋𝑖 2 − 2𝑚(𝑊𝑖 , 𝛼 ) . ➢UKLリース回帰（UKL-Riesz regression） • Unnormalized KL（UKL）距離： 𝑔𝑈𝐾𝐿 𝛼 ≔ 𝛼 − 𝐶 log 𝛼 − 𝐶 − ȁ𝛼ȁ． • ෢ BD 𝑔𝑈𝐾𝐿 𝛼 ≔ 1 𝑛 σ 𝑖=1 𝑛 𝐶 log 𝛼 𝑋𝑖 − 𝐶 + 𝛼 𝑋𝑖 − 𝑚 𝑊𝑖 , sgn 𝛼 ⋅ log 𝛼 ⋅ − 𝐶 . ➢BKLリース回帰（BKL-Riesz regression） • Binary KL（BKL）距離： 𝑔𝐵𝐾𝐿 𝛼 ≔ 𝛼 − 𝐶 log 𝛼 − 𝐶 − ȁ𝛼ȁ． • ෢ BD 𝑔𝐵𝐾𝐿 𝛼 ≔ 1 𝑛 σ 𝑖=1 𝑛 𝐶 log 𝛼 𝑋𝑖 −𝐶 𝛼 𝑋𝑖 +𝐶 + 𝛼 𝑋𝑖 − 𝑚 𝑊𝑖 , sgn 𝛼 ⋅ log 𝛼 ⋅ −𝐶 𝛼 ⋅ +𝐶 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
37. 37 一般化リース回帰の具体的な実装例 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
38. 38 一般化リース回帰の具体的な実装例 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
39. 39 一般化リース回帰の具体的な実装例 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
40. 40 LSIFとリース回帰の同値性 ◼密度比推定と呼ばれる手法がある． ◼二つのデータセット 𝑋𝑖 𝑖=1 𝑛 , ෨ 𝑋𝑗 𝑗=1 𝑚 ． • 𝑋𝑖 は𝑝0 (𝑋)を密度関数に持つ分布に従う． ෨ 𝑋𝑗 は𝑝1 (𝑋)を密度関数に持つ分布に従う． ◼密度比𝑟0 𝑋 = 𝑝1 𝑋 /𝑝0 (𝑋)の推定を目指す． • 応用例：敵対的生成モデル（GAN）・拡散モデルのスコアマッチング・異常検知・共変量シフト． ◼Least-Squares Importance Fitting (LSIF)（Kanamori et al. (JMLR 2009)の提案手法） Ƹ 𝑟 ≔ arg min 𝑟∈ℛ −2 1 𝑚 ෍ 𝑗=1 𝑚 𝑟 ෨ 𝑋𝑗 + 1 𝑛 ෍ 𝑖=1 𝑛 𝑟 𝑋𝑖 2 . • リース回帰（ ො 𝛼 ≔ arg min 𝛼∈𝒜 1 𝑛 σ 𝑖=1 𝑛 −2 𝛼 1, 𝑍 − 𝛼 0, 𝑍 + 𝛼 𝑋 2 とほぼ同じ定式化． • ATEの推定ではリース表現量に 1 𝑒0(𝑍) = 𝑝0 𝑍 𝑝0(𝐷=1,𝑍) という密度比が存在． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
41. 41 特徴 ◼ATE推定に例をしぼってそれぞれの手法の特徴を説明する． • SQリース回帰 • LSIFに関する先行研究により，外れ値に強いことがわかっている． • UKLリース回帰 • 暗黙に傾向スコアにロジスティックモデルを仮定している． • この仮定が正しい場合に他手法よりも性能が良い． • ただし，外れ値に弱い． • BKLリース回帰 • 暗黙に傾向スコアにロジスティックモデルを仮定している． • 傾向スコアの最尤推定と同じ． • SQリース回帰とUKLリース回帰はネイマン直交性の観点で，ATE推定に対してより良い性質を持つ． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
42. 42 （参考）導出 ◼目的関数の導出： ത 𝛼 = arg min 𝛼 BD𝑔 † 𝛼0 𝛼 = arg min 𝛼 𝔼 𝑔 𝛼0 𝑋 − 𝑔 𝛼 𝑋 − 𝜕𝑔 𝛼 𝑋 𝛼0 𝑋 − 𝛼 𝑋 = arg min 𝛼 𝔼 −𝑔 𝛼 𝑋 + 𝜕𝑔 𝛼 𝑋 𝛼 𝑋 − 𝜕𝑔 𝛼 𝑋 𝛼0 𝑋 = arg min 𝛼 𝔼 −𝑔 𝛼 𝑋 + 𝜕𝑔 𝛼 𝑋 𝛼 𝑋 − 𝑚 𝑊, 𝜕𝑔 ∘ 𝛼 ⋅ = arg min 𝛼 BD𝑔 (𝛼) • リースの表現定理より， 𝔼 𝜕𝑔 𝛼 𝑋 𝛼0 𝑋 = 𝔼 𝑚 𝑊, 𝜕𝑔 ∘ 𝛼 ⋅ が成り立つことを用いた． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
43. 43 （参考）Basuのべき乗距離 ➢BPリース回帰 • Basuのべき乗（Basu’s power; BP）距離： 𝑔𝐵𝑃 𝛼 ≔ 𝛼 −𝐶 1+𝛿−( 𝛼 −𝐶) 𝛿 for 𝛿 ∈ (0, ∞)． ෢ BD𝑔𝐵𝑃 𝛼 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 𝐶( 𝛼 − 𝐶 1+𝛿 − 1) 𝛿 + 𝐶 𝛼 𝑋𝑖 𝛼 𝑋𝑖 − 𝐶 𝛿 − 𝑚 𝑊𝑖 , 1 + 1 𝛿 sgn 𝛼 ⋅ ( 𝛼 − 𝐶 1+𝛿−1) . ◼SQリース回帰とUKLリース回帰を橋渡しする． • 𝛿 = 1のとき，SQリース回帰となる． • 𝛿 → ∞のとき，UKLリース回帰となる． • SQリース回帰は外れ値に強い． • UKLリース回帰は傾向スコアのモデリングが正しければSQリース回帰を上回る性能． • BPリース回帰はその中間． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
44. 44 （参考） 近傍マッチングとLSIF・リース回帰の同値性 ◼Lin et al. (ECMA 2022) • 近傍マッチングは密度比推定手法であることを「発見」．実際はLSIFと特殊系（特殊なカーネル）． ◼近傍マッチング推定量： • 似た個体同士を「マッチング」させることで未観測アウトカムを補完． • 𝐽𝑀 (𝑖)を以下のような条件を満たす𝑋𝑖 の近傍の個体𝑗を𝑀個集めた集合とする： • 個体𝑗は𝑋𝑖 と近い共変量を持ち， • 𝑖とは異なる処置を受けている（𝐷𝑗 = 1 − 𝐷𝑖 ）． • このとき，潜在アウトカムの推定量を以下のように定義する： ෠ 𝑌𝑖 1 = 𝑌𝑖 , 𝐷𝑖 = 1 1 𝑀 ෍ 𝑗∈𝐽𝑀 𝑖 𝑌 𝑗 , 𝐷𝑖 = 0 , ෠ 𝑌𝑖 0 = 1 𝑀 ෍ 𝑗∈𝐽𝑀 𝑖 𝑌 𝑗 , 𝐷𝑖 = 1 𝑌𝑖 , 𝐷𝑖 = 0 . • 処置効果の推定量 መ 𝜃 ≔ 1 𝑛 σ 𝑖=1 𝑛 ෠ 𝑌𝑖 1 − ෠ 𝑌𝑖 0 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
45. 45 （参考） 近傍マッチングとLSIF・リース回帰の同値性 ◼マッチング回数カウント関数を以下のように定義する： 𝐾𝑀 𝑖 ≔ ෍ 𝑗∈ 1,2,…,𝑛 𝐷𝑗=1−𝐷𝑖} 1 𝑖 ∈ 𝐽𝑀 𝑗 . • ある個体𝑖がマッチングに使われた回数． ◼このとき，以下が成立する： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ෠ 𝑌𝑖 1 − ෠ 𝑌𝑖 0 = 1 𝑛 ෍ 𝑖=1 𝑛 𝐷𝑖 1 + 𝐾𝑀 𝑖 𝑀 𝑌𝑖 + (1 − 𝐷𝑖 )𝐷𝑖 1 + 𝐾𝑀 𝑖 𝑀 𝑌𝑖 . ◼Lin et al. (2022)は𝐾𝑀 𝑖 𝑀 について以下のことを示している： • 𝐷𝑖 = 1の場合は𝑝 𝑍 𝐷 = 1 𝑝 𝑍 𝐷 = 0 の（定数を除いた）推定量となる． • 𝐷𝑖 = 0の場合は𝑝 𝑍 𝐷 = 0 𝑝 𝑍 𝐷 = 1 の（定数を除いた）推定量となる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
46. 46 （参考） 近傍マッチングとLSIF・リース回帰の同値性 ◼𝑟0 1, 𝑍 ≔ 𝑝0 𝑍 𝑝(𝐷=1,𝑍) という密度比を考える． ◼Lin et al. (2022)が提案している近傍法に基づく密度比推定法は， 𝑟0 1, 𝑍 に対するLSIFと同値． • LSIFに使う密度比モデルを𝑟 𝑧 = 𝛽𝜙(𝑧)とする． • ここで，𝜙𝑐 𝑧 = 1[𝑧 ∈ 𝐴𝑀 (𝑐)]． • 𝐴𝑀 𝑐 ≔ 𝑧: 𝑐 − 𝑧 ≤ 𝒩 𝑀 𝑧 − 𝑧 ． • 𝒩 𝑀 (𝑧)は𝑧の𝑀番目の近傍． ◼前述したようにLSIFとリース回帰は同値． • したがって，マッチング推定量とリース回帰も同値． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
47. 47 （参考） 因果木・因果フォレストとLSIF・リース回帰の同値性 ◼因果木・因果フォレスト（Wager and Athey. JASA 2015） • 原理は近傍マッチングと同じ． → したがって，因果木・因果フォレストもリース回帰の特殊系であると解釈できる． ◼適応的な近傍マッチング • 木の分割アルゴリズムを用いることでデータ依存に柔軟に近傍を選択できる． ◼後述するようにリース表現量の基底はアウトカムの基底と関連． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
48. 48 ２．自動共変量バランシング
49. 49 一般化リース回帰と共変量バランシング ◼自動共変量バランシング • 一般化リース回帰は適当なリース表現量モデルのもとで共変量バランシングを自動で達成する． • 両者は双対関係にある． ◼自動共変量バランシングは後述するように自動的にネイマン直交性をもたらす． • 似た性質を持つアプローチとして標的最尤推定が挙げられる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
50. 50 一般化線形モデル ◼リース表現量に対する一般化線形モデル： 𝛼𝛽 𝑋 = 𝜁−1 𝑋, 𝜙 𝑋 ⊤𝛽 . • 𝜁−1はリンク関数（の逆数） • 𝜙: 𝒳 → ℝ𝑝は基底関数．𝛽はそのパラメータ． ◼例 • 線形リンク関数 𝛼𝛽 𝑋 = 𝜙 𝑋 ⊤𝛽. • ロジットリンク関数・対数リンク関数 𝛼𝛽 𝑋 = 𝐷 𝐶 + exp −𝜙 𝑋 ⊤𝛽 + 1 − 𝐷 𝐶 + exp 𝜙 𝑋 ⊤𝛽 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
51. 51 自動共変量バランシング ◼定理 • 𝜕𝑔 𝛼𝛽 𝑋 = 𝜙 𝑋 ⊤𝛽が成立するとする． • 一般化リース回帰を用いて，リース表現量を ො 𝛼 = 𝛼෡ 𝛽 とする．ここで， መ 𝛽 ≔ arg min 𝛽 1 𝑛 ෍ 𝑖=1 𝑛 −𝑔 𝛼 𝑋𝑖 + 𝜕𝑔 𝛼 𝑋𝑖 𝛼 𝑋𝑖 − 𝑚 𝑊𝑖 , 𝜕𝑔 ∘ 𝛼 ⋅ + 1 𝑎 𝜆 𝛽 𝑎 𝑎 . • このとき，すべての𝑗 = 1,2, … , 𝑝について，以下が成立する（共変量バランシング）： 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 (𝑋𝑖 ) − 𝑚 𝑊𝑖 , 𝜙𝑗 ⋅ ≤ 𝜆 መ 𝛽𝑗 𝑎−1 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
52. 52 （例）ロジットリンク ◼ATE推定におけるリース表現量： 𝛼0 𝐴𝑇𝐸 𝑋 = 𝐷 𝑒0(𝑍) − 1−𝐷 1−𝑒𝑜 𝑍 ． ◼ロジスティック回帰モデルの最尤推定 • ロジスティック回帰モデル：𝑒 𝑍 = 1 1+exp −𝜙 𝑍 ⊤𝛽 として傾向スコアをモデリングする． • 𝜙(𝑍)は𝑍のみに依存する基底関数． ◼このとき，リース表現量モデルは 𝛼𝛽 𝑋 = 𝐷 𝑒(𝑍) − 1 − 𝐷 1 − 𝑒 𝑍 = 𝐷 1 + exp −𝜙 𝑍 ⊤𝛽 − 1 − 𝐷 1 + exp 𝜙 𝑍 ⊤𝛽 . ◼UKLリース回帰を用いると，𝜕𝑔 𝛼𝛽 𝑋 = 𝜙 𝑋 ⊤𝛽が成立するので，𝜆 = 0のとき 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼(𝑋𝑖 )𝐷𝜙𝑗 𝑍𝑖 − ො 𝛼(𝑋𝑖 ) 1 − 𝐷 𝜙𝑗 𝑍𝑖 = 0 が成立． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
53. 53 ３．自動ネイマン直交化
54. 54 自動ネイマン直交化と自動ネイマン誤差最小化 ◼漸近効率な推定量 • ネイマン直交スコア𝜓 𝑊; 𝛾, 𝛼, 𝜃 = 𝑚 𝑊, 𝛾 + 𝛼 𝑋 𝑌 − 𝛾 𝑋 − 𝜃に対して以下が成立： 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝑊; 𝛾0 , 𝛼0 , መ 𝜃 = 0. ◼自動共変量バランシングにより推定量を上の性質に自動的に近づけるように構築できる： • መ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 という推定量を考える． • 正確な共変量バランシング1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0が成り立っているとす： • これに対して，自動的に 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝑊; 𝛾0 , ො 𝛼, መ 𝜃 = 0 が成立する． 𝛾0 は真の回帰関数であるが，推定しなくても良い． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
55. 55 ネイマン直交化 ◼以下のような重み付き平均を考える： መ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 . • ො 𝛼 𝑋𝑖 は𝜆 = 0の一般化リース回帰で推定された関数とする． • AIE推定ではIPW推定量に対応． ◼𝛾0 (𝑋)が𝜙(𝑋)の線型空間内に存在するとする．すなわち， 𝛾0 𝑋 = 𝜙 𝑋 ⊤𝜌0 なる𝜌0 ∈ ℝ𝑝が存在するとする． ◼このとき，以下が成立する： መ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 (𝑌𝑖 −𝛾0 𝑋𝑖 + 𝑚 𝑊𝑖 , 𝛾0 ) . • ここで， 正確な共変量バランス1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0を利用． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
56. 56 ネイマン誤差 ◼自動共変量バランシングはネイマン直交スコアの推定誤差を自動で小さくする． ◼ネイマン直交スコアの誤差： 1 𝑛 ෍ 𝑖=1 𝑛 𝜓 𝑊; ො 𝛾, ො 𝛼, 𝜃 − 𝜓 𝑊; 𝛾0 , 𝛼0 , 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌 − ො 𝛾 𝑋𝑖 + 𝑚 𝑊𝑖 , ො 𝛾 − 𝛼0 𝑋𝑖 𝑌 − 𝛾0 𝑋𝑖 − 𝑚 𝑊𝑖 , 𝛾0 . • 𝛼0 𝑋 𝑌 − 𝛾0 𝑋 は平均ゼロなので無視する． ◼本質的に重要な誤差部分としてネイマン誤差を以下のように定義する： NeymanError ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 𝑋𝑖 + 𝑚 𝑊𝑖 , ො 𝛾 − 𝑚 𝑊𝑖 , 𝛾0 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
57. 57 ネイマン誤差 ◼自動共変量バランス1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0 ◼ ො 𝛾(𝑋)が𝜙(𝑋)の線型空間内に存在するとする．すなわち， ො 𝛾 𝑋 = 𝜙 𝑋 ⊤ ො 𝜌 なるො 𝜌 ∈ ℝ𝑝が存在するとする． ◼したがって，一般化リース回帰のもとで， NeymanError ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋 𝑌𝑖 − ො 𝛾 𝑋 + 𝑚 𝑊, ො 𝛾 − 𝑚 𝑊, 𝛾0 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋 𝑌𝑖 − 𝑚 𝑊, 𝛾0 が自動的に成立． ◼さらに，𝑌 = 𝛾0 𝑋 + 𝜖（𝔼 𝜖 𝑋 = 0）なので， 𝛾0 𝑋 = 𝜙 𝑋 ⊤𝜌0 なる𝜌0 ∈ ℝ𝑝が存在すれば， NeymanError = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜖𝑖 が成立する． 𝜖i は平均ゼロのため無視可能． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
58. 58 （参考）標的最尤推定 ◼Van der Laanの標的最尤推定（Targeted Maximum Likelihood Estimation; TMLE）． • 回帰関数の一段階目の推定量ො 𝛾 0 (𝑋)を得る． • 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌 − ො 𝛾 0 𝑋 + 𝜖 = 0を満たす𝜖を探す： Ƹ 𝜖 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌 − ො 𝛾 0 𝑋𝑖 / 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 . • 二段階目の推定量を以下のようにする： ො 𝛾 1 𝑋 = ො 𝛾 0 𝑋 + Ƹ 𝜖. • パラメータの推定量を以下のようにする： መ 𝜃 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛾 1 1, 𝑍𝑖 −ො 𝛾 1 0, 𝑍𝑖 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
59. 59 （参考）標的最尤推定 ◼ネイマン誤差の視点では， NeymanError = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 1 𝑋𝑖 + 𝑚 𝑊𝑖 , ො 𝛾 1 − 𝑚 𝑊𝑖 , 𝛾0 における1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 1 𝑋𝑖 の部分をゼロにする操作に対応． ◼すなわち，標的最尤のもとで以下が成立する： NeymanError = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾 1 − 𝑚 𝑊𝑖 , 𝛾0 . ◼正確な共変量バランシングが成立していて，かつ， ො 𝛾 0 𝑋𝑖 と𝛾0 (𝑋)がともにリース表現量の基底上にあ るのであれば， 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 1 𝑋𝑖 は平均がゼロの項になる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
60. 60 一般化リース回帰と標的最尤推定の比較 ◼アウトカムの回帰関数とそのモデルが，リース表現量の基底で表現できるとする． ◼一般化リース回帰 • 推定量 መ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 . • ネイマン誤差 NeymanError = 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜖𝑖 ． • 一般化リース回帰は推定問題の難しさをIPW型の推定量に帰着させる． • 正確な共変量バランシングが成り立っていれば不偏． ◼標的最尤推定 • 推定量 መ 𝜃 ≔ 1 𝑛 σ 𝑖=1 𝑛 ො 𝛾 1 1, 𝑍𝑖 −ො 𝛾 1 0, 𝑍𝑖 . • ネイマン誤差 NeymanError = 1 𝑛 σ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾 1 − 𝑚 𝑊𝑖 , 𝛾0 . • 標的最尤推定は推定問題の難しさをプラグイン型の推定量に帰着させる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
61. 61 「OLSは二重に頑健」 ◼ ො 𝛼 𝑋 = 𝜙 𝑋 ⊤𝛽が成立しているとする． ◼重み付き平均推定量 መ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 に対して，以下が成立（Bruns-Smith et al., JRSSB 2025）： መ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 = 1 𝑛 ෍ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙 𝑋𝑖 ⊤ ො 𝜌𝑂𝐿𝑆 . • ここで， ො 𝜌𝑂𝐿𝑆 はOLS推定量： ො 𝜌𝑂𝐿𝑆 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 𝜙 𝑋𝑖 𝜙 𝑋 ⊤ 1 𝑛 ෍ 𝑖=1 𝑛 𝜙 𝑋𝑖 𝑌𝑖 . ◼正確な共変量バランシング1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0が成立する場合，以下が成立： መ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚(𝑊𝑖 , 𝜙1 )) 𝑚(𝑊𝑖 , 𝜙2 ) ⋮ 𝑚(𝑊𝑖 , 𝜙𝑝 ) ො 𝜌𝑂𝐿𝑆 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
62. 62 「OLSは二重に頑健」 ◼正確な共変量バランシング1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0が成立する場合，以下が成立： መ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚(𝑊𝑖 , 𝜙1 )) 𝑚(𝑊𝑖 , 𝜙2 ) ⋮ 𝑚(𝑊𝑖 , 𝜙𝑝 ) ො 𝜌𝑂𝐿𝑆 . ◼さらに，アウトカムの回帰関数𝛾0 (𝑋) = 𝔼[𝑌 ∣ 𝑋]が基底𝜙(𝑋)で表現できるならば，自動ネイマン直交性が 成立する．すなわち，OLS推定量は二重に頑健（ネイマン直交）． • 平均処置効果の推定： • （１）𝑌を𝜙(𝑋)でOLS回帰 • （２） 1 𝑛 σ 𝑖=1 𝑛 𝜙1 1,𝑍𝑖 −𝜙1(0,𝑍𝑖) 𝜙2 1,𝑍𝑖 −𝜙2(0,𝑍𝑖) ⋮ 𝜙𝑝 1,𝑍𝑖 −𝜙𝑝(0,𝑍𝑖) ො 𝜌𝑂𝐿𝑆 ,として平均処置効果を推定． • この推定量は効率影響関数に対してRALになる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
63. 63 交差適合とDonsker条件 ◼漸近効率性を示すためには，局外母数の推定量が以下のどちらを満たす必要がある： • 交差適合を用いて構築される． • Donsker条件を満たす． ◼交差適合 • サンプルを分割して局外母数を推定する方法． • ほとんどのすべてのモデル（線形モデルやニューラルネットワーク）に対して適応可能． ◼Donsker条件 • 関数の複雑さが一定程度で抑えられているという条件． • 推定対象の関数が複雑であったりすると満たされない． ◼注意点： • 交差適合を用いると自動共変量バランシングや自動ネイマン直交化の性質が消える． • 標的最尤推定の場合は（おそらく）問題ない． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
64. 64 実務的示唆 ◼重み付け推定量 = OLS = 二重に頑健 • 以下の条件が満たされるとする： • 正確な共変量バランシング1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝑚(𝑊𝑖 , 𝜙𝑗 ) = 0が成立する． • 真の回帰関数𝛾0 (𝑋)が基底𝜙𝑗 𝑋𝑖 で表現できる． • このとき，重み付け推定量は መ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝑌𝑖 はOLS推定量と一致． ◼何が問題か • アウトカムの回帰関数𝛾0 のOLS推定量と一致 → 過学習に弱い． • 適当に正則化を加えたい． • サンプル分割（Cross-fitting）などを用いるとそもそも正確な共変量バランシングが成立しない． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
65. 65 実務的示唆 ◼正確な共変量バランシングを目指さない方が良い． • 正確な共変量バランシング = アウトカムの回帰を正則化なしで行うことに相当． • 次元が大きければ，過学習に苦しむ． • Bruns-Smith et al. (JRSSB 2025)・Singh (arXiv 2024)・Mou et al. (Mathematics of OR 2025?)． ◼正則化を加えることによりリース表現量や回帰関数の推定精度を向上． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
66. 66 実務的示唆 ◼拡張重み付け推定量は二つのアウトカム回帰関数𝛾0 の推定量の線形和． • Bruns-Smith et al. (JRSSB 2025）． • アウトカムの回帰関数の推定量ො 𝛾𝑎𝑢𝑔 𝑥 ≔ 𝜙 𝑥 ⊤ ො 𝜌𝑎𝑢𝑔 ．ො 𝜌𝑎𝑢𝑔 は適当な推定量． • リース表現量の推定量ො 𝛼 𝑥 ≔ 𝜙 𝑥 ⊤ መ 𝛽． • 拡張重み付け推定量෡ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾𝑎𝑢𝑔 𝑥 + ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾𝑎𝑢𝑔 𝑥 𝑋𝐼 で以下が成立： ෡ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚(𝑊𝑖 , 𝜙1 ) 𝑚(𝑊𝑖 , 𝜙2 ) ⋮ 𝑚(𝑊𝑖 , 𝜙𝑝 ) ො 𝜌𝑚𝑖𝑥 . • ここで， ො 𝜌𝑚𝑖𝑥,𝑗 = 1 − 𝑤𝑗 ො 𝜌𝑎𝑢𝑔,𝑗 + 𝑤𝑗 ො 𝜌𝑂𝐿𝑆,𝑗 ，であり， 𝑤𝑗 ≔ 1 𝑛 σ 𝑖=1 𝑛 𝑚 𝑊𝑖 , 𝜙𝑗 − 𝜙𝑗 𝑋𝑖 1 𝑛 σ 𝑖=1 𝑛 ො 𝛼 𝑋𝑖 𝜙𝑗 𝑋𝑖 − 𝜙𝑗 𝑋𝑖 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
67. 67 実務的示唆 ◼特殊な状況では，拡張重み付け推定量は，正則化付き回帰の平均になる • Bruns-Smith et al. (JRSSB 2025）． • 例えば以下のような状況を考える： • 正則化パラメータ𝜆のℓ2 罰則を用いて一般化リース回帰を実行． • 正則化パラメータ𝛿のリッジ回帰を用いて回帰関数𝛾0 を推定． • このとき，拡張重み付け推定量෡ 𝜃 = 1 𝑛 σ 𝑖=1 𝑛 𝑚 𝑊𝑖 , ො 𝛾 + ො 𝛼 𝑋𝑖 𝑌𝑖 − ො 𝛾 𝑋𝐼 について以下が成立： ෡ 𝜃 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑚(𝑊𝑖 , 𝜙1 )) 𝑚(𝑊𝑖 , 𝜙2 ) ⋮ 𝑚(𝑊𝑖 , 𝜙𝑝 ) ො 𝜌 𝑟𝑖𝑑𝑔𝑒 † • ここで，ො 𝜌 𝑟𝑖𝑑𝑔𝑒 † ≔ 1 𝑛 σ 𝑖=1 𝑛 𝜙 𝑋𝑖 𝜙 𝑋 ⊤ + 𝜆𝛿 ෩ 𝜆+𝜆𝛿 𝐼 1 𝑛 σ 𝑖=1 𝑛 𝜙 𝑋𝑖 𝑌𝑖 ． ሚ 𝜆は特徴空間の固有値． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
68. 68 実務的示唆 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. Exact covariate balancing Specific combination of regularized estimation of the Riesz representer 𝛼0 and regression function 𝛾0 (E.g., Ridge + Ridge) The final estimator is the sample average of the OLS estimator . The final estimator is the sample average of some estimator of 𝛾0 . (E.g., Ridge regression) Both the Riesz representer estimator and the regression function estimator affect the final estimator Choice of loss functions affects the final estimator Choice of loss functions does not affect the final estimator Yes Yes No No
69. 69 （例）ロジットリンクとアウトカム空間 ◼ATE推定におけるリース表現量： 𝛼0 𝐴𝑇𝐸 𝑋 = 𝐷 𝑒0(𝑍) − 1−𝐷 1−𝑒𝑜 𝑍 ． ◼ロジスティック回帰モデルの最尤推定 • ロジスティック回帰モデル：𝑒 𝑍 = 1 1+exp −𝜙 𝑍 ⊤𝛽 として傾向スコアをモデリングする． • 𝜙(𝑍)は𝑍のみに依存する基底関数． ◼自動ネイマン直交化が成り立つためには， • 𝜙(𝑍)が張る空間に𝛾0 (𝑋)がなければならない． • かなり強い制約． • 条件付きATE 𝔼 𝑌 1 − 𝑌 0 ∣ 𝑋 = 𝑥 が𝑥に応じて変わらない状況を想定． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
70. 70 （例）ロジットリンクとアウトカム空間 ◼𝑒0 𝑍 = 𝑃(𝐷 = 1 ∣ 𝑍)なので，𝑃 𝐷 = 0 𝑍 = 1 − 𝑒0 (𝑍)が成立する． → したがって，𝑒0 (𝑍)だけモデリングすれば良い． しかし，それぞれを独立にモデリングした方が理論的には良い性質． ◼モデリング： • 𝑒 1, 𝑍 = 1 1+exp −𝜙 𝑋 ⊤𝛽 を𝑃(𝐷 = 1 ∣ 𝑍)のモデルとする． • 𝑒 0, 𝑍 = 1 1+exp 𝜙 𝑋 ⊤𝛽 を𝑃(𝐷 = 0 ∣ 𝑍)のモデルとする． ◼リース表現量モデルを以下のようにする： 𝛼𝛽 𝑋 = 𝐷 𝑒(𝑍) − 1 − 𝐷 1 − 𝑒 𝑍 = 𝐷 1 + exp −𝜙 𝑋 ⊤𝛽 − 1 − 𝐷 1 + exp 𝜙 𝑋 ⊤𝛽 . Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
71. 71 （例）ロジスティック回帰モデルの最尤推定 ◼ロジスティック回帰モデルの最尤推定 • リース表現量（に含まれる傾向スコア）をシグモイド関数でモデリング． • 対数尤度を最大化（BKLリース回帰）． → 共変量バランシングを達成しない． • デメリット１： ネイマン誤差が自然に小さくなる性質を利用できない． • デメリット２： 最終的な推定量がOLSやリッジ回帰推定量のサンプル平均にならない． ◼シグモイド関数を使わないければBKLリース回帰（対数尤度最大化）でも共変量がバランスする． • 例えば，𝛼 𝑋 = 𝐷 1+exp 𝜙 𝑋 ⊤𝛽 1−exp 𝜙 𝑋 ⊤𝛽 − (1 − 𝐷) 1+exp 𝜙 𝑋 ⊤𝛽 −1+exp 𝜙 𝑋 ⊤𝛽 ． • あまり実用的ではない． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
72. 72 7．基底関数・リンク関数・損失関数の選択
73. 73 実務的知見 ◼いろいろな手法が提案されているが本質的にはどれも同じ． • リース表現量（傾向スコア）のモデルの選択と損失の選択が違うだけ． • 基底の選び方は本質的に重要．固定（シリーズ回帰・RKHS） vs 適応（ニューラルネット・回帰木） ◼正確な共変量バランシング • 最終的な推定量はOLS推定量のサンプル平均． • リース表現量の損失の選択は最終的な推定量に影響しない ◼正確な共変量バランシングではない • 特殊な状況：最終的な推定量は正則化付き回帰推定量のサンプル平均（例：カーネルリッジ）． • それ以外： • 外れ値がありそうなら線形モデル，なさそうならロジスティックモデル． • 線形モデルを用いる場合は二乗損失，ロジスティックモデルを用いる場合はKL距離． • ロジスティックモデルを用いる場合，特徴量にクラスラベルも入れる方が良い． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
74. 74 因果木・因果フォレスト Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. 中村（2020）より（ https://ies.keio.ac.jp/upload/20201201econo_nakamura_Slide.pdf ）
75. 75 ニューラルネットワーク ◼マルチタスク型が良い？ • Church and van der Schaar (AISTATS 2021) Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
76. 76 ８．収束レート解析
77. 77 ミニマックス最適性 ◼リース表現量のミニマックス最適性． • RKHSとニューラルネットワークで導出． ◼サンプル分割を行う場合は重要． ◼ドンスカー条件 + 正確な共変量バランシング + 𝛾0 が基底で表現できる場合． • 一致性のみでよい（Wong et al. Biometrika 2017） Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
78. 78 ８．実験
79. 79 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
80. 80 Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
81. 81 ９．その他
82. 82 過学習 ◼過学習しやすい目的関数： ෢ BD𝑔 𝛼 ≔ 1 𝑛 ෍ 𝑖=1 𝑛 −𝑔 𝛼 𝑋𝑖 + 𝜕𝑔 𝛼 𝑋𝑖 𝛼 𝑋𝑖 − 𝑚 𝑊𝑖 , 𝜕𝑔 ∘ 𝛼 ⋅ . ◼経験リスク最小化により，（⋆）の部分がマイナス無限大になってしまう． • PU学習や密度比推定で同様の問題が報告されている． • Rhodes et al. (ICML 2020) ：Density-chasm． • Kato and Teshima (NeurIPS 2021)：Train-loss hacking． ◼対策 • Rhodes et al. (ICML 2020)： テレスコーピング密度比推定 • Kiryo et al. (NeurIPS 2018)とKato and Teshima (NeurIPS 2021)：非負補正． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. （⋆）
83. 83 平均限界処置効果のリース表現量とスコアマッチング ◼平均限界効果（AME）推定のリース表現量 𝛼0 𝐴𝑀𝐸 𝑋 = −𝜕𝑑 log 𝑝0 𝑑, 𝑍 ቚ 𝑑=𝐷 . • これは拡散モデルにおけるスコアに対応． → スコアマッチングの手法で推定できる． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
84. 84 密度比推定とスコアマッチング ◼密度比推定𝑟 𝑋 = 𝑝1 𝑋 𝑝0(𝑋) ． ◼中間密度比 𝑝𝑡/𝑇 𝑋 𝑝(𝑡−1)/𝑇(𝑋) を適当に定義すると，密度比は密度比の積でかける： 𝑟 𝑋 = ෑ 𝑡=1 𝑇 𝑝𝑡/𝑇 𝑋 𝑝(𝑡−1)/𝑇 (𝑋) ◼対数をとって，𝑇 → ∞とすると，以下が成立： log 𝑟 𝑋 = න 0 1 log 𝑝𝑠 𝑋 𝑑𝑠 . • 密度比推定はスコアの推定により実行可能． • もともとは密度比推定の過学習を防ぐために提案． ◼因果推論の諸手法もスコアマッチングで記述可能． • 政策変更のパスを表示できる．平均限界効果と平均処置効果を連続的につなぐ． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
85. 85 １０．まとめ
86. 86 まとめ ◼漸近効率な因果パラメータ推定量 • RAL推定量 • 特定のRAL推定量はネイマン直交性を満たす． ◼基本形： ネイマン直交スコアを満たす推定量 • 未知の局外母数： リース表現量と回帰関数， • リース表現量の例： 傾向スコアの逆数． ◼リース表現量の推定方法 • リース回帰 • 傾向スコアの最尤法 • 共変量バランシング Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. 全部同値
87. 87 まとめ ◼リース表現量を基底を用いて近似・推定する場合 ✓正確な共変量バランシングが成り立つ場合（サンプル分割・正則化なし） • リース表現量はどのように推定しても結果に影響しない． • 最終的な推定量はアウトカムに対するOLS推定量のサンプル平均となる． • 回帰関数が同じ基底で表現可能な場合 • 重み付け推定量と拡張重み付け推定量が一致 = ネイマン直交性 = 二重に頑健． • OLS推定量は二重に頑健． ✓不正確な共変量バランシングの場合 • より複雑な形になる． • 特殊例：リッジ回帰による一般化リース回帰とアウトカムの回帰関数の推定． → 最終的な推定量はリッジ回帰推定量のサンプル平均となる． Bruns-Smith et al. (JRSSB 2025)やSingh (arXiv 2024) Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
88. 88 まとめ ◼一般化リース回帰 • 共変量バランシングを通じてネイマン直交スコアの推定誤差を小さくする． • リース表現量（傾向スコアや密度比）のモデリング • アウトカムの回帰関数の近似の観点からもされるべき． • リース表現量とアウトカムの回帰関数を（パラメータを変えて）同時に近似できる基底． ◼固定的な基底 • RKHS • 近傍マッチング ◼適応的な基底 • 因果フォレスト • ニューラルネットワーク Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved. リース表現量よりもアウトカムを 近似できるように基底を学習するべき
89. 89 未解決問題 ◼良性の過適合（Bartlett et al. PNAS 2020） • 超高次元の状況における回帰の推定誤差解析． • 共変量のデザイン行列の固有値を用いて収束を議論． • 因果パラメータの推定も本質的に固有値が重要． • 超高次元の解析と因果パラメータの推定は同じ理論的土台にのる（Bruns-Smith et al.） ◼適応的な基底の選択 • RKHSによる解析はSingh (2024)が行なっている． • ニューラルネットやランダムフォレスト・回帰木はまだ． • 後者はデータに対して適応的に基底を学習する． ◼サンプル分割の必要性． ◼TMLE vs リース表現重み付け推定量． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.
90. 90 参考文献 （*）多いので原稿を見てください（ https://arxiv.org/abs/2601.07752 ）． Copyright (c) Mizuho–DL Financial Technology Co., Ltd. All Rights Reserved.