非ガウス性と非線形性に 基づく統計的因果探索 清水 昌平 滋賀大学 データサイエンス学系 理化学研究所 革新知能統合研究センター

自己紹介 ◼現職 • 滋賀大学 データサイエンス学系 教授 • (兼業) 理化学研究所 革新知能統合研究センター 因果推論チーム チームリーダー ◼専門分野 • 統計的因果推論・統計学・機械学習 • 因果探索の理論と方法 • LiNGAM法の提案 ◼宣伝 • 理研ポスドク・RAに興味のある人いたらぜひ 2 清水, 統計的因果探索, 講談社, 2017 Shimizu, Statistical Causal Discovery: LiNGAM approach, Springer, 2022

統計的因果推論 ◼予測 • チョコ消費量がこのくらいなら ノーベル賞の数はどのくらい？ ◼因果 • チョコ消費量を増やすと (介入) ノーベル賞の数は増える？ ◼無作為化実験がGold Standard ◼無作為化実験により データを集めるのは困難 ◼それ以外の観察データを活用 3 Messerli, (2012), New England Journal of Medicine ノ ー ベ ル 賞 受 賞 者 の 数 相関係数: 0.79 チョコレート消費量

因果推論の手順の典型例 1. 推定したいものを決める: 介入効果 2. 領域知識を用いて因果構造を表すグラフを描く 3. どの変数を分析に含めるかを、数学的理論から導く 4. (もしあれば) その変数も観測し分析に含めて、推定 4 チョコ 賞 GDP 因果グラフ ◼因果グラフを描くだけの領域知識がないことは多い ◼因果探索: データを用いて因果グラフを推測 共通原因

因果探索 ◼因果グラフを描く「支援」 ◼データを用いて因果グラフを推測するための方法論 ◼領域知識以外の手段 5 Maeda and Shimizu (2020) 仮定(+領域知識) 推測 • 未観測共通原因の有無 • 非巡回 or 巡回 • 分布 • 関数形など データ 因果グラフ

発表の流れ 1. 因果探索 A) 因果グラフの識別性 B) 推定アルゴリズム C) パッケージと適用 2. 関連方法論への展開 3. まとめと今後の展望 6

LiNGAMモデル (Shimizu, Hyvarinen, Hoyer & Kerminen, 2006) ◼Linear Non-Gaussian Acyclic Model • 誤差変数 𝑒𝑖 は非ガウス連続で独立 • 未観測の共通原因なし ◼因果グラフ (と係数)をデータから一意に推定可能 • 観測変数間の(条件つき)独立性に加えて 親と誤差変数の独立性も利用 7 LiNGAM 𝑥𝑖 = ෍ 𝑗: 𝑥𝑖 の親 𝑏𝑖𝑗 𝑥𝑗 + 𝑒𝑖 𝑏21 𝑏23 𝑏13 𝑥1 𝑥3 𝑥2 𝑥1 𝑥3 𝑥2 従来 行列で書くと: 𝒙 = 𝐁𝒙 + 𝒆

非ガウス性と独立性をどう使うか？ 8 𝑥1 𝑥2 𝑒1 𝑒2 正しいモデル 結果𝑥2 を原因𝑥1 に回帰 原因𝑥1 を結果𝑥2 に回帰 2 1 21 2 1 1 1 2 2 ) 1 ( 2 ) var( ) , cov( e x b x x x x x x r = − = − = は独立 と ) 1 ( 2 1 1 ) ( r e x = 残差 ( ) ) var( var ) var( ) , cov( 1 ) var( ) , cov( 2 1 21 1 2 2 1 21 2 2 2 1 1 ) 2 ( 1 x x b e x x x b x x x x x r −       − = − = は と ) 2 ( 1 2 1 21 2 ) ( r e e b x + = 2 e 従属 ガウスだと 無相関＝独立 𝑥1 = 𝑒1 𝑥2 = 𝑏21 𝑥1 + 𝑒2 𝑏21 ≠ 0

各種拡張(1) https://www.shimizulab.org/lingam/lingampapers 9 共通原因が未観測の場合 Hoyer+(2008), Salehkaleybar+(2020) 𝑥2 𝑥1 𝑢1 因果順序が識別可能 未観測共通原因 𝑥𝑖 = ෍ 𝑗: 𝑥𝑖 の親 𝑏𝑖𝑗 𝑥𝑗 + ෍ 𝑘: 𝑥𝑖 の親 𝜆𝑖𝑘 𝑢𝑘 + 𝑒𝑖 潜在因子間の因果探索 Shimizu+(2008), Xie+(2020) 𝑥3 𝑥4 𝑓2 測定モデルが識別可能なら 因果グラフと係数が識別可能 潜在因子 𝒇 = 𝐁𝒇 + 𝒆 𝒙 = 𝐁𝒙 + 𝒆 未観測共通原因も潜在因子もあり Adams+(2021), Huang+(2022), Xie+(2024) 潜在クラス Shimizu+(2008) 𝑥2 𝑥1 𝑓1 Xie+(2024) 𝑝 𝒙 𝜽 = ෍ 𝑘=1 𝐾 𝑝(𝒙 𝝁𝑘 , 𝐁𝑘 𝑝(𝑐𝑙𝑎𝑠𝑠 = 𝑘) 𝒙 = 𝐁𝑘 𝒙 + 𝐈 − 𝐁𝑘 𝝁𝑘 + 𝒆𝑘

各種拡張(2) https://www.shimizulab.org/lingam/lingampapers 10 非線形で未観測共通原因がある場合 Maeda+(2021), Maeda+(2024) 𝑥𝑖 = ෍ 𝑗: 𝑥𝑖 の親 𝑓𝑖𝑗 (𝑥𝑗 ) + ෍ 𝑘: 𝑥𝑖 の親 𝑔𝑖𝑘 (𝑢𝑘 ) + 𝑒𝑖 𝑥4 𝑥1 𝑥2 𝑥3 向き・ 交絡の「存在」 が識別可能 非線形の場合 Hoyer+(2008), Zhang+(2009), Buhlmann+(2014) 𝑥𝑖 = 𝑓𝑖 ( 𝑥𝑖 の親) +𝑒𝑖 𝑥𝑖 = 𝑓𝑖,2 −1(𝑓𝑖,1 ( 𝑥𝑖 の親) +𝑒𝑖 ) 𝑥𝑖 = ෍ 𝑗: 𝑥𝑖 の親 𝑓𝑖𝑗 (𝑥𝑗 ) +𝑒𝑖 時系列の場合 Hyvarinen+(2008), Kikuchi+(2023), Maeda+(2024) 𝑥2 (𝑡 − 1) 𝑥1 (𝑡 − 1) 𝑥𝑖 (𝑡) = ෍ 𝑗,𝜏: 𝑥𝑖 の親 𝑓 𝑖𝑗 𝜏 (𝑥𝑗 𝑡 − 𝜏 ) + ෍ 𝑘, 𝜔: 𝑥𝑖 の親 𝑔 𝑖𝑘 𝜔 (𝑢𝑘 (𝑡 − 𝜔)) + 𝑒𝑖 (𝑡) 向き・ 交絡の「存在」 が識別可能 𝑥2 (𝑡) 𝑥1 (𝑡) 巡回の場合 Lacerda+(2008) 𝒙 = 𝐁𝒙 + 𝒆 Stabilityを仮定: 𝐁の固有値の絶対値 ≤ 1 𝑥4 𝑥1 𝑥2 𝑥3 𝑥2

発表の流れ 1. 因果探索 A) 因果グラフの識別性 B) 推定アルゴリズム C) パッケージと適用 2. 関連方法論への展開 3. まとめと今後の展望 11

DirectLiNGAMアルゴリズム (Shimizu et al., 2011) ◼LiNGAMモデルの推定アルゴリズム ◼因果的順序を上から下へ順に推定 • １番上を見つけて、残差を計算 • 残差もLiNGAMモデル: 因果関係は変わらない 12           +                     − =           2 1 3 2 1 3 2 1 3 0 3 . 1 0 0 0 5 . 1 0 0 0 e e e x x x x x x 0 0 0 0 0 0 0 0       +             − =       2 1 ) 3 ( 2 ) 3 ( 1 ) 3 ( 2 ) 3 ( 1 0 3 . 1 0 0 e e r r r r 0 0 ) 3 ( 2 r ) 3 ( 1 r 𝑥3 𝑥1 𝑥2 0

◼𝑥𝑗 は最初: どの変数の子にもならない ◼どの残差とも独立な変数が最初の変数 因果的順序が最初の変数の同定 13 定理: 「 は その残差 のどれとも独立 (𝑖は𝑗以外全部)」⟺ 「𝑥𝑗 は最初」 ( ) j j j i i j i x x x x x r ) var( ) cov( , − = j x 𝑥3 𝑥1 𝑥2 𝑥3 𝑥1 𝑥2

DirectLiNGAMと背景知識 ◼因果的順序に関する背景知識の利用も可能 ◼離散変数も含む因果探索 (Park et al., 2018; Wei et al., 2018; Zeng et al., 2022) 14 最終特性 条件1 条件10 中間特性1 中間特性100 … 中間特性82 中間特性8 中間特性66 中間特性66 中間特性16 … … … … 因果探索 条件や最終特性に離散変数があってもよい 条件に当たる変数間に未観測共通原因あっても可 経時データ対応 条件部も探索可の場合あり

変数グループ ◼背景知識 (Entner+12, Kikuchi+23) ◼DAG制約(Zheng+2020) に基づく連続最適化+分散不均一 (Kikuchi+23) ◼変数グループ未知 (Kawahara+10) 15

複数データセット (Ramsey et al. 2011, Shimizu, 2012) ◼複数の集団に対するモデル: • 共通の因果的順序：分布と係数は違ってもよい ◼類似性を利用して精度向上 • 「fMRI+脳」の模擬データで精度が大幅に向上 (Ramsey et al., 2011) ◼変数セットが同じでない複数データセット(Huang+2020) 16 ( ) c g e x b x g i i k j k g j g ij g i ,..., 1 ) ( ) ( ) ( ) ( ) ( ) ( = + =   𝑥3 𝑥1 𝑥2 4 -3 2 -0.5 5 集団1 集団2 𝑥3 𝑥1 𝑥2

発表の流れ 1. 因果探索 A) 因果グラフの識別性 B) 推定アルゴリズム C) パッケージと適用 2. 関連方法論への展開 3. まとめと今後の展望 17

ソフトウェア ◼LiNGAM Python package (Ikeuchi+2023) ◼Causal-learn (Zheng+2024): dowhyやEconMLと同じレポジトリ ◼Causalas (SCREEN AS) • プログラミング書かずに クリックで 18 Github: https://github.com/cdt15/lingam Github: https://github.com/py-why/causal-learn

事例集 https://www.shimizulab.org/lingam/lingampapers/applications-and-tailor-made-methods 19 疫学 経済学 OpInc.gr(t) Empl.gr(t) Sales.gr(t) R&D.gr(t) Empl.gr(t+1) Sales.gr(t+1) R&D(.grt+1) OpInc.gr(t+1) Empl.gr(t+2) Sales.gr(t+2) R&D.gr(t+2) OpInc.gr(t+2) Moneta+(2012) Rosenstrom+(2012) 神経科学 化学 Campomanes+(2014) Ogawa+(2022) 予防医学 Kotoku+(2020) 金融 Jiang and Shimizu (2023) Sleep problems Depression mood Sleep problems Depression mood ? or

統計的信頼性評価 (Komatsu+2010) ◼有向道や有向辺のブートストラップ確率 ◼例えば、閾値0.05を越えるものを解釈 20 x3 x1 … … x3 x1 x0 x3 x1 x2 x3 x1 99% 96% 総合効果: 20.9 10% https://lingam.readthedocs.io/en/latest/tutorial/bootstrap.html

発表の流れ 1. 因果探索 A) 因果グラフの識別性 B) 推定アルゴリズム C) パッケージと適用 2. 関連方法論への展開 3. まとめと今後の展望 21

AIの説明性・公平性 ◼機械学習予測の因果に基づく反事実的説明指標(Galhotra+2021) • 必要性、十分性、及びその両方の確率に基づいて計算（Pearl, 1999） • 例: 𝑁𝑒𝑆𝑢𝑓(𝑋) = 𝑃 𝑜′𝑋=𝑥’ , 𝑜𝑋=𝑥 ◼因果グラフをLiNGAMで推定 (Takahashi+2024): 既存研究資産のapplicability増 • 匿名化された14,018件の企業顧客の信用格付データで評価 • 背景知識: Credit ratingはsink ◼公平性(e.g., Kusner+17)へもおそらく同様 22

因果デジタルツイン ◼機械学習の環境変化への頑健化 (Dickerman+2022) • 治療開始時のデータを用いて5年後生存するかを予測 • 途中で治療方針が変わる (因果グラフの変更) • 因果モデルを変更して擬似データを生成して予測モデル構築 • 治療方針変更前のデータによる予測モデルは変化後データで良くない • 再度5年待たなく済む ◼因果探索から行う 23

大規模言語モデル (LLM) (Takayama+2024) ◼LLMによる領域知識抽出 統計的因果探索 24 リークのない (LLMが知らない) 健康診断データで評価

予測メカニズムの解析と制御応用へ (Blobaum+2017, Kiritoshi+2021) ◼説明変数X1の値を変えると機械学習モデルの予測 ෠ 𝑌はどう変わる？ • X1を変えればX2, X3, X4も変わる: X1だけ違う値を入力してもダメ ◼制御応用 25 予測モデル 予測メカニズムのモデル 因果モデル 𝑥𝑖 = 𝑓𝑖 (𝑥𝑖 の親, 𝑒𝑖 ) ො 𝑦 = 𝑓 (𝑥1 , 𝑥2 , 𝑥3 , 𝑥4 ) 𝑝(ො 𝑦|𝑑𝑜 𝑥𝑖 = 𝑐 ) 気筒数 排気量 重さ 馬力 加速度 燃費 燃費の予測値 燃費の予測 値の目標値 気筒数へ推奨 される介入 15 8 21 6 30 4 所望の値になるように 介入の設定値を逆算

発表の流れ 1. 因果探索 A) 因果グラフの識別性 B) 推定アルゴリズム C) パッケージと適用 2. 関連方法論への展開 3. まとめと今後の展望 26

まとめ ◼因果探索は因果グラフを推測 ◼研究資産のApplicability増 • 因果効果や原因の確率の推定 • 因果推論と関連方法論の接続 ◼科学・実務の発展に貢献 27 特長 統計的因果探索 土台 統計学・機械学習・統計的因果推論 ソフトウェア 科学応用 医学・農学・ 環境・金融・ 社会科学・ 生命科学・ 自動実験など 実務応用 製造・マーケ ティング・ EBPMなど AI 説明性・公平性 デジタルツイン LLM マルチモーダル その他関連方 法論 制御・力学系 可視化 量子コンピュー ティング 教育・リスキリング 博士(+社会人)・修士・学士 フィードバック