因果探索という道具

一般社団法人データサイエンティスト協会 7thシンポジウム , オンライン

Transcript

1. 因果探索という道具 清水昌平 滋賀大学データサイエンス学系 理化学研究所革新知能統合研究センター
2. 統計的因果推論 • データから因果関係を推測 • 介入するとどうなるか？ – チョコ消費量を変えると ノーベル賞受賞者の数は変わるのか – どのくらい増えるのか(減るのか) 2 Messerli, (2012), New England Journal of Medicine ! " # $ 賞 受 賞 者 ( 数 相関係数: 0.79 チョコレート消費量
3. 通常の(?) 因果推論 1. 推定するものを決める: 介入効果 2. 背景知識を用いて因果構造を表すグラフを描く 3. どの変数(共通原因)で調整すべきかを理論から導く 4. (もしあれば) その変数を観測し調整に使い推定 3 チョコ 賞 GDP 賞 チョコ = 多い) = 調整に使う変数 [ 賞 チョコ = 多い, 調整に使う変数)] 賞 チョコ = 多い) − 賞 (チョコ = 少ない))
4. 因果探索 • 因果構造を表すグラフ: 因果グラフ • データから描く • 背景知識とデータを両方使って因果グラフを描く 4 チョコ 賞 ? チョコ 賞 or GDP GDP チョコ 賞 or GDP チョコ 賞 GDP
5. 5 因果推論の7つ道具 ツール7. 因果探索
6. データから探索するためには仮定が必要 • いろいろな仮定ごとにいろいろな探索法 • 基本設定 – すべての共通原因が観測されている – グラフが非巡回 – 構造は未知 • 候補の中からデータと矛盾しないグラフを見つける 6 チョコ 賞 ? チョコ 賞 or GDP GDP チョコ 賞 or GDP
7. 関数形と分布の仮定 • 式で描くと • 構造方程式 • 関数! , " , # に仮定を入れるか • 誤差の分布(! ), (" ), (# )に仮定を入れるか 7 !: チョコ ": 賞 # : GDP 賞 = (チョコ, GDP, 誤差) ) = ) (* , + , ) )
8. 応用例 8 疫学 経済学 Sleep problems Depression mood Sleep problems Depression mood ? or OpInc.gr(t) Empl.gr(t) Sales.gr(t) R&D.gr(t) Empl.gr(t+1) Sales.gr(t+1) R&D(.grt+1) OpInc.gr(t+1) Empl.gr(t+2) Sales.gr(t+2) R&D.gr(t+2) OpInc.gr(t+2) (Moneta et al., 2012) (Rosenstrom et al., 2012) 神経科学 化学 (Campomanes et al., 2014) (Boukrina & Graves, 2013)
9. 「別の」応用: 予測モデルを解析 (Blobaum & Shimizu, 2017) • 介入して説明変数X1の値を変えると予測/ はどう変わる？ – X1を変えればX2, X3, X4も変わる – X1だけ違う値を入力してもダメ 9 ! " " # $ ! " # $ 予測モデル " 予測メカニズムのモデル ! " # $ 因果モデル ! = !(! の親, !) 0 = (", #, $, %) (0 | ! = )
10. 関数形や分布には仮定をおかないアプローチ 1. 因果グラフに仮定をおく – 非巡回 – 未観測の共通原因なし(すべて観測されている) 2. 仮定を満たす構造の中で、データと(最も)つじつまの合うグラフを選ぶ 10 x y x y x y 「データでxとyが独立」なら、一番右の(c)を選ぶ (a)と(b)の区別がつかない(一意に決まらない): 同値類 3つの候補 (a) (b) (c)
11. 同じ条件付き独立性を与える 因果グラフの集合: 同値類 • 非巡回有向グラフ • 有向辺の有無は共通 • V字合流は共通 11 x3 x1 x2 x3 x1 x2 x3 x1 x2 x3 x2 x1 V字合流 x2とx3は独立 しかし， x1で条件づける と従属
12. 拡張など • 巡回グラフを含めた同値類 (Richardson96UAI) • 未観測共通原因を含めた同値類 (Spirtes+95UAI) • 介入効果の範囲 – M.H. Maathuis, M. Kalisch, and P. Bühlmann. Annals of Statistics, 2009 – D. Malinsky and P. Spirtes, International J. Approximate Reasoning, 2017 12 x y ｆ w z x y w z x y ｆ1 w z ｆ2 F. Eberhardt CRM Workshop 2016より
13. 関数形や分布にも仮定を入れてみる • 条件付き独立性だけでなく分布の違いを利用 • 線形性＋非ガウス分布 • 向きをデータから調べることができる: 識別可能 13 x1 x2 x1 x2 観測変数x1,x2の 分布が違う (条件付き独⽴性に違いはない) e1 e2 e1 e2
14. 誤差変数! の非ガウス性と独立性が どう役立つか？ 14 2 1 21 2 1 1 e x b x e x + = = x1 x2 e1 e2 正しいモデル 結果x2を原因x1に回帰 原因x1を結果x2に回帰 2 1 21 2 1 1 1 2 2 ) 1 ( 2 ) var( ) , cov( e x b x x x x x x r = - = - = は独立 と ) 1 ( 2 1 1 ) ( r e x = 残差 ( ) ) var( var ) var( ) , cov( 1 ) var( ) , cov( 2 1 21 1 2 2 1 21 2 2 2 1 1 ) 2 ( 1 x x b e x x x b x x x x x r - þ ý ü î í ì - = - = は と ) 2 ( 1 2 1 21 2 ) ( r e e b x + = 2 e 従属 0 21 ¹ b ガウスだと 無相関＝独立
15. 関数形に制約を⼊れたモデル • 連続変数 – 線形＋⾮ガウス誤差 (Shimizu+06JMLR) • $ = ∑ %$ の親 $& & + $ – ⾮線形モデル (Hoyer+08NIPS, Zhang+09UAI, Peters+14JMLR) • $ = $($ の親) + $ • $ = $ '!($ ($ の親) + $ ) • 離散変数と連続変数が混在 • ロジスティック＋線形非ガウス • 2変数の場合の識別性 (Wenjuan et al., IJCAI2018) • 数値実験 (Li & Shimizu, 2018) 15
16. 未観測共通原因あり (Maeda & Shimizu, 2020) • 未観測共通原因のありそうな変数ペア • 未観測共通原因がない変数ペアの因果の向き 16 # ! ! " Underlying model Output ( # ! " ( #
17. i i j j ij Q q q iq i e x b f x + + = å å ¹ =1 l 未観測共通原因があっても向きを推定 (Hoyer+08IJAR, Salehkaleybar+20JMLR) • 未観測共通原因$を追加 (非ガウス) 17 ただし は独⽴(WLG) ) , , 1 ( Q q f q ! = x1 x2 2 e 1 e 1 f 2 f • 推定 • 最尤推定 (Hoyer+08IJAR) • ベイズ推定 (Henao+10JMLR; Shimizu+14JMLR)
18. 因果グラフに関する背景知識の利用 • 因果グラフの妥当性の検証 – “一番上(下)”の変数が“一番上(下)”にくるか • 背景情報+データから因果グラフを推測 – 製造業 • 製造条件 • その中間の特性 • 最終的な特性: 不良率など – 農業やマーケティングなどでも • 実験・調査の効率化 18 最終特性 条件1 条件10 中間特性1 中間特性100 … 中間特性82 中間特性8 中間特性66 中間特性66 中間特性16 … … … … 因果探索
19. Python toolbox https://github.com/cdt15/lingam 19 • ICA-based LiNGAM algorithm • DirectLiNGAM • AR-LiNGAM and VARMA-LiNGAM • LiNGAM for multiple datasets • (Bottomup-)ParceLiNGAM • ANM (beta version) Planning to implement more JNQPSU
    MJOHBN GSPN
    HSBQIWJ[
    JNQPSU
    %JHSBQI OQTFU@QSJOUPQUJPOT QSFDJTJPO
    TVQQSFTT5SVF TFFE
    
     FQT
    
    F σʔλΛ࡞੒ EFG
    NBLF@HSBQI EBH 
    
    
    
    E
    
    %JHSBQI FOHJOFEPU
    
    
    
    JG
    DPFG
    JO
    EBH
    
    
    
    
    
    
    
    GPS
    GSPN@
    UP
    DPFG
    JO
    [JQ EBH<GSPN>
    EBH<UP>
    EBH<DPFG> 
    
    
    
    
    
    
    
    
    
    
    
    EFEHF GY\GSPN@^
    GY\UP^
    MBCFMG\DPFGG^
    
    
    
    FMTF
    
    
    
    
    
    
    
    GPS
    GSPN@
    UP
    JO
    [JQ EBH<GSPN>
    EBH<UP> 
    
    
    
    
    
    
    
    
    
    
    
    EFEHF GY\GSPN@^
    GY\UP^
    MBCFM
    
    
    
    SFUVSO
    E x3 x0 3.00 x2 6.00 x5 4.00 x4 8.00 x1 3.00 1.00 2.00 EBH
    
    \
    
    
    
    GSPN
    <
    
    
    
    
    
    >
    
    
    
    UP
    <
    
    
    
    
    
    >
    
    
    
    DPFG
    <
    
    
    
    
    
    > ^ NBLF@HSBQI EBH ブートストラップ確率 因果グラフ
20. おわりに • 因果探索は因果仮説を探索 – どんな状況でどの変数がどの変数に どのくらいの介入効果をもつのか • 今後 – 背景知識とデータを組み合わせて因果グラフを推測 – 柔軟に仮定を選べるように • 改善点、例えば – 離散と連続の混在、未観測共通原因、推定精度の改善、 欠測値への対応、ソフトウェア、適用事例などなど 20
22. 時系列: 時間情報あり • SVAR: 構造型自己回帰モデル (Swanson & Granger, 1997) – 非ガウス独立 (Hyvarinen et al., 2010, JMLR) • 「間」を復元 (Gong et al., ICML15) ) ( ) ( ) ( 0 t t t k e x B x + - = å = t t t 22 Moneta+12, Oxford Bulletin of Economics and Statistics (t) (t) 
    (t) R&D(t) (t+1) 
    (t+1) R&D(t+1) (t+1) (t+2) 
    (t+2) R&D(t+2) (t+2) Growth rate = log( x(t) ) – log ( x(t-1) ) 
23. 巡回モデル (Lacerda et al., 2008; Hyvarinen & Smith, 2013) • ループありのモデル: • 識別性の十分条件 – Bの固有値の絶対値が１より小さい(平衡状態にある) – ループが交わらない – 自己ループなし x1 x2 e1 e2 x5 e5 x4 e4 x3 e3 23 i i j j ij i e x b x + = å ¹