What is LiNGAM?

Transcript

1. What is LiNGAM？ 長崎大学医学部６年 中島 誉也 1
2. 参考資料 • 統計的因果探索 (機械学習プロフェッショナルシリーズ) |本 • 構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展 Qiita • LiNGAMモデルの識別可能性について • LiNGAMモデルの推定方法について • LiNGAM入門．気軽に因果関係を推定する(統計的因果探索) • ノイズがガウス分布だと因果的順序を特定できない理由 • 統計的因果探索のLiNGAMを実装してみた 2
3. Table of contents 1. LiNGAMとは 2. 因果探索とは 3. 線形な構造方程式モデルとは 4. 因果が循環しないとは(因果グラフについて) 5. 誤差項がNon Gaussianとは 6. LiNGAMモデルの推定 7. Take home message 3
4. Table of contents 1. LiNGAMとは 4
5. LiNGAM → Linear Non-Gaussian Acyclic Model • Linear : 線形な • Non-Gaussian : ガウス分布に従わない • Acyclic Model : 循環しないモデル ？？？ 5
6. LiNGAMは因果探索の代表的手法 • 構造方程式モデルを前提において，因果探索を実施する • LiNGAMは，線形な(Linear)構造方程式を扱うモデルであり， その誤差変数は“ガウス分布に従うノイズ”ではなく(Non Gaussian)， さらに，因果関係が循環することのない(Acyclic)構造である という前提のもとで因果探索を実施する． 6
7. 線 形 な 構 造 方 程 式 モ デ ル ？ 因果探索？？ 誤差がNon Gaussian？ 因果が循環しない？？ 7
8. Table of contents 2. 因果探索とは 8
9. 因果探索とは • 統計的因果推論の技術の１つ． • AとBの因果関係が未知の時に，観察データから 因果に関する仮説を探索するための機械学習技術． • 統計的因果推論は，因果関係が既知の場合を対象にしている． 9
10. Q：因果探索における最大の困難は？ A：疑似相関を考える必要がある 例) チョコレートの消費量が多い国は，ノーベル賞の受賞者が多い．（相関関係） Q: チョコレートをたくさん食べさせるほど，受賞者が増える？？（因果関係） A: 必ずしもそうとは言えない． 相関関係と因果関係のギャップを疑似相関と呼ぶ． 10
11. 因果探索の目的 ： データから因果関係を推測すること 同じ相関を与えるような因果関係が複数存在する場合， 相関係数の値だけ見ても正しい因果関係の推測はできない 11
12. Table of contents 3. 線形な構造方程式モデルとは 12
13. 構造方程式モデルとは データ生成過程のモデル． 変数の「値」の決定関係を表す． 例） X(原因)：薬を飲むかどうか（１：飲む，０：飲まない） Y(結果)：病気にかかっているかどうか（１：かかっている，０：かかっていない） ex：Xの値を決めることに寄与する変数すべて ey：Yの値を決定するために寄与しうるX以外のすべての変数をまとめて表す誤差変数 観測変数 （内生変数） 未観測変数 （外生変数） 𝒚 = 𝒇𝒚 (𝒙, 𝒆𝒚 ) 𝒙 = 𝒆𝒙 LiNGAMは𝒇に線形の仮定を与えている 13
14. Table of contents 4. 因果が循環しないとは(因果グラフについて) 14
15. 因果探索でやりたいこと 観察データから因果に関する仮説を探索すること 観察データから因果グラフを推定すること 15 構造方程式モデルが表す変数の値の決定関係を因果グラフを用いて表現する
16. 因果グラフをどう描くか 16 • 現状：分析者が領域知識を元に描く • 因果探索：データから描く • これから：領域知識とデータを両方使って因果グラフを描く
17. 1. 構造方程式の右辺にある各変数が，左辺の変数の値を 計算するために必要な時，左辺の変数へ有向辺を描く 2. モデル内の2つの変数の間に，未観測共通原因（潜在交絡変数） の存在が疑われる時に，その２つの変数に付随する誤差変数の 間に両方向の有向円弧を描く 17 因果グラフの描き方のルール
18. ルール１ 構造方程式の左辺の値を計算する ために必要かもしれない時 X（薬） Ｙ （病気） ex ey ルール２ 未観測共通原因が存在するかもしれない時 X（薬） Ｙ （病気） Z(重症度) 18 𝒚 = 𝒇𝒚 (𝒙, 𝒆𝒚 ) 𝒙 = 𝒆𝒙
19. • いつでもランダム化できるとは限らない（倫理面，コスト面） • 観察データ(＝ランダム化されていないデータ)に基づいて 因果グラフを推定していく必要がある 因果効果の推定には 因果グラフに関する情報が必要 19
20. なぜ非巡回の仮定を置くのか？ 非巡回の仮定を置くことで，観測変数の生成順序(因果的順序) を決定することができるから!! 20
21. 小まとめ：因果探索の基本問題 データ行列Xを用いて， データXを生成したのが，モデル１なのかモデル２なのかを同定したい 21
22. 𝒆𝟏, 𝒆𝟐 は，外生変数の確率分布に基づいて生成され， それぞれの値が，関数𝒇によって変換されて，内生変数x, yになる 関数形と外生変数の分布は因果グラフの重要な構成要素 • どんな関数で決まるのか（𝒇𝒙 , 𝒇𝒚 が線形か非線形か） • 外生変数はどんな分布に従うのか 小まとめ：因果探索の基本問題 22
23. 統計的因果探索の主要な研究課題は， 「関数形と外生変数の分布にどのような仮定が成り立てば， もとの因果グラフをどの程度推測できるのか」 小まとめ：因果探索の基本問題 23
24. 基本問題への３つのアプローチ アプローチ 関数の仮定 外生変数の分布 識別可能性 ノンパラメトリック ✕ ✕ （非ガウス分布） △〜✕ パラメトリック ◦ （線形性） ◦ （ガウス分布） △〜✕ セミパラメトリック ◦ （線形性） ✕ （非ガウス分布） ◦ セミパラメトリックアプローチの代表モデルがLiNGAM 24 条件付き独立性を利用 （因果的マルコフ条件）
25. 非ガウス性を仮定するLiNGAMアプローチには 因果探索の基本問題を解ける（＝識別可能性がある）という特徴がある 非ガウス性の仮定が なぜ必要なんだ．．． 25
26. Table of contents 5. 誤差項がNon Gaussianとは 26
27. なぜ誤差項にNon Gaussianの仮定を置くのか 誤差項をガウス分布と仮定すると因果的順序を特定できないから ＝誤差項を⾮ガウス分布と仮定すると因果的順序を特定できる 必要な知識 • 無相関と独立の違い • ダルモア・スキットビッチの定理 27
28. 無相関と独立の関係性 確率変数 X と Yが 1：独立なら無相関 2：無相関でも独立とは限らない 3：(多次元)ガウス分布に従うとき独立 ⟺ 無相関 高校数学の美しい物語 28
29. 無相関と独立の違い 確率変数X,Yが無相関とは 定義： E[XY]=E[X] E[Y] 性質１：共分散 Cov(X,Y) が 0 である 性質２：相関係数が 0 である 直感： X と Yの間に直線的な関係がない 高校数学の美しい物語 29
30. 確率変数X,Yが独⽴とは 定義： 任意のx, yに対して P(X=x,Y=y) = P(X=x)P(Y=y)が成立する （確率が二つの積に分解できる） 直感： Xと Yの間には何の関係もない 独立のほうが無相関より強い条件！！ 高校数学の美しい物語 30
31. 3：(多次元)ガウス分布に従う時,独立 ⟺ 無相関の証明 31
32. 無相関と独立の違い ダルモア・スキットビッチの定理 定理（ Darmois-Skitovic ） X1,⋯,XNを互いに独立な確率変数とし，Y1,Y2を以下のように定義する． このとき，もし Y1と Y2が独立ならば，すべての i で Xiはガウス分布にしたがう． 対偶： Xiの分布が少なくとも１つでもガウス分布に従わなければ， Y1と Y2は独立にならない 雑記： ダルモア・スキットビッチ定理の証明 32
33. なぜ誤差項にNon Gaussianの仮定を置くのか やりたいこと： 2つの観測変数の因果的順序を特定したい 因果効果は線形で，非巡回であることを仮定 外生変数の分散≠0，外生変数同士は独立とする 独立性の仮定を置くことは， 「潜在交絡変数がないこと」 を意味する ノイズがガウス分布だと因果的順序を特定できない理由 33
34. 34 この矛盾を見つけることで因果的順序を決める
35. どうやって観測変数の因果的順序を特定するか 「説明変数と残差が無相関になるまで搾り取る」のが線形回帰 線形回帰 説明変数が含むもの 残差が含むもの 正しい因果の向き 説明変数の外生変数のみ 被説明変数の外生変数のみ 間違った因果の向き どちらも含む どちらも含む このズレがあることを確認し，因果的順序を特定する 35
36. どうやって観測変数の因果的順序を特定するか まとめると… • 正しい因果の向きでは説明変数と残差が独立になる． • 間違った因果の向きでは説明変数と残差は独立にはならない． この違いを使って因果的順序を特定する！！ しかし，(多次元)ガウス分布に従うとき独立 ⟺ 無相関であることから 誤差変数がガウス分布だと因果的順序を特定できない． 逆にガウス分布でなければ無相関にしても独立にはならないので ズレを捉えられる． 36
37. ガウス分布でなければ因果的順序が特定できる仕組み var(e1)，var(e2)≠0として，かつ b21≠0 を仮定 つまり，x1が x2の原因になっている 37
39. 39 対偶： Xiの分布が少なくとも１つでも ガウス分布に従わなければ， Y1と Y2は独立にならない
40. LiNGAMの目的は， データ行列Xの情報のみを使って，パス係数行列Bを推定すること パス係数行列Bを一意に推定可能 ＝ パス係数行列Bを識別可能である まとめ 𝒙𝒊 = ∑𝒌 𝒋 $𝒌(𝒊) 𝒃𝒊𝒋 𝒙𝒋 + 𝒆𝒊 OR 𝒙 = 𝑩𝒙 + 𝒆 𝒌(𝒊)： 𝒙𝒊 の生成順序 外生変数𝒆𝒊 は分散≠0，非ガウス分布，互いに独立 40
41. Table of contents 6. LiNGAMモデルの推定 41
42. ① 独立成分分析の手法を用いる(ICA-LiNGAM) ② 回帰分析と独立性の評価を繰り返す(Direct LiNGAM) 今回は①独立成分分析の手法(ICA-LiNGAM)を紹介 LiNGAMモデルの推定方法 42
43. 独立成分分析(Independent component analysis)とは • 主成分分析をさらに発展させた方法． • 未観測変数の値が混ざり合って，観測変数の値が生成されると考える 43 観測変数ベクトルxのデータ生成過程： 𝒙𝒊 = ∑𝒋#𝟏 𝑷 𝒂𝒊𝒋 𝒔𝒋 OR 𝒙 = 𝑨𝒔 𝒔𝒋 は未観測変数(独立成分)で，分散≠0，非ガウス分布かつ独立， Aは正方行列で，混合行列と呼ぶ
44. 独立成分分析(Independent component analysis)とは 混合行列Aは列の順序と尺度を除いて識別可能 混合行列Aは列の置換行列Pとスケーリング行列Dを除いて識別可能 𝑨𝒊𝒄𝒂 = 𝑨𝑷𝑫 44
45. 列の順序や尺度を一意に推定できない理由 45 混合行列Aの列の順序や尺度を変えても， その変更に合わせて独立成分ベクトルsの順序や尺度を変えれば， 変えた後の混合行列や独立成分ベクトルも独立成分分析モデルの仮定を満たすから よくわからん… 具体例が欲しい…
48. 独立成分分析の手法 48 １．混合行列Aは正方行列であると仮定 （観測変数の数と独立成分の数が同じと仮定） ２．観測変数ベクトルxをp × pの行列Wで線形変換して作った ベクトル𝒚 = 𝑾𝒙を用いて独立成分ベクトルsを推定する この行列Wを復元行列と呼ぶ 最終目標：データから混合行列Aを推定する 𝒙 = 𝑨𝒔
49. 独立成分分析の手法 49 復元行列が混合行列の逆行列と等しくなれば（𝑾 = 𝑨&𝟏），sが復元できる 𝒔 = 𝑾𝒙(= 𝑨&𝟏𝑨𝒔 = 𝒔) ３．Wを推定するために，ベクトルyの成分の独立性が最大になるようなWを探す ∵ベクトルｙで推定しようとしている独立成分ベクトルｓの成分は独立だから 混合行列の逆行列となるような復元行列Wを推定する
50. 独立性の評価指標 50 復元行列Wは行の順序を決める置換行列Pと行の尺度を決める対角行列Dを除いて識別可能 𝑾𝒊𝒄𝒂 = 𝑷𝑫𝑾 𝑷𝑫𝑨&𝟏
51. ICAモデルを用いたLiNGAMモデルの識別性 51 • LiNGAMモデルはICAモデルの特殊系 • LiNGAMモデル：観測変数𝒙𝒊 は，非ガウスかつ独立な外生変数𝑒% の線形結合から成る x1 x2 s1 s2 ICAモデル LiNGAMモデル x1 x2 e1 e2 𝒙 = 𝑨𝒔 𝒙 = 𝑩𝒙 + 𝒆
52. ICAモデルを用いたLiNGAMモデルの識別性 52 STEP1：行列を用いて線形結合を表す STEP2：復元行列Wを求める STEP3：置換行列Pを定める STEP4：スケーリング行列Dを定める STEP5：係数を表示する行列Bを求める 最終目標：係数を表示する行列Bを求めたい
53. STEP1：行列を用いて線形結合を表す 53 観測変数𝒙𝒊 は，非ガウスかつ独立な外生変数𝒆𝒊 の線形結合から成る 𝒙 = 𝑩𝒙 + 𝒆 Bは係数行列でありp × pの正方行列 因果グラフについて非巡回を仮定しているため, 観測変数の順序を正しい順序で並び替えると 係数行列Bは対角成分がすべて0となる下三角行列(厳密な下三角行列)
54. STEP2：復元行列Wを求める 54 式変形すると, 𝒙 = (𝑰 − 𝑩)&𝟏𝒆 = 𝑨𝒆 ここで，誤差変数ベクトルeは独立で非ガウスであるからこの式はICAモデルとみなせる． 行列Aの逆行列を復元行列Wとすると 𝑾 = 𝑨&𝟏 = 𝑰 − 𝑩 ICAによって求まる行列は本来のWから行の順序と尺度が異なる可能性のある行列となる． 行の順序の置換行列Pと尺度を示す対角行列Dを用いて推定される復元行列𝑾𝒊𝒄𝒂 は 𝑾𝒊𝒄𝒂 = 𝑷𝑫𝑾 = 𝑷𝑫(𝑰 − 𝑩)
55. STEP3：置換行列Pを定める 55 式変形すると， 𝑷&𝟏𝑾𝒊𝒄𝒂 = 𝑫 𝑰 − 𝑩 ここで，非巡回性よりBの対角成分は０であるから 𝑰 − 𝑩 の対角成分は１ さらに尺度関数Dの対角成分は０ではない． したがって，右辺の対角成分は０にならないから， 左辺において， 𝑾𝒊𝒄𝒂 は対角成分に０が来ないように𝑷&𝟏に置換される必要がある． よって，そのような置換行列を4 5 𝑷とすると以下のように推定される
56. STEP4：スケーリング行列Dを定める 56 I−Bの対角成分は1なのでD(I−B)の対角成分は対角行列Dと同じ 対角行列Dは/ 0 𝑷1 𝑾𝒊𝒄𝒂 の対角成分と等しい よってDの推定行列は以下のようになる / 0 𝑷1 𝑾𝒊𝒄𝒂 = 𝑫 𝑰 − 𝑩
57. STEP5：係数を表示する行列Bを求める 57 / 0 𝑷1 𝑾𝒊𝒄𝒂 = / 𝑫 𝑰 − 𝑩 = / 𝑫𝑾から， 係数行列Bを推定行列は， 𝑰 − 𝑩 = 1 𝑾より，
58. Table of contents 7. Take home message 58
59. Take home message • 因果探索の目的は観察データから因果グラフを推測すること • 様々な仮定を置くことで，識別可能となる • 描けない場合のデータの支援が今後の鍵 • 未観測共通原因をどう扱っていくか • 医学研究への応用はほとんどされていない 59