Upgrade to Pro — share decks privately, control downloads, hide ads and more …

What is LiNGAM?

What is LiNGAM?

Nakashima Takaya

July 29, 2021
Tweet

More Decks by Nakashima Takaya

Other Decks in Science

Transcript

  1. What is LiNGAM?
    長崎大学医学部6年
    中島 誉也
    1

    View full-size slide

  2. 参考資料
    • 統計的因果探索 (機械学習プロフェッショナルシリーズ) |本
    • 構造方程式モデルによる因果推論: 因果構造探索に関する最近の発展
    Qiita
    • LiNGAMモデルの識別可能性について
    • LiNGAMモデルの推定方法について
    • LiNGAM入門.気軽に因果関係を推定する(統計的因果探索)
    • ノイズがガウス分布だと因果的順序を特定できない理由
    • 統計的因果探索のLiNGAMを実装してみた
    2

    View full-size slide

  3. Table of contents
    1. LiNGAMとは
    2. 因果探索とは
    3. 線形な構造方程式モデルとは
    4. 因果が循環しないとは(因果グラフについて)
    5. 誤差項がNon Gaussianとは
    6. LiNGAMモデルの推定
    7. Take home message
    3

    View full-size slide

  4. Table of contents
    1. LiNGAMとは
    4

    View full-size slide

  5. LiNGAM → Linear Non-Gaussian Acyclic Model
    • Linear : 線形な
    • Non-Gaussian : ガウス分布に従わない
    • Acyclic Model : 循環しないモデル
    ???
    5

    View full-size slide

  6. LiNGAMは因果探索の代表的手法
    • 構造方程式モデルを前提において,因果探索を実施する
    • LiNGAMは,線形な(Linear)構造方程式を扱うモデルであり,
    その誤差変数は“ガウス分布に従うノイズ”ではなく(Non Gaussian),
    さらに,因果関係が循環することのない(Acyclic)構造である
    という前提のもとで因果探索を実施する.
    6

    View full-size slide













  7. 因果探索??
    誤差がNon Gaussian?
    因果が循環しない??
    7

    View full-size slide

  8. Table of contents
    2. 因果探索とは
    8

    View full-size slide

  9. 因果探索とは
    • 統計的因果推論の技術の1つ.
    • AとBの因果関係が未知の時に,観察データから
    因果に関する仮説を探索するための機械学習技術.
    • 統計的因果推論は,因果関係が既知の場合を対象にしている.
    9

    View full-size slide

  10. Q:因果探索における最大の困難は?
    A:疑似相関を考える必要がある
    例)
    チョコレートの消費量が多い国は,ノーベル賞の受賞者が多い.(相関関係)
    Q: チョコレートをたくさん食べさせるほど,受賞者が増える??(因果関係)
    A: 必ずしもそうとは言えない.
    相関関係と因果関係のギャップを疑似相関と呼ぶ.
    10

    View full-size slide

  11. 因果探索の目的 : データから因果関係を推測すること
    同じ相関を与えるような因果関係が複数存在する場合,
    相関係数の値だけ見ても正しい因果関係の推測はできない
    11

    View full-size slide

  12. Table of contents
    3. 線形な構造方程式モデルとは
    12

    View full-size slide

  13. 構造方程式モデルとは
    データ生成過程のモデル.
    変数の「値」の決定関係を表す.
    例)
    X(原因):薬を飲むかどうか(1:飲む,0:飲まない)
    Y(結果):病気にかかっているかどうか(1:かかっている,0:かかっていない)
    ex:Xの値を決めることに寄与する変数すべて
    ey:Yの値を決定するために寄与しうるX以外のすべての変数をまとめて表す誤差変数
    観測変数
    (内生変数)
    未観測変数
    (外生変数)
    𝒚 = 𝒇𝒚
    (𝒙, 𝒆𝒚
    )
    𝒙 = 𝒆𝒙
    LiNGAMは𝒇に線形の仮定を与えている
    13

    View full-size slide

  14. Table of contents
    4. 因果が循環しないとは(因果グラフについて)
    14

    View full-size slide

  15. 因果探索でやりたいこと
    観察データから因果に関する仮説を探索すること
    観察データから因果グラフを推定すること
    15
    構造方程式モデルが表す変数の値の決定関係を因果グラフを用いて表現する

    View full-size slide

  16. 因果グラフをどう描くか
    16
    • 現状:分析者が領域知識を元に描く
    • 因果探索:データから描く
    • これから:領域知識とデータを両方使って因果グラフを描く

    View full-size slide

  17. 1. 構造方程式の右辺にある各変数が,左辺の変数の値を
    計算するために必要な時,左辺の変数へ有向辺を描く
    2. モデル内の2つの変数の間に,未観測共通原因(潜在交絡変数)
    の存在が疑われる時に,その2つの変数に付随する誤差変数の
    間に両方向の有向円弧を描く
    17
    因果グラフの描き方のルール

    View full-size slide

  18. ルール1
    構造方程式の左辺の値を計算する
    ために必要かもしれない時
    X(薬)

    (病気)
    ex
    ey
    ルール2
    未観測共通原因が存在するかもしれない時
    X(薬)

    (病気)
    Z(重症度)
    18
    𝒚 = 𝒇𝒚
    (𝒙, 𝒆𝒚
    )
    𝒙 = 𝒆𝒙

    View full-size slide

  19. • いつでもランダム化できるとは限らない(倫理面,コスト面)
    • 観察データ(=ランダム化されていないデータ)に基づいて
    因果グラフを推定していく必要がある
    因果効果の推定には
    因果グラフに関する情報が必要
    19

    View full-size slide

  20. なぜ非巡回の仮定を置くのか?
    非巡回の仮定を置くことで,観測変数の生成順序(因果的順序)
    を決定することができるから!!
    20

    View full-size slide

  21. 小まとめ:因果探索の基本問題
    データ行列Xを用いて,
    データXを生成したのが,モデル1なのかモデル2なのかを同定したい
    21

    View full-size slide

  22. 𝒆𝟏,
    𝒆𝟐
    は,外生変数の確率分布に基づいて生成され,
    それぞれの値が,関数𝒇によって変換されて,内生変数x, yになる
    関数形と外生変数の分布は因果グラフの重要な構成要素
    • どんな関数で決まるのか(𝒇𝒙
    , 𝒇𝒚
    が線形か非線形か)
    • 外生変数はどんな分布に従うのか
    小まとめ:因果探索の基本問題
    22

    View full-size slide

  23. 統計的因果探索の主要な研究課題は,
    「関数形と外生変数の分布にどのような仮定が成り立てば,
    もとの因果グラフをどの程度推測できるのか」
    小まとめ:因果探索の基本問題
    23

    View full-size slide

  24. 基本問題への3つのアプローチ
    アプローチ 関数の仮定 外生変数の分布 識別可能性
    ノンパラメトリック ✕ ✕
    (非ガウス分布)
    △〜✕
    パラメトリック ○
    (線形性)

    (ガウス分布)
    △〜✕
    セミパラメトリック

    (線形性)

    (非ガウス分布)

    セミパラメトリックアプローチの代表モデルがLiNGAM 24
    条件付き独立性を利用
    (因果的マルコフ条件)

    View full-size slide

  25. 非ガウス性を仮定するLiNGAMアプローチには
    因果探索の基本問題を解ける(=識別可能性がある)という特徴がある
    非ガウス性の仮定が
    なぜ必要なんだ...
    25

    View full-size slide

  26. Table of contents
    5. 誤差項がNon Gaussianとは
    26

    View full-size slide

  27. なぜ誤差項にNon Gaussianの仮定を置くのか
    誤差項をガウス分布と仮定すると因果的順序を特定できないから
    =誤差項を⾮ガウス分布と仮定すると因果的順序を特定できる
    必要な知識
    • 無相関と独立の違い
    • ダルモア・スキットビッチの定理
    27

    View full-size slide

  28. 無相関と独立の関係性
    確率変数 X と Yが
    1:独立なら無相関
    2:無相関でも独立とは限らない
    3:(多次元)ガウス分布に従うとき独立 ⟺ 無相関
    高校数学の美しい物語 28

    View full-size slide

  29. 無相関と独立の違い
    確率変数X,Yが無相関とは
    定義: E[XY]=E[X] E[Y]
    性質1:共分散 Cov(X,Y) が 0 である
    性質2:相関係数が 0 である
    直感: X と Yの間に直線的な関係がない
    高校数学の美しい物語 29

    View full-size slide

  30. 確率変数X,Yが独⽴とは
    定義:
    任意のx, yに対して P(X=x,Y=y) = P(X=x)P(Y=y)が成立する
    (確率が二つの積に分解できる)
    直感:
    Xと Yの間には何の関係もない
    独立のほうが無相関より強い条件!!
    高校数学の美しい物語 30

    View full-size slide

  31. 3:(多次元)ガウス分布に従う時,独立 ⟺ 無相関の証明
    31

    View full-size slide

  32. 無相関と独立の違い
    ダルモア・スキットビッチの定理
    定理( Darmois-Skitovic )
    X1,⋯,XNを互いに独立な確率変数とし,Y1,Y2を以下のように定義する.
    このとき,もし Y1と Y2が独立ならば,すべての i で Xiはガウス分布にしたがう.
    対偶: Xiの分布が少なくとも1つでもガウス分布に従わなければ, Y1と Y2は独立にならない
    雑記: ダルモア・スキットビッチ定理の証明 32

    View full-size slide

  33. なぜ誤差項にNon Gaussianの仮定を置くのか
    やりたいこと:
    2つの観測変数の因果的順序を特定したい
    因果効果は線形で,非巡回であることを仮定
    外生変数の分散≠0,外生変数同士は独立とする
    独立性の仮定を置くことは,
    「潜在交絡変数がないこと」
    を意味する
    ノイズがガウス分布だと因果的順序を特定できない理由 33

    View full-size slide

  34. 34
    この矛盾を見つけることで因果的順序を決める

    View full-size slide

  35. どうやって観測変数の因果的順序を特定するか
    「説明変数と残差が無相関になるまで搾り取る」のが線形回帰
    線形回帰 説明変数が含むもの 残差が含むもの
    正しい因果の向き 説明変数の外生変数のみ 被説明変数の外生変数のみ
    間違った因果の向き どちらも含む どちらも含む
    このズレがあることを確認し,因果的順序を特定する
    35

    View full-size slide

  36. どうやって観測変数の因果的順序を特定するか
    まとめると…
    • 正しい因果の向きでは説明変数と残差が独立になる.
    • 間違った因果の向きでは説明変数と残差は独立にはならない.
    この違いを使って因果的順序を特定する!!
    しかし,(多次元)ガウス分布に従うとき独立 ⟺ 無相関であることから
    誤差変数がガウス分布だと因果的順序を特定できない.
    逆にガウス分布でなければ無相関にしても独立にはならないので
    ズレを捉えられる. 36

    View full-size slide

  37. ガウス分布でなければ因果的順序が特定できる仕組み
    var(e1),var(e2)≠0として,かつ b21≠0 を仮定
    つまり,x1が x2の原因になっている
    37

    View full-size slide

  38. 39
    対偶:
    Xiの分布が少なくとも1つでも
    ガウス分布に従わなければ,
    Y1と Y2は独立にならない

    View full-size slide

  39. LiNGAMの目的は,
    データ行列Xの情報のみを使って,パス係数行列Bを推定すること
    パス係数行列Bを一意に推定可能 = パス係数行列Bを識別可能である
    まとめ
    𝒙𝒊
    = ∑𝒌 𝒋 $𝒌(𝒊)
    𝒃𝒊𝒋
    𝒙𝒋
    + 𝒆𝒊
    OR 𝒙 = 𝑩𝒙 + 𝒆
    𝒌(𝒊): 𝒙𝒊
    の生成順序
    外生変数𝒆𝒊
    は分散≠0,非ガウス分布,互いに独立
    40

    View full-size slide

  40. Table of contents
    6. LiNGAMモデルの推定
    41

    View full-size slide

  41. ① 独立成分分析の手法を用いる(ICA-LiNGAM)
    ② 回帰分析と独立性の評価を繰り返す(Direct LiNGAM)
    今回は①独立成分分析の手法(ICA-LiNGAM)を紹介
    LiNGAMモデルの推定方法
    42

    View full-size slide

  42. 独立成分分析(Independent component analysis)とは
    • 主成分分析をさらに発展させた方法.
    • 未観測変数の値が混ざり合って,観測変数の値が生成されると考える
    43
    観測変数ベクトルxのデータ生成過程:
    𝒙𝒊
    = ∑𝒋#𝟏
    𝑷 𝒂𝒊𝒋
    𝒔𝒋
    OR 𝒙 = 𝑨𝒔
    𝒔𝒋
    は未観測変数(独立成分)で,分散≠0,非ガウス分布かつ独立,
    Aは正方行列で,混合行列と呼ぶ

    View full-size slide

  43. 独立成分分析(Independent component analysis)とは
    混合行列Aは列の順序と尺度を除いて識別可能
    混合行列Aは列の置換行列Pとスケーリング行列Dを除いて識別可能
    𝑨𝒊𝒄𝒂
    = 𝑨𝑷𝑫
    44

    View full-size slide

  44. 列の順序や尺度を一意に推定できない理由
    45
    混合行列Aの列の順序や尺度を変えても,
    その変更に合わせて独立成分ベクトルsの順序や尺度を変えれば,
    変えた後の混合行列や独立成分ベクトルも独立成分分析モデルの仮定を満たすから
    よくわからん…
    具体例が欲しい…

    View full-size slide

  45. 独立成分分析の手法
    48
    1.混合行列Aは正方行列であると仮定
    (観測変数の数と独立成分の数が同じと仮定)
    2.観測変数ベクトルxをp × pの行列Wで線形変換して作った
    ベクトル𝒚 = 𝑾𝒙を用いて独立成分ベクトルsを推定する
    この行列Wを復元行列と呼ぶ
    最終目標:データから混合行列Aを推定する
    𝒙 = 𝑨𝒔

    View full-size slide

  46. 独立成分分析の手法
    49
    復元行列が混合行列の逆行列と等しくなれば(𝑾 = 𝑨&𝟏),sが復元できる
    𝒔 = 𝑾𝒙(= 𝑨&𝟏𝑨𝒔 = 𝒔)
    3.Wを推定するために,ベクトルyの成分の独立性が最大になるようなWを探す
    ∵ベクトルyで推定しようとしている独立成分ベクトルsの成分は独立だから
    混合行列の逆行列となるような復元行列Wを推定する

    View full-size slide

  47. 独立性の評価指標
    50
    復元行列Wは行の順序を決める置換行列Pと行の尺度を決める対角行列Dを除いて識別可能
    𝑾𝒊𝒄𝒂 = 𝑷𝑫𝑾 𝑷𝑫𝑨&𝟏

    View full-size slide

  48. ICAモデルを用いたLiNGAMモデルの識別性
    51
    • LiNGAMモデルはICAモデルの特殊系
    • LiNGAMモデル:観測変数𝒙𝒊
    は,非ガウスかつ独立な外生変数𝑒%
    の線形結合から成る
    x1
    x2
    s1
    s2
    ICAモデル LiNGAMモデル
    x1
    x2
    e1
    e2
    𝒙 = 𝑨𝒔 𝒙 = 𝑩𝒙 + 𝒆

    View full-size slide

  49. ICAモデルを用いたLiNGAMモデルの識別性
    52
    STEP1:行列を用いて線形結合を表す
    STEP2:復元行列Wを求める
    STEP3:置換行列Pを定める
    STEP4:スケーリング行列Dを定める
    STEP5:係数を表示する行列Bを求める
    最終目標:係数を表示する行列Bを求めたい

    View full-size slide

  50. STEP1:行列を用いて線形結合を表す
    53
    観測変数𝒙𝒊
    は,非ガウスかつ独立な外生変数𝒆𝒊
    の線形結合から成る
    𝒙 = 𝑩𝒙 + 𝒆
    Bは係数行列でありp × pの正方行列
    因果グラフについて非巡回を仮定しているため,
    観測変数の順序を正しい順序で並び替えると
    係数行列Bは対角成分がすべて0となる下三角行列(厳密な下三角行列)

    View full-size slide

  51. STEP2:復元行列Wを求める
    54
    式変形すると,
    𝒙 = (𝑰 − 𝑩)&𝟏𝒆 = 𝑨𝒆
    ここで,誤差変数ベクトルeは独立で非ガウスであるからこの式はICAモデルとみなせる.
    行列Aの逆行列を復元行列Wとすると
    𝑾 = 𝑨&𝟏 = 𝑰 − 𝑩
    ICAによって求まる行列は本来のWから行の順序と尺度が異なる可能性のある行列となる.
    行の順序の置換行列Pと尺度を示す対角行列Dを用いて推定される復元行列𝑾𝒊𝒄𝒂

    𝑾𝒊𝒄𝒂
    = 𝑷𝑫𝑾 = 𝑷𝑫(𝑰 − 𝑩)

    View full-size slide

  52. STEP3:置換行列Pを定める
    55
    式変形すると,
    𝑷&𝟏𝑾𝒊𝒄𝒂
    = 𝑫 𝑰 − 𝑩
    ここで,非巡回性よりBの対角成分は0であるから 𝑰 − 𝑩 の対角成分は1
    さらに尺度関数Dの対角成分は0ではない.
    したがって,右辺の対角成分は0にならないから,
    左辺において, 𝑾𝒊𝒄𝒂
    は対角成分に0が来ないように𝑷&𝟏に置換される必要がある.
    よって,そのような置換行列を4
    5
    𝑷とすると以下のように推定される

    View full-size slide

  53. STEP4:スケーリング行列Dを定める
    56
    I−Bの対角成分は1なのでD(I−B)の対角成分は対角行列Dと同じ
    対角行列Dは/
    0
    𝑷1
    𝑾𝒊𝒄𝒂
    の対角成分と等しい
    よってDの推定行列は以下のようになる
    /
    0
    𝑷1
    𝑾𝒊𝒄𝒂
    = 𝑫 𝑰 − 𝑩

    View full-size slide

  54. STEP5:係数を表示する行列Bを求める
    57
    /
    0
    𝑷1
    𝑾𝒊𝒄𝒂
    = /
    𝑫 𝑰 − 𝑩 = /
    𝑫𝑾から,
    係数行列Bを推定行列は, 𝑰 − 𝑩 = 1
    𝑾より,

    View full-size slide

  55. Table of contents
    7. Take home message
    58

    View full-size slide

  56. Take home message
    • 因果探索の目的は観察データから因果グラフを推測すること
    • 様々な仮定を置くことで,識別可能となる
    • 描けない場合のデータの支援が今後の鍵
    • 未観測共通原因をどう扱っていくか
    • 医学研究への応用はほとんどされていない
    59

    View full-size slide