PCアルゴリズムによるベイジアンネットワーク

PCアルゴリズムによるベイジアンネットワーク ~Pythonによる因果分析7.5~

前提 - 本スライドは「小川(2021)『Pythonによる因果分析』マイナビ出版」の7.5章の輪読会の資料であり、7.4章以前の内容を前提として説明している場合があります - 輪読テキストの概要（著者のQiita記事） https://qiita.com/sugulu_Ogawa_ISID/items/2cffb239b44853b07f70 - 参照コード（著者のGithub）
https://github.com/YutaroOgawa/causal_book

アジェンダ - 前回の復習 - PCアルゴリズムによる因果探索

前回の復習（7.1~7.4章）

ベイジアンネットワークとは因果ダイアグラムのノード間の関係性を条件付き確率を用いて表現テキストで登場する3種類のグラフ表現 PDAG 繋がりのあるノードのうち一部だけ向きのあるグラフ DAG ノード間の関係を表す向きのある（非循環な）グラフスケルトン
ノード間の繋がりはあるが向きはないグラフ変数x 1 変数x 2 変数x 3 変数x 1 変数x 2 変数x 3 変数x 1 変数x 2 変数x 3 ※基本的には因果の向きが分かっているものがベイジアンネットワークによる分析の対象です

ネットワークの評価指標データに対するネットワークの当てはまりの良さを示す - AIC: Akaike Information Criterion - BIC: Bayesian
Information Criterion - MDL符号: Minumum Description Length - BDe: Bayesian Dirichlet Equivalent など、様々な指標が存在（テキストではベイジアンスコアと表現）

独立性のカイ二乗検定変数間の独立性の検定カイ二乗検定によって、条件付き独立性を検定観測されたデータの度数分布 x 2 =1 x 2 =2
x 1 =1 n 11 n 12 x 1 =2 n 21 n 22 独立の場合に期待される度数分布 x 2 =1 x 2 =2 x 1 =1 E 11 E 12 x 1 =2 E 21 E 22 カイ二乗統計量: χ2 = Σ i Σ j (n ij - E ij )2 / E ij , ここで E ij = n i × n j / N

ベイジアンネットワークの探索手法の分類大きく3つの分類 1. スコアリングによる構造学習 2. 条件付き独立性検定による構造学習 3. 1と2のハイブリットテキストでは(2)の探索手法の1つ「PCアルゴリズム」を紹介

PCアルゴリズムによる因果探索

分析テーマの設定大まかな流れ 1. 社内の上司向けに部下とのキャリア面談のポイント研修を実施 2. 上司は任意で研修に参加する 3. 後日、上司は研修への参加有無を問わず、部下とキャリア面談を実施 4. キャリア面談後、部下のキャリア面談の満足度を調査
5. 研修にどれほどの効果があったかを推定する

分析テーマの補足上司の部下育成への熱心さが交絡因子となる - 部下育成への熱心さが高い → 研修に参加しやすい - 部下育成への熱心さが高い → 部下の面談の満足度が高くなりやすい
面談の満足度以外にも、部下当人の要素との関係性も考える - 部下当人のチームメンバーへの満足度 - 部下当人の仕事への満足度 - 部下当人の仕事のパフォーマンス

分析テーマの視覚的な理解先述した各要素の関係性は下図の通りと考える上司が研修を受講: Z 部下の面談の満足度: Y 部下当人のチームメンバーへの満足度: Y2 上司の部下育成の
熱心さ: x 部下当人の仕事への満足度: Y3 部下当人の仕事のパフォーマンス: Y4

各変数（疑似データ）の生成ロジックデータの準備 ※1: noiseは各々標準正規分布N(0, 1)に従う ※2: tは効果の大きさを表し、上司の部下育成への熱心さxに依存する実装コードは下記リンク（著者Github）を参照: https://github.com/YutaroOgawa/causal_book/blob/master/7_5_bayesian_network_pc_algorithm.ipynb 部下育成への熱心さ:
x 一様分布(-1, 1)に従う出力値を5段階に離散化したもの研修の受講: Z 5x + 5noise の値に基づいて確率的に1or0に決定 (※1) キャリア面談の満足度: Y 2 + tZ + 0.3x + 0.2noise を5段階に離散化したもの (※2) チームメンバーへの満足度: Y 2 5段階評価で確率的に決定仕事への満足度: Y 3 4Y + Y 2 + noise の値を5段階に離散化したもの (※1) 仕事のパフォーマンス: Y 4 3Y 3 + 5 + 2noise の値を5段階に離散化したもの (※1)

データの出力データのhead()はこんな感じ

PCアルゴリズムによる因果探索の流れ 1. 条件付き独立性検定による構造学習 2. オリエンテーションルールによる方向づけ 3. ベイジアンネットワークでの推論

1. 条件付き独立性検定による構造学習 2. オリエンテーションルールによる方向づけ 3. ベイジアンネットワークでの推論 ※本テキストでは、構造の推定（1と2）に関する記述がメインで推論のアルゴリズムについてはあまり触れていません → 推論アルゴリズムについては、テキスト内では槙野(2013)を紹介されています
が、私はこちらの記事を参考にさせていただきました。 https://ermongroup.github.io/cs228-notes/inference/ve/ PCアルゴリズムによる因果探索の流れ

条件付き独立性検定による構造学習関連の有無を確かめる n次の独立性を検定 1次の独立性 2つの変数間にとある変数 1個を条件付けた際の独立性 0次の独立性 2つの変数間にとある変数 0個を条件付けた際の独立性 2次の独立性
2つの変数間にとある変数 2個を条件付けた際の独立性変数x 1 変数x 2 変数x 1 変数x 2 変数X 3 =x 3 変数x 1 変数x 2 変数X 3 =x 3 変数X 4 =x 4 検定検定検定 ※次数nが関連のある変数の数を超えるまで検定を実施

0次の独立性検定 pgmpyパッケージを用いて、各変数間の独立性を検定 x Z Y Y 2 Y 3 Y
4 x 関連関連独立関連関連 Z 関連独立関連関連 Y 独立関連関連 Y 2 関連関連 Y 3 関連 Y 4 x Y 4 Y 3 Z Y Y 2 ※検定の実装は、著者のGithub（下記リンク）を参照してください（以後も同様） https://github.com/YutaroOgawa/causal_book/blob/master/7_5_bayesian_network_pc_algorithm.ipynb

(Y 2 , Y 3 | Y 4 )と(Y 2
, Y 4 | Y 3 )の独立性の検定→(Y 2 , Y 4 | Y 3 )が独立 1次の独立性検定（Y 2 と関連のあるペアの例） x Y 4 Y 3 Z Y Y 2 x Y 4 Y 3 Z Y Y 2 破線部のY 2 とY 4 のエッジを消去検定

各ノードに対して、条件付き独立のノードを消去した結果は下図 1次の独立性検定（結果） x Y 4 Y 3 Z Y Y
2 x Y 4 Y 3 Z Y Y 2 検定

2次の独立性検定（結果）各ノードに対して、条件付き独立のノードを消去した結果は下図 x Y 4 Y 3 Z Y Y
2 x Y 4 Y 3 Z Y Y 2 検定

オリエンテーションルールによる方向づけ(1-1) v字構造に対するオリエンテーションルール (A, C | B)が独立と判定されないのはパターン1のみ A C B B
B B B A A A A C C C C パターン1 パターン2 パターン3 パターン4

オリエンテーションルールによる方向づけ(1-2) x Y 4 Y 3 Z Y Y 2
構築したスケルトンのv字構造にオリエンテーションルールを適応 4つのv字構造 xーYーY 3 ZーYーY 3 YーY 3 ーY 2 Y 2 ーY 3 ーY 4 独立性の検定を実施 Y x Y 3 Z Y Y 3 Y Y 3 Y 2 Y 4 Y 3 Y 2

検定した結果、(Y, Y 2 | Y 3 )が独立ではなく方向が決定 x Y 4 Y 3 Z Y Y 2 検定

3種類のオリエンテーションルール v字構造以外にもオリエンテーションルールがある（らしい）オリエンテーションルールによる方向づけ(2-1) A C B B A C A
A C D B B B B A C A D C C

構築したスケルトンのv字構造にオリエンテーションルールを適応 x Y 4 Y 3 Z Y Y 2 破線部は因果の向きは分からない

オリエンテーションルールで決まらない因果の向き時間的順序を考慮して、無難な方向性を当てはめる x Y 4 Y 3 Z Y Y
2 x Y 4 Y 3 Z Y Y 2 常識的に因果の向きを決定部下の面談の満足度キャリア面談研修への参加上司の部下育成への熱心さ

想定していた構造想定していた構造を思い出してみる（スライド12を参照） Z Y Y2 x Y3 Y4 x Y
4 Y 3 Z Y Y 2 書き換え

想定していた構造との比較完全に一致 x Y 4 Y 3 Z Y Y
2 x Y 4 Y 3 Z Y Y 2 想定していた構造アルゴリズムで導出した構造

ベイジアンネットワークによる推論本テキストでは、変数消去アルゴリズムによって推論変数消去アルゴリズム（VE: Variables Elimination）上記2つのオペレーションを繰り返すアルゴリズム（計算量の問題は要検討） product operation P(X, Y)
= P(X|Y)P(Y) marginalization operation τ(x) = Σ y φ(x, y) 周辺事前確率のVE CPT（条件付き確率分布表）に基づく周辺事後確率のVE エビデンスeが所与もしくは

ベイジアンネットワークによる推論推論例 (Z, Y 3 )の観測値 - Z: 上司の研修参加有無（1 or
0） - Y 3 : 部下の仕事への満足度（5段階）未観測変数がある値をとる確率 - x: 部下のキャリア面談の満足度（5 段階）インプットアウトプット推論 (Z, Y 3 ) = (0, 3) (P(x=1), P(x=2), P(x=3), P(x=4), P(x=5)) = (0.287, 0.222, 0.215, 0.157, 0.119) 本テキストでは、変数消去アルゴリズムによって推論

Appendix

独立性検定の組み合わせと結果 1次の独立性を考えるため、0次の独立性の結果を再掲 x Z Y Y 2 Y 3 Y
4 x 関連関連独立関連関連 Z 関連独立関連関連 Y 独立関連関連 Y 2 関連関連 Y 3 関連 Y 4 x Y 4 Y 3 Z Y Y 2

1次の独立性検定の組み合わせ（変数x）変数xについては、 Z, Y, Y 3 , Y 4 の4変数と関連
確認する独立性は (x, Z|Y), (x, Z|Y 3 ), (x, Z|Y 4 ), (x, Y|Z), (x, Y|Y 3 ), (x, Y|Y 4 ), (x, Y 3 |Z), (x, Y 3 |Y), (x, Y 3 |Y 4 ), (x, Y 4 |Z), (x, Y 4 |Y), (x, Y 4 |Y 3 ) の12通り x Y 4 Y 3 Z Y Y 2

1次の独立性検定の結果（変数x）検定の結果、(x, Y 3 |Y), (x, Y 4 |Y), (x,
Y 4 |Y 3 )が独立 x Y 4 Y 3 Z Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

1次の独立性の組み合わせ（変数Z）変数Zについては、 x, Y, Y 3 , Y 4 の4変数と関連
確認する独立性は (Z, x|Y), (Z, x|Y 3 ), (Z, x|Y 4 ), (Z, Y|x), (Z, Y|Y 3 ), (Z, Y|Y 4 ), (Z, Y 3 |x), (Z, Y 3 |Y), (Z, Y 3 |Y 4 ), (Z, Y 4 |x), (Z, Y 4 |Y), (x, Y 4 |Y 3 ) の12通り x Y 4 Y 3 Z Y Y 2

1次の独立性検定の結果（変数Z）検定の結果、(Z, Y 3 |x), (Z, Y 4 |Y)が独立 x
Y 4 Y 3 Z Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

1次の独立性の組み合わせ（変数Y 2 ）変数Y 2 については、 Y 3 , Y
4 の2変数と関連確認する独立性は (Y 2 , Y 3 | Y 4 ), (Y 2 , Y 4 | Y 3 ) の12通り x Y 4 Y 3 Z Y Y 2

1次の独立性検定の結果（変数Y 2 ）検定の結果、(Y 2 , Y 4 | Y
3 )が独立 x Y 4 Y 3 Z Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

1次の独立性の組み合わせ（変数Y 3 ）変数Y 3 については、 Y, Y 2 ,
Y 4 の3変数と関連確認する独立性は (Y 3 , Y| Y 2 ), (Y 3 , Y| Y 4 ), (Y 3 , Y 2 | Y), (Y 3 , Y 2 | Y 4 ), (Y 3 , Y 4 | Y), (Y 3 , Y 4 | Y 2 ) の6通り x Y 4 Y 3 Z Y Y 2

1次の独立性検定の結果（変数Y 3 ）検定の結果、独立なものなし x Y 4 Y 3 Z
Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

2次の独立性検定の結果（変数Y）検定の結果、(Y, Y 4 |x, Y 3 ), (Y, Y
4 |Z, Y 3 )が独立 x Y 4 Y 3 Z Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

変数Y 3 については、 Y, Y 2 , Y 4 の3変数と関連
確認する独立性は (Y 3 , Y|Y 2 , Y 4 ) の1通り 2次の独立性の組み合わせ（変数Y 3 ） x Y 4 Y 3 Z Y Y 2

2次の独立性検定の結果（変数Y 3 ）検定の結果、独立なものなし x Y 4 Y 3 Z
Y Y 2 x Y 4 Y 3 Z Y Y 2 検定

- Pearl(2019)「入門統計的因果推論」朝倉書店 - Pearl(2022)「因果推論の科学」文藝春秋 - 岩波データサイエンスVol.3(2016)「[特集]因果推論-実世界のデータから因果を読む」岩波新書 - 小川(2021)「Pythonによる因果分析」マイナビ出版 -
久保川(2017)「現代数理統計学の基礎」共立出版参考文献（テキスト）

- Hayashi takehiko「”因果推論駅”の奥の方を探訪しながら考える」 https://speakerdeck.com/takehikoihayashi/wai-de-nidofalseyounaxi-gariwochi-tuteirufalseka - krsk「”矢印”をつかって因果関係を視覚的に整理する: 因果ダイアグラム(DAG)入門①」 https://www.krsk-phs.com/entry/DAG1 - krsk「”矢印”をつかって因果関係を視覚的に整理する:
因果ダイアグラム(DAG)入門②」 https://www.krsk-phs.com/entry/DAG2 - YutaroOgawa「Pythonによる因果推論と因果探索（初心者の方向け）」 https://qiita.com/sugulu_Ogawa_ISID/items/2cffb239b44853b07f70 - YutaroOgawa「YutaroOgawa/causal_book - 因果推論・因果探索の実践入門」 https://github.com/YutaroOgawa/causal_book - YutaroOgawa「7.5 PCアルゴリズムによるベイジアンネットワーク探索の実装」 https://github.com/YutaroOgawa/causal_book/blob/master/7_5_bayesian_network_pc_algorithm.ipynb - Volodymyr Kuleshov and Stefano Ermon「Variable Elimination」 https://ermongroup.github.io/cs228-notes/inference/ve/ 参考文献（Web: すべて 2023年2月1日時点）

宣伝高橋(2022)「統計的因果推論の理論と実装」の勉強会を開催しています！ Rubin流（潜在的結果変数の枠組み）の因果推論について ”易しく”かつ”しっかり”学習できるテキストですので、興味のある方はぜひご参加ください！初回の勉強会資料はこちら: https://speakerdeck.com/s1ok69oo/tong-ji-de-yin-guo-tui-lun-noli-l un-toshi-zhuang-qian-zai-de-jie-guo-bian-shu-nowaku-zu-mi

ご清聴ありがとうございました！

PCアルゴリズムによるベイジアンネットワーク

PCアルゴリズムによるベイジアンネットワーク

More Decks by うとしん

Other Decks in Science

Featured

Transcript