SHAPで因果関係を説明できる？

2023年6月19日に社内で発表したLT資料です．
SHAPでありがちなミスリーディングや，特徴量が予測に与える影響（因果効果）を推定できるケースについて紹介しました．

資料内で出てくるリンクは以下です（参照日: 2023年6月13日）
https://arxiv.org/abs/2011.01625
https://christophm.github.io/interpretable-ml-book/shapley.html
https://christophm.github.io/interpretable-ml-book/shap.html
https://econml.azurewebsites.net/
https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191
https://shap.readthedocs.io/en/latest/example_notebooks/overviews/Be%20careful%20when%20interpreting%20predictive%20models%20in%20search%20of%20causal%C2%A0insights.html
https://towardsdatascience.com/be-careful-when-interpreting-predictive-models-in-search-of-causal-insights-e68626e664b6
https://www.pywhy.org/dowhy/v0.9.1/
https://zenn.dev/s1ok69oo/articles/4da9e3b01a0a93

Transcript

1. SHAPで因果関係を 説明できる？
2. アジェンダ - イントロ - 結論 - 因果関係を説明できる特徴量 - 余談 - まとめ
3. イントロ
4. 今回お話する内容は，私が以前執筆したQiita記事を元に作成してい ます > ぜひ，Qiitaも読んでください！（清き「1いいね」待ってます笑） > 記事のリンク: https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191 宣伝
5. みなさんこんな経験ありませんか？ クライアントからの依頼 hogehogeを予測するモデルを作って欲し い できれば，どの要因（特徴量）がモデルに影 響を与えているかも知りたい クライアント
6. みなさんこんな経験ありませんか？ 分析官の脳内 機械学習モデルだ と解釈が難しい... 解釈しやすい統計 モデルだと予測精 度がネック... SHAPを利用して 機械学習モデルを 解釈しよう！ 分析官 分析官
7. みなさんこんな経験ありませんか？ 成果物を納品 モデルはfugafuga で，予測精度は... SHAP値を見る限 り，モデルに影響す る要因は... ありがとうござい ます 納品 分析官 クライアント
8. クライアントの反応 みなさんこんな経験ありませんか？ SHAP値の大小っ て，因果関係の大小 ですよね？ え... 因果関係と言って いいんだっけ...？ クライアント 分析官
9. 結論
10. 結論 基本的にSHAPでは因果関係を説明することはできません！ SHAP値 因果効果
11. 問題設定 サブスク購入者が商品のサブスク購入を更新するかどうかを予測す るモデルを考える > Pythonでデータを生成し，シミュレーション > 問題設定は下記のURLのものを引用しています https://shap.readthedocs.io/en/latest/example_notebooks/overviews/Be%20careful%2 0when%20interpreting%20predictive%20models%20in%20search%20of%20causal%C2 %A0insights.html
12. 観測できるデータと観測できないデータ（交絡）がある 特徴量（観測可） 概要 Sales calls 訪問販売の回数 Interactions 交流回数 Economy 居住地域の経済状況 Last upgrade 最終更新日 Discount 割引額 Monthly usage 月の利用度合い Ad spend 広告費用 Bugs reported バグの報告回数 問題設定 特徴量（観測不可） 概要 Product need プロダクトのニーズ Bugs faced バグの遭遇回数 今回のシミュレーションではデータの生成過程 が既知なので，未観測（という設定）ながらサ ブスクの継続に影響があることは分かっている 目的変数 概要 Did renew サブスク更新の有無
13. 問題設定 データ生成過程のDAG グレー塗「サブスクを継続す るかどうか」を表す目的変数 実線: 観測できる特徴量 波線: 観測できない特徴量
14. ありがちなミスリーディング XGBoostで予測モデルを作成し，SHAP値の棒グラフを描画 棒グラフの長さが予測モ デルへの影響度（絶対 値）を表している Discount（割引額）の影 響度が大きい 割引額が大きいほどサブ スク更新されやすい？ 一見，妥当そう...
15. ありがちなミスリーディング DiscountとSHAP値の散布図を描画 Discount（割引額）に対して右肩下が りで，Discountが低い時はSHAP値は 正の値，Discountが高い時はSHAP値 は負の値をとっている 割引額が低いほどサブスクの更新確率 が高く，割引額が高いほどサブスクの 更新確率が低いと予測される...！？ 直感的に反する...
16. ありがちなミスリーディング データの生成過程にヒント 実はProduct needが低いユー ザーに対して，購買意欲を掻き 立てるために割引額を大きく していた Product needが低いユーザー は，そもそも購買意欲（サブス クの更新確率）が低い 割引額とサブスクの更新確率 の間に擬似相関が発生 これがミスリーディングの要因 Product needという交絡の存在
17. 結論（再掲） 基本的にSHAPでは因果関係を説明することはできません！ SHAP値 因果効果
18. 因果関係を説明できる特徴量
19. 因果関係を説明できる特徴量 今回は2つのケースを紹介 - 予測モデルで因果関係を説明できるケース - 観察データから因果関係を説明できるケース
20. 因果関係を説明できる特徴量 今回は2つのケースを紹介 - 予測モデルで因果関係を説明できるケース - 観察データから因果関係を説明できるケース
21. 予測モデルで因果関係を説明できるケース 特徴量に強い無視可能性があるケース モデル内の他の特徴量や未観 測の変数と相関していない > SHAP値で因果関係を説明できる！
22. 予測モデルで因果関係を説明できるケース SHAP値をそのまま因果効果として解釈できる！！ SHAP値をそのまま 因果効果として解釈できる
23. 予測モデルで因果関係を説明できるケース EconomyとSHAP値の散布図および本当の因果効果を描画 青のプロット > EconomyとSHAP値の散布図 をプロットしたもの 黒の実線 > データ生成過程に基づく本当 の因果効果 SHAP値で本当の因果効果を 概ね表現できている！
24. 因果関係を説明できる特徴量 今回は2つのケースを紹介 - 予測モデルで因果関係を説明できるケース - 観察データから因果関係を説明できるケース
25. 観察データから因果関係を説明できるケース 交絡がすべて観察されているケース 青塗りの特徴量 > 因果効果を説明したい特徴 量（Ad spend） オレンジ塗りの特徴量 > 交絡（Last upgrade, Montly usage）
26. 観察データから因果関係を説明できるケース SHAP値をそのまま因果関係と捉えてはイケナイ！！ SHAP値をそのまま 因果効果してはイケナイ！ > 交絡の影響を受けている (Last upgrade, Monthly usage)
27. 観察データから因果関係を説明できるケース 適切な因果推論手法を用いることで因果効果の推定が可能 青の実線 > DMLによる因果効果の推定 結果 黒の実線 > データ生成過程に基づく本当 の因果効果 概ねよく推定できている DMLという推定手法を利用
28. 因果関係を説明できる特徴量（まとめ） 今回は2つのケースを紹介 - 予測モデルで因果関係を説明できるケース > 強い無視可能性が成り立つ > SHAP値を因果効果として解釈 - 観察データから因果関係を説明できるケース > 交絡がすべて観察されている > 因果推論手法を用いて因果効果を推定
29. 余談
30. 目的（予測タスクor因果タスク）による 予測タスクの例 サブスク更新の有無を予測する精度を 高めて，将来の収益を推定し，財務計 画の意思決定に繋げたい > SHAP値が高い特徴量を知ることで 予測精度に向上に役立てることが可能 （SHAP値は有用） SHAP値は無意味？ 因果タスクの例 できるだけ多くのユーザーのサブスク 更新確率を上げるようなアクションの 意思決定に繋げたい > 基本的にはSHAP値をそのまま因果 関係と解釈することはできない （SHAP値の有用ではない）
31. おすすめPythonパッケージ1: DoWhy Microsoft社がリリースした「反事実モデルに基づいて因果関係を 考える」因果推論用のPythonライブラリ 反事実のイメージ 広告を見たAさんが「もしそのとき広告を見ていなかったら」という状態を考える 売上に違いがあるか 広告を見た（事実） 広告を見ていない（反事実）
32. おすすめPythonパッケージ2: EconML Microsoft社がリリースした「計量経済学×機械学習」のアプロー チで処置効果を推定するためのPythonライブラリ 「計量経済学×機械学習」アプローチの利点 効果の異質性(HTE)を捉えることが可能→よりよいネクストアクションに繋がる 「20代・女性」のセグメントに 広告を配信すると効果的 大 ← 広告効果 → 小 20代・女性 50代・男性
33. CSV: Causal Shapley Values Pearlのdo-calculusを応用して計算する”因果的な”Shapley values CSVのココがすごい(1) 特徴量間の独立性を必要としない > 既存のShapley valuesは特徴量間の 独立性が満たされていない場合，先ほ ど説明した（Discountの例）ような ミスリーディングに繋がることがある CSVのココがすごい(2) すべての因果効果を直接効果と間接効 果に分けて算出できる 特徴量1 特徴量2 目的変数 直接効果 間接効果
34. まとめ
35. まとめ - 基本的にSHAPで因果関係は説明できない > SHAP値をそのまま因果効果として解釈すると，交絡や未観測要因の 影響によりミスリーディングが生じてしまう - 条件を満たす特徴量については因果効果を説明できる > 強い無視可能性を満たす特徴量: SHAP値 > 交絡をすべて観察されている特徴量: 適切な因果推論手法
36. Appendix
37. 2023年6月13日時点に参照したものです． - https://christophm.github.io/interpretable-ml-book/shapley.html - https://christophm.github.io/interpretable-ml-book/shap.html - https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191 - https://shap.readthedocs.io/en/latest/example_notebooks/overviews/Be%20caref ul%20when%20interpreting%20predictive%20models%20in%20search%20of%20c ausal%C2%A0insights.html - https://towardsdatascience.com/be-careful-when-interpreting-predictive-models-i n-search-of-causal-insights-e68626e664b6 - https://zenn.dev/s1ok69oo/articles/4da9e3b01a0a93 参考文献
38. 2023年6月13日時点に参照したものです． - https://arxiv.org/abs/2011.01625 - https://econml.azurewebsites.net/ - https://www.pywhy.org/dowhy/v0.9.1/ 参考文献（余談）