【論文紹介】Towards Unifying Feature Attribution and Counterfactual Explanations

説明可能なAI (eXplainable AI, XAI) の研究において, 事後的な説明手法と反実仮想による説明手法で得られた別々の特徴量重要度スコアの一致度を比較した研究.

In a study of eXplainable AI (XAI), researcher compared the agreement of separate feature importance scores obtained by a posteriori and counterfactual explanatory methods.

Transcript

1. Towards Unifying Feature Attribution and Counterfactual Explanations 論文紹介 yusumi †Ramaravind Kommiya Mothilal †Divyat Mahajan †Chenhao Tan †Amit Sharma
2. 目次 1. 背景・目的 2. 提案手法 3. Attribution-based methods 4. Counterfactual-based methods 5. 実験・結果 6. まとめ 2
3. 3 背景・目的
4. 機械学習モデルの説明手法 大きく分けて 2 種類存在 4 ① Attribution-based ② Counterfactual-based 特徴量重要度から説明 反実仮想サンプルから説明
5. 機械学習モデルの説明手法 大きく分けて 2 種類存在 5 ① Attribution-based ② Counterfactual-based 特徴量重要度から説明 反実仮想サンプルから説明 これらの関係性を知りたい
6. 本論文のモチベーション 6 Attribution-based で得られた重要度の高い特徴量と Counterfactual-based で摂動すべき特徴量の関係を把握 審査否認 審査承認？ 期待出力 入力データ 反実仮想 Attribution-based を参考に特徴量を摂動
7. 7 提案手法
8. 理想的なモデル説明となる条件 8 必要条件 : 𝒙𝑗 の摂動は別の出力 y ≠ 𝑦∗となるために必要か？ 十分条件 : 𝒙𝑗 の摂動は別の出力 y ≠ 𝑦∗ となるために十分か？ このとき, 2 つの条件を定義 ある入力 𝒙 (𝒙𝑗 = 𝑎) とモデル 𝑓 ∙ に対して, 出力 𝑦 が y = 𝑓 𝒙𝑗 = 𝑎, 𝒙−𝑗 = 𝑦∗ となった 前提
9. 必要条件の定式化 特徴量 𝒙𝑗 = 𝑎 の 摂動で出力 y が変化する確率を定義 9 𝛼 = Pr 𝒙𝑗 ← 𝑎′ ⇒ 𝑦 ≠ 𝑦∗ | 𝒙𝑗 = 𝑎, 𝒙−𝑗 , 𝑦 = 𝑦∗ ◼ 確率 𝛼 が大きいほど, 特徴量 𝒙𝑗 の摂動は出力 𝑦 ≠ 𝑦∗となる ために必要
10. CF を用いた確率 𝛼 の定式化 期待出力 𝑦 ≠ 𝑦∗ となる CF のうち, 特徴量 𝒙𝑗 = 𝑎 が 摂動した割合 ( CF : Counterfactual example ) 10 Necessity = σ𝑖,𝒙𝑗≠𝑎 𝑛 𝐼 𝒄𝑖 𝑛 Necessity が 1 に近いほど, 特徴量 𝒙𝑗 の摂動は 期待出力となるために必要 𝐼 𝒄𝑖 : 𝒄𝑖 が期待出力となれば 1 それ以外 0 𝑛 : 生成 CF 数 𝒄𝑖 : CF 例
11. 十分条件の定式化 特徴量 𝒙𝑗 = 𝑎 を固定して他の特徴量 𝒙−𝑗 を摂動させた時, 出力 y が変化しない確率を定義 11 𝛽 = Pr 𝑦 = 𝑦∗ | 𝒙𝑗 ← 𝑎 ◼ 確率 𝛽 が大きいほど, 特徴量 𝒙𝑗 = 𝑎 の摂動は出力 𝑦 ≠ 𝑦∗を 得るために十分
12. CF を用いた十分条件の定式化 制約無しで得られた期待出力 y ≠ 𝑦∗ となる CF に対して, 制約有り (𝒙𝑗 = 𝑎 固定) で得られた期待出力 CF を差分 12 Sufficiency = σ𝑖 𝐼 𝒄𝑖 − σ𝑖,𝒙𝑗←𝑎 𝐼 𝒄𝑖 𝑛 Sufficiency が 1 に近いほど, 特徴量 𝒙𝑗 = 𝑎 の摂動は 期待出力となるために十分
13. 特徴量重要度と期待出力の関係 13 Attribution-based : 特徴量重要度を計算 重要度の高い上位の特徴量 𝒙𝑗 について 必要条件 : Necessity, 十分条件 : Sufficiency を計算 Necessity, Sufficiency が共に高ければ Attribution-based と Counterfactual-based の間に 因果関係あり
14. 14 Attribution-based methods
15. Attribution-based methods ① LIME [Ribeiro et al. 2016] 複雑な機械学習モデルをより単純な 線形回帰モデルで近似した手法 ② SHAP [Lundberg et al. 2017] 協力ゲーム理論のシャープレイ値を 機械学習モデルに応用した手法
16. LIME のアイデア 一つの予測結果に対して局所的に近似させた線形回帰モデル を作成し, その偏回帰係数の大きさから特徴量重要度を計算 16 𝜁 𝒙 = arg min 𝑔∈𝐺 𝐿 𝑓, 𝑔, 𝜋𝒙 + Ω 𝑔 モデル 𝑓 を単純な 線形回帰モデル 𝑔で近似 モデル 𝑔 の複雑さ 入力データ 𝒙 に対する 偏回帰係数の集合 𝐺 : 解釈可能なモデルの集合 𝜋𝒙 : 入力データ 𝒙 との距離
17. SHAP のアイデア 1/6 「あるインスタンスに対する予測値」と 「平均的な予測値」との差分を特徴量毎の貢献度に分解 17 𝑓 𝒙𝑖 − 𝐸 𝑓 𝑿 = ෍ 𝑗=1 𝑃 𝜙𝑖,𝑗 𝑓 𝒙𝑖 = 𝜙0 + ෍ 𝑗=1 𝑃 𝜙𝑖,𝑗 あるインスタンス に対する予測値 平均的な予測値 (以後 𝜙0 と置く) 特徴量毎の貢献度
18. SHAP のアイデア 2/6 Ex ) 年収予測 18 𝑓 𝒙𝑖 = 𝜙0 + 𝜙 𝑖,学歴 + 𝜙 𝑖,専門 + 𝜙 𝑖,役職 + 𝜙 𝑖,英語力 1000 万円 500 万円 +200 万円 +200 万円 +300 万円 -200 万円 0 500万 1000万 平均的な予測値 ( ベースライン ) 学歴 : 修士 職業 : データサイエンティスト 役職 : 課長 英語 : 話せない +500 万円 +200 万円 +200 万円 +300 万円 -200 万円
19. SHAP のアイデア 3/6 | 𝜙𝑖,𝑗 をどう求める？ 協力ゲーム理論と Shapley 値 Ex ) アルバイトゲーム 19 A さん B さん C さん 参加者 報酬 A さん 6 B さん 4 C さん 2 A さん・B さん 20 A さん・C さん 15 B さん・C さん 10 A さん・B さん・C さん 24
20. SHAP のアイデア 4/6 参加順を考慮した限界貢献度 20 参加順 A さんの限界貢献度 B さんの限界貢献度 C さんの限界貢献度 A さん → B さん → C さん 6 14 4 A さん → C さん → B さん 6 9 9 B さん → C さん → A さん 16 4 4 B さん → C さん → A さん 14 4 6 C さん → A さん → B さん 13 9 2 C さん → B さん → A さん 14 8 2 A さんの平均的な限界貢献度 = (6+6+16+14+13+14)/6 = 11.5 万円 B さんの平均的な限界貢献度 = (14+9+4+4+9+8)/6= 8 万円 C さんの平均的な限界貢献度 = (4+9+4+6+2+2)/6=4.5 万円
21. SHAP のアイデア 5/6 | Shapley 値の数式表現 21 𝜙𝑗 = 1 𝐽 ! ෍ 𝑆⊆𝐽∖ 𝑗 𝑆 ! 𝐽 − 𝑆 − 1 ! 𝑣 𝑆 ∪ 𝑗 − 𝑣 𝑆 組合せ総数 組合せ出現回数 𝑆 にプレイヤー 𝑗 が参加したときの 限界貢献度 限界貢献度を全ての組合せで平均 𝐽 = 1, ⋯ , 𝐽 : プレイヤーの集合 𝑆 : プレイヤー 𝑗 を除いた冪集合の要素 𝑣 ∙ : 報酬を表す関数
22. SHAP のアイデア 6/6 | 特徴量の平均貢献度 22 𝜙𝑗 = 1 𝐽 ! ෍ 𝑆⊆𝐽∖ 𝑗 𝑆 ! 𝐽 − 𝑆 − 1 ! 𝑣 𝑆 ∪ 𝑗 − 𝑣 𝑆 特徴量 𝑗 の値が分かっている時と 分かっていない時の予測値の差分 𝑆 ! 通り 𝑗 𝐽 − 𝑆 − 1 ! 通り
23. 23 Counterfactual-based methods
24. Counterfactual-based methods 24 𝐶∗ 𝒙 = arg min 𝒄1,⋯,𝒄𝑛 1 𝑛 ෍ 𝑖=1 𝑛 yloss 𝑓 𝒄𝑖 , 𝑦 + 𝜆1 𝑛 ෍ 𝑖=1 𝑛 Dist 𝒄𝑖 , 𝒙 − 𝜆2 dpp_diversity 𝒄1 , ⋯ , 𝒄𝑛 𝐶 𝒙 = arg min 𝒄1,⋯,𝒄𝑛 1 𝑛 ෍ 𝑖=1 𝑛 yloss 𝑓 𝒄𝑖 , 𝑦 + 𝜆1 𝑛 ෍ 𝑖=1 𝑛 Dist 𝒄𝑖 , 𝒙 期待クラスとなる ように最適化 入力に近接する ように最適化 互いに遠ざかる ように最適化 ◼ WachterCF [Wachter et al. 2017] ◼ DiCE [Mothilal et al. 2020]
25. CF の特徴量重要度スコア 期待出力となる生成 CF において, 摂動した数が多い特徴量ほど重要だと考える 25 WachterCFFA , DiCEFA = σ𝑖,𝒄𝑖,𝑗≠𝒙𝑗 𝑛 𝐼 𝒄𝑖 𝑛 𝑗 = 1,2, ⋯ , 𝑝 ( = 特徴量の個数 )
26. 26 実験・結果
27. データセット および ML モデル 27 データセット 説明 Adult-Income 1994年の個人年収が 50k$ 以上かどうか に関係する特徴量 LendingClub 融資会社 Lending Clubの 2007~2011 年に おけるローン特徴量 German-Credit ローン審査に関する様々な特徴量 ML モデル : XGBoost
28. Necessityによる評価 28 Attribution-based で得られた重要度の高い特徴量を提案手法で評価 ◼ 横軸は評価に用いる重要度の高い 特徴量 ( 1 位~3 位, その他) ◼ 縦軸は Necessity * 100 重要度の高い特徴量は, 必ずしも 予測を変化させるのに必要な特徴量 とは限らない その他 ( rest ) で Necessity が高い傾向
29. Sufficiency による評価 29 Attribution-based で得られた重要度の高い特徴量を提案手法で評価 ◼ 横軸は評価に用いる重要度の高い 特徴量 ( 1 位~3 位) ◼ 縦軸は Sufficiency * 100 重要度の高い特徴量は, 必ずしも 予測を変化させる十分な特徴量とは 限らない ほとんどの組合せで Sufficiency が低い傾向
30. 特徴量重要度スコアの比較 30 ※ 横軸は LIME で得られた重要な特徴量の順位
31. 特徴量重要度スコアの相関関係 31
32. 32 まとめ
33. まとめ 提案手法 ◼ Attribution-based と Counterfactual-based の比較に着目 ◼ 因果関係を示す 2 つの条件 ( Necessity, Sufficiency ) の定義 ◼ CF の特徴量重要度スコアの定義 33 実験結果 ◼ Attribution-based と Counterfactual-based の間に明確な 因果関係は見られなかった ◼ LIMEやSHAPだと重要でない特徴量でも, CF 生成では重要な ことがあると判明
34. 参考文献 Kommiya Mothilal, R., Mahajan, D., Tan, C., & Sharma, A. (2021, July). Towards unifying feature attribution and counterfactual explanations: Different means to the same end. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society (pp. 652-663). Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). " Why should I trust you?" Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144). Lundberg, S. M., & Lee, S. I. (2017, December). A unified approach to interpreting model predictions. In Proceedings of the 31st international conference on neural information processing systems (pp. 4768-4777). 34 [ 提案手法 ] [ LIME ] [ SHAP ]