Towards Unifying Feature Attribution and Counterfactual Explanations 論文紹介 yusumi †Ramaravind Kommiya Mothilal †Divyat Mahajan †Chenhao Tan †Amit Sharma 

目次 1. 背景・目的 2. 提案手法 3. Attribution-based methods 4. Counterfactual-based methods 5. 実験・結果 6. まとめ 2 

3 背景・目的 

機械学習モデルの説明手法 大きく分けて 2 種類存在 4 ① Attribution-based ② Counterfactual-based 特徴量重要度から説明 反実仮想サンプルから説明 

機械学習モデルの説明手法 大きく分けて 2 種類存在 5 ① Attribution-based ② Counterfactual-based 特徴量重要度から説明 反実仮想サンプルから説明 これらの関係性を知りたい 

本論文のモチベーション 6 Attribution-based で得られた重要度の高い特徴量と Counterfactual-based で摂動すべき特徴量の関係を把握 審査否認 審査承認？ 期待出力 入力データ 反実仮想 Attribution-based を参考に特徴量を摂動 

7 提案手法 

理想的なモデル説明となる条件 8 必要条件 : 𝒙𝑗 の摂動は別の出力 y ≠ 𝑦∗となるために必要か？ 十分条件 : 𝒙𝑗 の摂動は別の出力 y ≠ 𝑦∗ となるために十分か？ このとき, 2 つの条件を定義 ある入力 𝒙 (𝒙𝑗 = 𝑎) とモデル 𝑓 ∙ に対して, 出力 𝑦 が y = 𝑓 𝒙𝑗 = 𝑎, 𝒙−𝑗 = 𝑦∗ となった 前提 

必要条件の定式化 特徴量 𝒙𝑗 = 𝑎 の 摂動で出力 y が変化する確率を定義 9 𝛼 = Pr 𝒙𝑗 ← 𝑎′ ⇒ 𝑦 ≠ 𝑦∗ | 𝒙𝑗 = 𝑎, 𝒙−𝑗 , 𝑦 = 𝑦∗ ◼ 確率 𝛼 が大きいほど, 特徴量 𝒙𝑗 の摂動は出力 𝑦 ≠ 𝑦∗となる ために必要 

CF を用いた確率 𝛼 の定式化 期待出力 𝑦 ≠ 𝑦∗ となる CF のうち, 特徴量 𝒙𝑗 = 𝑎 が 摂動した割合 ( CF : Counterfactual example ) 10 Necessity = σ𝑖,𝒙𝑗≠𝑎 𝑛 𝐼 𝒄𝑖 𝑛 Necessity が 1 に近いほど, 特徴量 𝒙𝑗 の摂動は 期待出力となるために必要 𝐼 𝒄𝑖 : 𝒄𝑖 が期待出力となれば 1 それ以外 0 𝑛 : 生成 CF 数 𝒄𝑖 : CF 例 

十分条件の定式化 特徴量 𝒙𝑗 = 𝑎 を固定して他の特徴量 𝒙−𝑗 を摂動させた時, 出力 y が変化しない確率を定義 11 𝛽 = Pr 𝑦 = 𝑦∗ | 𝒙𝑗 ← 𝑎 ◼ 確率 𝛽 が大きいほど, 特徴量 𝒙𝑗 = 𝑎 の摂動は出力 𝑦 ≠ 𝑦∗を 得るために十分 

CF を用いた十分条件の定式化 制約無しで得られた期待出力 y ≠ 𝑦∗ となる CF に対して, 制約有り (𝒙𝑗 = 𝑎 固定) で得られた期待出力 CF を差分 12 Sufficiency = σ𝑖 𝐼 𝒄𝑖 − σ𝑖,𝒙𝑗←𝑎 𝐼 𝒄𝑖 𝑛 Sufficiency が 1 に近いほど, 特徴量 𝒙𝑗 = 𝑎 の摂動は 期待出力となるために十分 

特徴量重要度と期待出力の関係 13 Attribution-based : 特徴量重要度を計算 重要度の高い上位の特徴量 𝒙𝑗 について 必要条件 : Necessity, 十分条件 : Sufficiency を計算 Necessity, Sufficiency が共に高ければ Attribution-based と Counterfactual-based の間に 因果関係あり 

14 Attribution-based methods 

Attribution-based methods ① LIME [Ribeiro et al. 2016] 複雑な機械学習モデルをより単純な 線形回帰モデルで近似した手法 ② SHAP [Lundberg et al. 2017] 協力ゲーム理論のシャープレイ値を 機械学習モデルに応用した手法 

LIME のアイデア 一つの予測結果に対して局所的に近似させた線形回帰モデル を作成し, その偏回帰係数の大きさから特徴量重要度を計算 16 𝜁 𝒙 = arg min 𝑔∈𝐺 𝐿 𝑓, 𝑔, 𝜋𝒙 + Ω 𝑔 モデル 𝑓 を単純な 線形回帰モデル 𝑔で近似 モデル 𝑔 の複雑さ 入力データ 𝒙 に対する 偏回帰係数の集合 𝐺 : 解釈可能なモデルの集合 𝜋𝒙 : 入力データ 𝒙 との距離 

SHAP のアイデア 1/6 「あるインスタンスに対する予測値」と 「平均的な予測値」との差分を特徴量毎の貢献度に分解 17 𝑓 𝒙𝑖 − 𝐸 𝑓 𝑿 = ෍ 𝑗=1 𝑃 𝜙𝑖,𝑗 𝑓 𝒙𝑖 = 𝜙0 + ෍ 𝑗=1 𝑃 𝜙𝑖,𝑗 あるインスタンス に対する予測値 平均的な予測値 (以後 𝜙0 と置く) 特徴量毎の貢献度 

SHAP のアイデア 2/6 Ex ) 年収予測 18 𝑓 𝒙𝑖 = 𝜙0 + 𝜙 𝑖,学歴 + 𝜙 𝑖,専門 + 𝜙 𝑖,役職 + 𝜙 𝑖,英語力 1000 万円 500 万円 +200 万円 +200 万円 +300 万円 -200 万円 0 500万 1000万 平均的な予測値 ( ベースライン ) 学歴 : 修士 職業 : データサイエンティスト 役職 : 課長 英語 : 話せない +500 万円 +200 万円 +200 万円 +300 万円 -200 万円 

SHAP のアイデア 3/6 | 𝜙𝑖,𝑗 をどう求める？ 協力ゲーム理論と Shapley 値 Ex ) アルバイトゲーム 19 A さん B さん C さん 参加者 報酬 A さん 6 B さん 4 C さん 2 A さん・B さん 20 A さん・C さん 15 B さん・C さん 10 A さん・B さん・C さん 24 

SHAP のアイデア 4/6 参加順を考慮した限界貢献度 20 参加順 A さんの限界貢献度 B さんの限界貢献度 C さんの限界貢献度 A さん → B さん → C さん 6 14 4 A さん → C さん → B さん 6 9 9 B さん → C さん → A さん 16 4 4 B さん → C さん → A さん 14 4 6 C さん → A さん → B さん 13 9 2 C さん → B さん → A さん 14 8 2 A さんの平均的な限界貢献度 = (6+6+16+14+13+14)/6 = 11.5 万円 B さんの平均的な限界貢献度 = (14+9+4+4+9+8)/6= 8 万円 C さんの平均的な限界貢献度 = (4+9+4+6+2+2)/6=4.5 万円 

SHAP のアイデア 5/6 | Shapley 値の数式表現 21 𝜙𝑗 = 1 𝐽 ! ෍ 𝑆⊆𝐽∖ 𝑗 𝑆 ! 𝐽 − 𝑆 − 1 ! 𝑣 𝑆 ∪ 𝑗 − 𝑣 𝑆 組合せ総数 組合せ出現回数 𝑆 にプレイヤー 𝑗 が参加したときの 限界貢献度 限界貢献度を全ての組合せで平均 𝐽 = 1, ⋯ , 𝐽 : プレイヤーの集合 𝑆 : プレイヤー 𝑗 を除いた冪集合の要素 𝑣 ∙ : 報酬を表す関数 

SHAP のアイデア 6/6 | 特徴量の平均貢献度 22 𝜙𝑗 = 1 𝐽 ! ෍ 𝑆⊆𝐽∖ 𝑗 𝑆 ! 𝐽 − 𝑆 − 1 ! 𝑣 𝑆 ∪ 𝑗 − 𝑣 𝑆 特徴量 𝑗 の値が分かっている時と 分かっていない時の予測値の差分 𝑆 ! 通り 𝑗 𝐽 − 𝑆 − 1 ! 通り 

23 Counterfactual-based methods 

Counterfactual-based methods 24 𝐶∗ 𝒙 = arg min 𝒄1,⋯,𝒄𝑛 1 𝑛 ෍ 𝑖=1 𝑛 yloss 𝑓 𝒄𝑖 , 𝑦 + 𝜆1 𝑛 ෍ 𝑖=1 𝑛 Dist 𝒄𝑖 , 𝒙 − 𝜆2 dpp_diversity 𝒄1 , ⋯ , 𝒄𝑛 𝐶 𝒙 = arg min 𝒄1,⋯,𝒄𝑛 1 𝑛 ෍ 𝑖=1 𝑛 yloss 𝑓 𝒄𝑖 , 𝑦 + 𝜆1 𝑛 ෍ 𝑖=1 𝑛 Dist 𝒄𝑖 , 𝒙 期待クラスとなる ように最適化 入力に近接する ように最適化 互いに遠ざかる ように最適化 ◼ WachterCF [Wachter et al. 2017] ◼ DiCE [Mothilal et al. 2020] 

CF の特徴量重要度スコア 期待出力となる生成 CF において, 摂動した数が多い特徴量ほど重要だと考える 25 WachterCFFA , DiCEFA = σ𝑖,𝒄𝑖,𝑗≠𝒙𝑗 𝑛 𝐼 𝒄𝑖 𝑛 𝑗 = 1,2, ⋯ , 𝑝 ( = 特徴量の個数 ) 

26 実験・結果 

データセット および ML モデル 27 データセット 説明 Adult-Income 1994年の個人年収が 50k$ 以上かどうか に関係する特徴量 LendingClub 融資会社 Lending Clubの 2007~2011 年に おけるローン特徴量 German-Credit ローン審査に関する様々な特徴量 ML モデル : XGBoost 

Necessityによる評価 28 Attribution-based で得られた重要度の高い特徴量を提案手法で評価 ◼ 横軸は評価に用いる重要度の高い 特徴量 ( 1 位~3 位, その他) ◼ 縦軸は Necessity * 100 重要度の高い特徴量は, 必ずしも 予測を変化させるのに必要な特徴量 とは限らない その他 ( rest ) で Necessity が高い傾向 

Sufficiency による評価 29 Attribution-based で得られた重要度の高い特徴量を提案手法で評価 ◼ 横軸は評価に用いる重要度の高い 特徴量 ( 1 位~3 位) ◼ 縦軸は Sufficiency * 100 重要度の高い特徴量は, 必ずしも 予測を変化させる十分な特徴量とは 限らない ほとんどの組合せで Sufficiency が低い傾向 

特徴量重要度スコアの比較 30 ※ 横軸は LIME で得られた重要な特徴量の順位 

特徴量重要度スコアの相関関係 31 

32 まとめ 

まとめ 提案手法 ◼ Attribution-based と Counterfactual-based の比較に着目 ◼ 因果関係を示す 2 つの条件 ( Necessity, Sufficiency ) の定義 ◼ CF の特徴量重要度スコアの定義 33 実験結果 ◼ Attribution-based と Counterfactual-based の間に明確な 因果関係は見られなかった ◼ LIMEやSHAPだと重要でない特徴量でも, CF 生成では重要な ことがあると判明 

参考文献 Kommiya Mothilal, R., Mahajan, D., Tan, C., & Sharma, A. (2021, July). Towards unifying feature attribution and counterfactual explanations: Different means to the same end. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society (pp. 652-663). Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). " Why should I trust you?" Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144). Lundberg, S. M., & Lee, S. I. (2017, December). A unified approach to interpreting model predictions. In Proceedings of the 31st international conference on neural information processing systems (pp. 4768-4777). 34 [ 提案手法 ] [ LIME ] [ SHAP ]