XAI勉強会 第三回

AcademiX が開催した 第3回 XAI勉強会　資料
トピック：非線形モデルの説明可能性
日時：2023/08/13
参考図書：実践XAI［説明可能なAI］ 機械学習の予測を説明するためのPythonコーディング

Transcript

1. XAI勉強会 第3回 平⼭優花 (専修⼤学⼈間科学部⼼理学科4年) 2023/08/20
2. 参考⽂献 - 実践XAI[説明可能なAI] 機械学習の予測を 説明するためのPythonコーディング - コード︓ https://github.com/Apress/Practical-Explainable- AI-U sing-Python/tree/main - データセット︓ https://github.com/Apress/Practical-Explainable- AI-U sing- Python/blob/main/Datasets/automobile.csv ＊スライドに引⽤記載のない図は全て上記から引⽤
3. ⽬次 1. ⾮線形モデルとは 2. 決定⽊モデルとは 3. 実際に決定⽊モデルを作成してみよう 4. SHAPを使って決定⽊モデルを説明する 5. LIMEを使って決定⽊モデルを説明する 6. skope-rulesをを使って決定⽊モデルを説明する
4. ⾃⼰紹介 名前︓平⼭ 優花 所属︓専修⼤学⼈間科学部⼼理学科4年 興味・関⼼︓ 児童精神医学、公衆衛⽣、疫学、リハビリテーション 神経発達症(⾃閉スペクトラム症等)の研究
5. 今回の発表範囲
6. 4章の全体の⽬的 ☑ 構造化データを使った教師あり学習タスクにおける、決定⽊ベースの ⾮線形モデルによる意思決定について説明可能性のある知⾒を 提供するための⼿法を概観する。 ! " # 解 析
7. 4.1 ⾮線形モデル ⾮線形モデルとは︖ - モデルを各パラメータで偏微分したときに、⼀次偏導関数がパラメータ⾃⾝を含む - データの特徴とターゲット変数（または出⼒）との間に線形ではない関係がある 構造化データ 教師あり学習 ⾮線形モデル 決定⽊モデル サポートベクターマシン ニューラルネットワーク LightGBM XGBoost 線形モデル 線形回帰 ロジスティック回帰 リッジ回帰 ラッソ回帰 教師なし学習 ⾮構造化データ ! " # 解 析
8. 4.2 決定⽊モデル(Decision Tree)とは 決定⽊モデルとは︖ - 説明変数を⽬的変数にマッピング(写像)する⾮線形モデル - データから決定⽊と呼ばれる樹形図を作成し、予測や検証をする 構造化データ 教師あり学習 ⾮線形モデル 決定⽊モデル サポートベクターマシン ニューラルネットワーク LightGBM XGBoost 線形モデル 線形回帰 ロジスティック回帰 リッジ回帰 ラッソ回帰 教師なし学習 ⾮構造化データ ! " # 解 析
9. 4.2 決定⽊モデル(Decision Tree)とは 決定⽊モデルの特徴 - ⽬的変数列に影響を与える可能性がある特徴量の組み合わせが 無限にある場合にも適⽤できる - 決定⽊では、説明変数の最も重要な差別化要因に基づいて、 ⺟集団を2つ以上の部分集団に分割する アルゴリズムの種類 - IDS3 - C4.5 - CART - MARS - CHAID ! " # 解 析 共通の特徴 - 最適な特徴量の特定 - 訓練データセットをサブセットに分割
10. 4.2 決定⽊モデル(Decision Tree)とは ! " # 解 析 決定⽊の構造
11. 4.2 決定⽊モデル(Decision Tree)とは 決定⽊回帰
12. 4.2 決定⽊モデル(Decision Tree)とは 決定⽊モデルの説明可能性
13. 4.3 実際に決定⽊モデルを作成してみよう ライブラリのインポート データのインポート ⾏と列の数の確認 最初の5つのレコードを確認 ラベルエンコーダを使って ⽂字列の列を数値に変換 不要な列を削除
14. 4.3 実際に決定⽊モデルを作成してみよう 訓練データ、テストデータに分割 決定⽊分類器のデフォルトのハイパー パラメータを確認
15. 4.3 実際に決定⽊モデルを作成してみよう モデルを作成し、訓練時とテスト時の 正解率を検証する 今回作成するモデルは2つ。 1. dt1︓最⼤の深さが制限されていない →過学習が⽣じることがある 2. dt2︓最⼤の深さが制限されている →枝刈りが⾏われ、過学習が⽣じにくい
16. 4.3 実際に決定⽊モデルを作成してみよう PyDotPlusとGraphvizを使った dt1の可視化
17. 4.3 実際に決定⽊モデルを作成してみよう PyDotPlusとGraphvizを使った dt2の可視化
18. 4.3 実際に決定⽊モデルを作成してみよう tree.plot_tree()を使ったdt1とdt2の可視化 dt1 dt2
19. 4.4 SHAPを使って決定⽊モデルを説明する - 決定⽊モデルの説明にSHAPを使うための⼤まかな流れ 1. カスタム決定⽊モデルを定義 2. SHAP(Shapley Additive exPlanations) ライブラリをインストール 3. 各特徴量に対する⽬的変数をPDP (Partial Dependence Plot)としてプロット 4. 各PDPを解釈 - PDP(Partial Dependence Plot)とは︖︓ モデルの出⼒に対する特徴量の部分従属プロット
20. 4.4 SHAPを使って決定⽊モデルを説明する - 今回使うデータの⽬的変数には、「解約しない(0)」と「解約する」の2つのラベルがある。 → このような⽬的変数を確⽴で表したい場合、predict_proba関数を⽤いて各クラスの確率を⽣成できる。
21. 4.4 SHAPを使って決定⽊モデルを説明する - PDPをより適切に解釈するためには、PDPのプロットを⾏う前に分布図を使って⽬的変数の分布を調べる ことが有効である。 →︖
22. 4.4 SHAPを使って決定⽊モデルを説明する 考えられること︓ mailを介したメッセージの数が 9以上になると 解約確率が⼤幅に下がる 考えられること︓ account_length特徴量は 解約確率に対して 予測的価値を持たない 考えられること︓ カスタマーサービスの 電話の回数が 4以上になると解約確率が ⼤幅に上がる
23. 4.4 SHAPを使って決定⽊モデルを説明する 1⽇のchargeが45ドルを超える場合は 解約確率が⼤幅に上がる Total_eve_minutesが180分になるまでは解約確率は およそ13%で⼀定だが、180分を超えると15.25%に上昇、 250分で約16%に達し、その後は⼀定。
24. 4.5 LIMEを使って決定⽊モデルを説明する - テストデータセットの1件⽬の レコード(xtest[0])に対するモデルの 説明を局所的に表したもの → この後に、 exp.show_in_notebook(show_table=True)
25. 4.5 LIMEを使って決定⽊モデルを説明する - 特定のレコードではなくすべてのレコードでの予測確率に対する特徴量の重要度と貢献度を可視化するすることもできる → ︖特徴量の重要度と貢献度は何が違うのか
26. 4.6 skope-rulesを使って決定⽊モデルを 説明する skope-rulesを使ってできること︓ 訓練モデルから、任意の新しいデータセットでの 予測値の⽣成に利⽤することのできる論理ルールを ⽣成する 最も適合率の⾼い5つの論理 ルールの算出