技術研究開発本部 CPSアーキテクチャー研究室 CPSアーキテクチャー研究課 プロセスアナリティクス係 瀬戸口 直輝 Meta x2 理解するExplainable AI 2022年5月

2 ©️ Panasonic Connect Co., Ltd. 2022 ◼ Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI [1] ◼ Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey [2] メタサーベイ2本を掻い摘んでXAIを広く浅く理解する 紹介する論文について 公開先 Alejandro Barredo Arrieta, Natalia Díaz Rodríguez, Javier Del Ser, Adrien Bennetot, Siham Tabik, Alberto Barbado, Salvador García, Sergio Gil-Lopez, Daniel Molina, Richard Benjamins, Raja Chatila, Francisco Herrera: "Explainable Artificial Intelligence (XAI): Concepts, taxonomies, opportunity, and challenges towards responsible AI", Information Fusion, Vol. 58, pp. 82-115, 2020. URL https://www.sciencedirect.com/science/article/abs/pii/S1566253519308103?casa_token=Onuj5fyCAy4AAAAA:wgivd5iM53IoWeI_euI0MSv3tQvQ_ U9G_0vFpF0Wrd_UkWgpAmoKdW3aQ9CaAbEo4zrF1rmrJsQ コメント 公開年：2020年，引用数：2000超，XAIを概念から整理 公開先 Opportunities and challenges in explainable artificial intelligence (xai): A survey. arXiv 2020, arXiv:2006.11371. URL https://arxiv.org/abs/2006.11371 コメント 公開年：2020年， 引用数：200超，XAI手法を理論的な観点から整理

Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI

4 ©️ Panasonic Connect Co., Ltd. 2022 ◼ Understandability(理解性, intelligibility) • モデル構造、処理を説明しなくても人間がモデルの処理プロセスを理解できる状態 ◼ Comprehensibility(理解可能性) • MLモデルが学習した知識を人間が理解できる表現で提示できる状態 ◼ Interpretability(解釈可能性) • 人間が理解できる表現で意味を説明できる能力をもつ状態 ◼ Explainability(説明可能性) • 人間とモデル間のインターフェースであり、人間が理解可能な説明を提示するもの ◼ Transparency(透明性) • モデル自体が人間が理解できる構造・特性をもつこと 文献、コミュニティによって文言・定義がいろいろある 説明可能なAIとはなんぞや

5 ©️ Panasonic Connect Co., Ltd. 2022 聴衆(=説明を求めるヒト)をおいたとき、説明可能な人工知能はモデルの機能を明確にする、 または理解しやすくするための根拠や詳細を提供するもの 注意すべき観点 ◼ 説明可能性は誰が聴衆となるかにも依存するため、誰に向けて説明するかを必ず考慮 する必要がある ◼ 説明可能性は聴衆の主観に依存するため定量評価が難しい。しかし、モデル自体の構造や 説明能力については定量的に評価することが可能 ◼ 因果関係、公平性、信頼性など様々な側面で説明可能性を評価する必要がある Given an audience, an explainable Artificial Intelligence is one that produces details or reasons to make its functioning clear or easy to understand. もっと抽象的に定義すると、説明可能なAIとは 本文は[1]より引用

6 ©️ Panasonic Connect Co., Ltd. 2022 AIの普及に伴い、モデルの振る舞いの理解とコンプライアンスの考慮が必須 なぜ説明可能にしなければいけないか 画像は[1]より引用

7 ©️ Panasonic Connect Co., Ltd. 2022 • Trustworthiness（信頼性） – ある問題を解かせたとき、モデルが意図とおりに機能すると確信できる状態 • Causality（因果関係） – データ変数間の因果関係をみつけられる状態 • Transferability（転用性） – ある問題でモデルが得た知識が分かり，それを似た別の問題に転用できる状態 • Informativeness（情報性、有益性） – 人間が問題を解く際の意思決定に必要な情報を抽出できる状態 • Confidence（確信度、信用度） – モデルの振る舞いが安定している状態(摂動によって振る舞いが大きく変化しないこと) 何を目指して研究されているの？

8 ©️ Panasonic Connect Co., Ltd. 2022 • Fairness（公平性） – 社会的観点で公平な振る舞いとなる、またはデータのバイアスがわかる状態 • Accessibility（利用可能性） – MLモデルの開発プロセスにおいて、説明により誰でも改善できる状態 • Interactivity（相互作用性） – モデルの微調整により、予測や振る舞いを人間が対話的にコントロールできる状態 • Privacy awareness（プライバシー意識） – モデル自体の機密性、抽出した知識、情報のプライバシーが守られる状態 何を目指して研究されているの？

9 ©️ Panasonic Connect Co., Ltd. 2022 ◼ 透明性の高いモデルを使う • 透明性が高いとは • Simulatability（シミュレート可能性）：モデルの振る舞いをヒトがシミュレートできる • Decomposability（分解可能性）：入力、モデルの変数、処理の因果が理解できる • Algorithmic Transparency（アルゴリズムの透明性）：振る舞いが数学的に解析できる ◼ 事後説明手法を使う • テキスト化、視覚的な可視化、関連性のスコアリングなどで 出力結果に対する解釈を与える 透明性の高いモデルを使う or 事後説明手法を使う どうやって説明するの？

10 ©️ Panasonic Connect Co., Ltd. 2022 透明性の高いモデルとは Simulatability Decomposability Algorithmic Transparency 入出力、条件が分かれば、 モデルがどのような計算を しているかシミュレートで きる • 入力 • パラメータ • 計算 など各要素が明らかである 数学的な解析が可能で ユーザがモデルのプロセスを理解 して、モデルの出力をコントロー ルできる 画像は[1]より引用 ある条件での出力yが分かる 関数の処理が分かる 入力x1,x2が何を示すかや 計算条件など， 個々の要素に分解され， それぞれの意味がわかる 陽のサンプルデータの操作 により定めたルール通りに モデルが振る舞う

11 ©️ Panasonic Connect Co., Ltd. 2022 事後説明手法のパターンとは 説明方法 Visualization 次元削減によりモデルの計算結果を人間が 認識可能にする Model simplification 説明対象となるモデルを元に より簡素な構造のモデルを再構築する Text explanations モデルを説明するテキストを生成する 画像は[1]より引用

12 ©️ Panasonic Connect Co., Ltd. 2022 事後説明手法を使う 説明方法 Local explanations あまり複雑でない単位に処理/機能を分割 し、微小な変化を観測する Feature relevance 重要度など，特徴間の関連性のスコアを 算出する Explanations by example モデルの入力と出力の対応関係から傾向を 調査する 画像は[1]より引用

13 ©️ Panasonic Connect Co., Ltd. 2022 説明可能性の観点から機械学習手法を整理 Model Simulatability Decomposability Algorithmic Transparency Post-hoc analysis 線形回帰 〇 △ △ ー 決定木 〇 〇 〇 ー KNN 〇 △ △ ー ルールベース学習 〇 △ △ ー 一般化加法モデル △ △ △ ー ベイジアンモデル △ △ △ ー ツリーアンサンブル ー ー ー • Model simplification • Feature relevance SVM ー ー ー • Model simplification • Local explanations 多層NN ー ー ー • Model simplification • Feature relevance • Visualization CNN ー ー ー • Feature relevance • Visualization RNN ー ー ー • Feature relevance 表は[1]中Table2を元に作成 モデルの透明性が低いため 事後説明手法を適用 透明性の観点で分類

14 ©️ Panasonic Connect Co., Ltd. 2022 • 解釈可能性とパフォーマンスのトレードオフ – モデルの複雑性が高まると推論精度は上がるが、解釈可能性が低下 • 説明可能性に関する統一的な定義、評価指標の構築 – 定量的な評価、主観に依存しにくい評価指標の設計 • ディープラーニングに対する説明手法の体系化 – 用語の定義、社会実装に向けた説明要件・方法の確立 • 敵対的な状況に対して頑健なモデルの構築 – 摂動を与えるなど悪意のある状況下でのモデルの振る舞いを安定化 • 出力の公平性、安全性、再現性に対する説明 – 倫理的な正しさ、システムとしての信頼性の補償 研究課題は？

15 ©️ Panasonic Connect Co., Ltd. 2022 参考：モデルの透明性と推論精度 画像は[1]より引用 モデルの透明性と推論精度 はトレードオフの傾向

16 ©️ Panasonic Connect Co., Ltd. 2022 参考：説明可能性の観点から機械学習手法を整理した表 画像は[1]より引用

Opportunities and Challenges in Explainable Artificial Intelligence (XAI): A Survey

18 ©️ Panasonic Connect Co., Ltd. 2022 Scope, Methodology, Usageの軸で手法を分類 説明手法を体系的に分類する 画像は[2]より引用

19 ©️ Panasonic Connect Co., Ltd. 2022 Scope, Methodology, Usageの軸で手法を分類 説明手法を体系的に分類する 説明対象で分類 • 個々データに対する 解釈 • モデル全体の解釈 説明手法で分類 • 逆伝搬ベース • 摂動ベース 手法の特性で分類 • モデル依存(内部的) • モデル非依存(外部的) 画像は[2]より引用

20 ©️ Panasonic Connect Co., Ltd. 2022 • Activation Maximization – CNNの各層の活性化度合いを可視化 • Saliency Map Visualization – 入力画像と出力クラスの勾配から、出力に影響を与えたピクセルの 重要度を可視化 説明対象が個々のサンプルデータである手法 画像は[2]より引用

21 ©️ Panasonic Connect Co., Ltd. 2022 • Layer-wise Relevance Back Propagation（LRP） – 勾配計算はノイズが多いため、ノイズの影響を減らすために 各層毎の注目度(貢献度)の総和を保存して説明 • Local Interpretable Model-Agnostic Explanations（LIME） – 解釈対象のモデルの推論結果の一部を解釈しやすいモデル (線形回帰モデル等)に真似させることで説明 – モデル非依存で様々なデータにも対応可能 説明対象が個々のサンプルデータである手法 画像は[2]より引用

22 ©️ Panasonic Connect Co., Ltd. 2022 • SHapley Additive exPlanations (SHAP) – 各特徴量のShapley値を計算することで推論結果に対する寄与度を算出 – 表データ等に適用することが多い 説明対象が個々のサンプルデータである手法 • KernelSHAP • LinearSHAP • DeepSHAP SHAPの拡張版 各特徴がどれだけ推論結果 に貢献しているかを定量的 に算出 （詳しくはこちらを参照 https://logmi.jp/tech/articles/322738） Shapley値

23 ©️ Panasonic Connect Co., Ltd. 2022 • Global Surrogate Models – 複雑なモデルを解釈可能な線形モデルや決定木で近似 – LIMEはSHAPとはモデルを局所的に近似している点で異なる • Class Model Visualization – 学習済みCNNから画像Iのクラス確率を算出し、その情報から特定のクラ スを表す画像を生成することでモデルがどこに着目しているかを可視化 説明対象がモデル自体である手法 画像は[2]より引用

24 ©️ Panasonic Connect Co., Ltd. 2022 • LIME Algorithm for Global Explanations – 訓練データ全てにLIMEを適用し、できるだけ全体を網羅するような データサンプルを抽出してモデルを説明(SP-LIME) • Concept Activation Vectors (CAVs) – 概念画像に対するモデルの感度を計算することで、Pixel-widthでなく ヒトの感覚に近くなるように入力画像を説明 説明対象がモデル自体である手法 • ACE • CaCE • ConceptSHAP CAVsの拡張版 画像は[2]より引用

25 ©️ Panasonic Connect Co., Ltd. 2022 • Spectral Relevance Analysis (SpRAy) – LRPの各インスタンスに対してスペクトルクラスタリングを適用し 分析することでモデルの意思決定プロセスを説明 • Global Attribution Mapping – 特徴量が明確に属性に分かれる場合、それらの相対的な重要度をランキ ングし、距離を測定することで説明 それらの重要度 説明対象がモデル自体である手法 画像は https://www.capitalone.com/tech/open-source/open- source-global-attribution-mapping-for-neural-networks/ より引用

26 ©️ Panasonic Connect Co., Ltd. 2022 • Neural Additive Models (NAMs) – 一般化加法モデルに非線形関数としてNNを導入したモデル – 各特徴量ごとに変換関数を設けるため、(NNよりは)モデルの見通しがよ い 説明対象がモデル自体である手法 入力Xから、目的変数yを推定する、リンク関数gを求めたい 非線形変換をNNでやる 画像は[2]より引用

27 ©️ Panasonic Connect Co., Ltd. 2022 • DeConvolution nets for Convolution Visualizations – 入力画像にマスキング等を加えて逆畳み込みで画像生成し変化を観測 • Randomized Input Sampling for Explanation (RISE) – ランダムにマスクした入力画像でターゲットクラスの確信度を算出 確信度で重みづけしたマスクを足し合わせることで重要度を可視化 説明手法が摂動ベースのもの 画像は[2]より引用

28 ©️ Panasonic Connect Co., Ltd. 2022 • Randomization and Feature Testing – The Interpretability Randomization Test (IRT) – One-Shot Feature Test (OSFT) – 特徴量の削減、置換など，仮説検定に則って操作し変化を観測 説明手法が摂動ベースのもの 「Aという仮説をおき、その仮説が間違っているならば、Aの反対 であるBが証明できる」 を繰り返して検証することで、検証事象を統計的に分析すること 仮説検定

29 ©️ Panasonic Connect Co., Ltd. 2022 • Saliency Maps – 出力クラスに対する勾配を顕著性とみなして計算 – Guided backpropagation：負の勾配を除外 • Class Activation Mapping（CAM） – 特徴マップの重みづけ和を計算 – Grad-CAM：GAPを逆伝搬で代替、モデル非依存でCAMを計算 – Guided Grad-CAM：画素単位で寄与度を可視化できるように拡張 説明手法が逆伝搬ベースのもの 画像は[2]より引用

30 ©️ Panasonic Connect Co., Ltd. 2022 • Salient Relevance Map – LRPを用いて関連性マップを計算し、次に顕著性マップに変換 説明手法が逆伝搬ベースのもの 画像は[2]より引用

31 ©️ Panasonic Connect Co., Ltd. 2022 代表的な説明手法の分類表 画像は[2]より引用

32 ©️ Panasonic Connect Co., Ltd. 2022 参考：各手法の可視化結果の例 画像は[2]より引用

33 ©️ Panasonic Connect Co., Ltd. 2022 • InterpretML – ブラックボックスモデルの説明に利用可能、LIME、SHAPをカバー – https://github.com/interpretml/interpret • IML – 特徴重要度の可視化、LIME, SHAPをカバー – https://github.com/christophM/iml • DeepExplain – Saliency Map、DeepLIFT、SHAPなどをカバー – https://github.com/marcoancona/DeepExplain • DrWhy – モデル構造に依存しない手法をカバー – https://github.com/ModelOriented/DrWhy 使えるオープンソースは？

34 ©️ Panasonic Connect Co., Ltd. 2022 • XAIは色々確立されていないところもある – 用語、概念、何を説明すべきか、どう定量評価するか • 説明の仕方は基本２パターン – もともと透明性の高いモデルを使う – 事後説明手法を使う • 事後説明手法にもいろいろなタイプに分類分けできる – Global, Local, BackProb, Perturbation, Intrinsic, Post-hoc • ビジネスシーンに合わせて、どんな説明があれば、説明が理解できるかを 考えて適切な手法を選べるようになる必要がある まとめ

35 ©️ Panasonic Connect Co., Ltd. 2022 • Human-Centered Explainable AI (XAI): From Algorithms to User Experiences – XAIは誰にどう説明するかが重要、そこでHCIなどの研究を応用して人間中心の 視点・体験を重要視する技術選択方法や評価方法を整理 • A Meta Survey of Quality Evaluation Criteria in Explanation Methods – XAIの品質評価方法に特化したメタサーベイ • A Survey of Explainable Reinforcement Learning – 強化学習における説明可能性についてのサーベイ まだまだあるメタサーベイ To be continue..?

No content