Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XAI勉強会 第一回

AcademiX
August 06, 2023
120

 XAI勉強会 第一回

AcademiX が開催した 第1回 XAI勉強会 資料
トピック:モデルの説明可能性と解釈可能性 AIの倫理、偏見、信頼性
日時:2023/08/06
参考図書:実践XAI[説明可能なAI] 機械学習の予測を説明するためのPythonコーディング

AcademiX

August 06, 2023
Tweet

More Decks by AcademiX

Transcript

  1. はじめに • XAI勉強会:毎週日曜18時~1時間程度 • 全9回予定10回(変更の可能性あり) • 詳細はslackをご確認ください • 発表者決めを最後に行います •

    発表していただく方には,Speaker deckに資料を共有していた だけると嬉しいです(資料を対外的に公開して世の皆様の役に 立てるように) • 資料をslackに共有する際,公開の可否をお知らせください(お名前を 伏せるかどうかも) • 著作権の観点から,図表は引用元記載をお願いします
  2. XAIとは • XAI:Explainable AI(説明可能なAI) • 機械学習技術の発展で,AIシステムの活用が進む • しかし,これらのモデルはユーザに対し,決定理由や行動を説明できない(ブラック ボックス) •

    そこでXAIでは,AIに説明可能性を持たせることにより,エンドユーザへの信頼性を持た せる(これにより導入が進みやすくなると期待) https://www.darpa.mil/program/explainable-artificial-intelligence (2023/08/04閲覧) 米国DARPA(国防高等研究計画局)の プロジェクトが発端らしい
  3. なぜ説明可能性が必要? • 例1: • クレジットカード申請者をAIが判断→申請を却下 • 却下理由を知りたいのに,教えてくれないと納得できない • どうすれば審査に通りやすくなるかも教えてほしい •

    例2: • 医療におけるAIの活用 • 糖尿病診断AI:患者の問診データ,検査データなどから診断 • 画像診断AI:胸部X線,CT,MRI,超音波,PET/CT,血管造影,・・・ • 診断された患者はその根拠が知りたい • 医師も,根拠を知らないと治療がうまくできない • 根拠を示さないと最悪の場合医療不信につながるおそれも
  4. どんな場面で活用が必要? • 製造業・外観検査 • インフラ保守 • 化学・化粧品 • 自動車・制御 •

    医療 • 航空・宇宙 • 教育 AI・ディープラーニング 7つの業種の先駆者から学ぶ10の成功 事例 - MATLAB & Simulink (mathworks.com)
  5. 1.2 AI • AI:人間の代わりに意思決定を自動的に行う • AI>機械学習>deep learning>エキスパートシステム(?) • (classical) ML:構造化データ

    • DLは画像,音声,テキスト,動画など • エキスパートシステム:ルールベース(第2次AIブーム) • XAI(explainable AI,説明可能なAI)とは • AIモデルで意思決定を行う際に,その根拠を説明すること
  6. 1.2.1 XAIの必要性 • 古典的な訓練システム:モデルを手動で調整 • データは変動するので,訓練するのは難しい • 方程式は単純で解釈しやすい • AIモデル

    • 特定の関数を決めず,イテレーションを通じて(データから)学習, クロスバリデーションを用いる • アルゴリズムが複雑で結果の説明が簡単でない • →解釈可能性と説明可能性が課題 • 正解率だけでなく,安定性や信頼性も重要 • ブラックボックスモデルを解釈可能にすることで導入と適応の可能性 を広げる
  7. 1.2.2 説明可能性と解釈可能性 • XAIは説明可能性と解釈可能性を目指すが,両者は若干違う • 解釈:予測の意味,説明:予測理由とモデルを信頼すべき理由 • 販売予測の例:各因子を用いて(線形)回帰モデル分析 • 解釈:回帰モデルの係数は,因子を変化させたときの売上増加割合

    • 説明:今月の売上に対しなぜ来月の売上がこのように予測されるか • とはいえ,両者の明確な区別は難しい?(私見) • XAIは5つの目標を達成する必要がある • 信用(trust):正解率・偽陽性は? • 関連性(associations):真の相関 • 信頼性(reliability):安定性,堅牢性(robustness)も重要 • 公平性(fairness):倫理的,差別を防止する • アイデンティティ(identity):プライバシーの保護
  8. 1.2.3 説明(解釈)可能性の種類 • 本質的な説明:線形回帰,決定木ベースモデル • 事後説明:非線形,決定木のアンサンブルやブースティング,ス タッキングなど • モデル固有の説明:特定タイプのモデルの説明 •

    モデル不可知の説明:入力と出力の組み合わせを調べる • 局所的な解釈:ある入力に対する予測理由を説明 • 大域的な解釈:すべての入力について説明 • 準局所的な解釈:データのグループについて局所的解釈 • テキストによる説明:数値の部分とパラメータの意味の部分 • 視覚的な説明:テキストとセットで
  9. 1.2.4 モデルの説明可能性のための ツール • 一例を挙げると・・(1.2.5-1.2.9) • SHAP • LIME •

    ELI5 • Skater • skope-rules など • それぞれ後の回の発表で扱う予定(今回は省略)
  10. 1.2.11 XAI互換のモデル • 線形モデル • 時系列予測モデル • 決定木ベースのモデル • アンサンブルベースのモデル

    • 数学的モデル • Deep learning, CNN, RNN • ルールベースのモデル 説明難しい 説明がわりとしやすい 説明が単純
  11. 参考:人間中心のAI社会原則 • 日本政府が提唱した原則 • 7つの原則 • 人間中心の原則 • 教育・リテラシーの原則 •

    プライバシー確保の原則 • セキュリティ確保の原則 • 公正競争確保の原則 • 公平性,説明責任及び透明性の原則 • イノベーションの原則 https://www8.cao.go.jp/cstp/aigensoku.pdf(2023/08/04閲覧)
  12. 2.1 速習:AIの倫理 • AI倫理の課題 • データ収集の量 • データの多様性 • データ移譲

    • 監視システムのデータ • 合理的な選択の妨害 • 誠実さ
  13. 2.2 AIの偏見(2.3-2.7) • 偏見:予測に偏り(バイアス)がある • データのバイアス:データセットに偏りが生じる • アルゴリズムのバイアス:データバイアスにより誤ったデータが訓練 される •

    解釈のバイアス:同じ予測でもユーザにより解釈が違う • 訓練のバイアス:不適切なハイパーパラメータ・モデル選択,モデル の過剰な訓練など • バイアスを減らすには,ガバナンス基準の設定が重要 • ガイドラインやルールを策定する
  14. AIの偏見の事例 • Amazonの事例 • AIを用いた人事採用システムを活用 • 2018年,このシステムが男性を優先して採用していたと判明 • このシステムは廃止された •

    Tayの事例 • Tayは,Microsoft社のチャットボット.Twitter上でリリースされた • しかし,短期間のうちに,差別発言を繰り返すようになり停止された • Twitterユーザの投稿(学習データ)にバイアスがあったと考えられる • 画像検索 • Googleで黒人画像を検索すると,逮捕時の写真が表示されてしまった その他の参考事例:https://ainow.ai/2020/02/17/183256/