Share
Embed
[JSAI'24] 人間の判断根拠は文脈によって異なるのか?〜信頼されるXAIに向けた人間の判断根拠理解〜
JSAI2024の発表資料
OS-5 ヒューマン・イン・ザ・ループAI
https://confit.atlas.jp/guide/event/jsai2024/subject/2T5-OS-5b-03/tables?cryptoId=
mei28
May 29, 2024
Transcript
18 slides
-
研究背景|AI挙動理解のための説明可能なAI (XAI) 2 研究背景 • AIの挙動理解のために、説明可能なAI (XAI)の研究が進んでいる ◦ モデル予測の判断根拠を可視化し、挙動理解を支援[1] 既存研究
• XAIでは、タスク精度改善やAIへの信頼や理解への影響に注目[2] • AIを利用するかの判断において、利用者のAIへの信頼が関係[3] • AIへの信頼獲得のために、利用者にどのような説明が望ましいか明らかではない [1] Scott M. Lundberg and Su-In Lee. “A unified approach to interpreting model predictions.” NIPS'17 [2] Alufaisan, Yasmeen, et al. “Does explainable artificial intelligence improve human decision-making?." AAAI’21 [3] Venkatesh Sivaraman, et al. “Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care”. CHI’23 タスク精度向上 挙動理解 信頼醸成 -
本研究の目的|文脈に応じて説明のみを変更 4 • 同じタスクを判断したAIであっても、そのAIを使う文脈に応じて信頼される説明 が違うのでは? →人間の判断根拠が文脈によって異なる可能性があるため AIモデル (*)説明=判断根拠の可視化 入力データ この人にお金を貸す?
y/n 同じタスクを判断したAIであっても、そのAIを使う文脈に応じて、説明だけを人間の判断根 拠に近い説明に変更してもいいのではないか? 高額の金融審査 低額の金融審査 -
本研究のリサーチクエスチョン 5 研究目的 信頼されるAIの説明で何が必要か明らかにする → 本研究では、人間の判断根拠に近いことが有効であると考える リサーチクエスチョン 1. 同じ情報に基づいた判断では、判断文脈の違いで、人間の判断根拠は違うのか? (アンケート調査1)
2. 自身の判断根拠に近い説明を、人間は信頼するのか? (アンケート調査2) これらに答えるために2つのアンケート調査を実施 -
本研究のリサーチクエスチョン 6 研究目的 信頼されるAIの説明で何が必要か明らかにする → 本研究では、人間の判断根拠に近いことが有効であると考える リサーチクエスチョン 1. 同じ情報に基づいた判断では、判断文脈の違いで、人間の判断根拠は違うのか? (アンケート調査1)
2. 自身の判断根拠に近い説明を、人間は信頼するのか? (アンケート調査2) -
アンケート調査1|実験参加者・アンケート内容・分析方法 8 • 実験参加者は、クラウドソーシングサイトを通じて集めた200名 • シナリオ状況を説明し、回答者がどの観点で判断するかの選択肢を回答 ◦ シナリオは客観、主観タスクで各3種類x2文脈(合計12シナリオ) • 分析方法として判断観点数を用いる
◦ 設定した項目内の選択率を表す。高いほど多くの観点を判断根拠としている 体重予測 金融審査 医療審査 客観タスク ローステーク ダイエットの体重 少額の金融貸与 風邪の医療診断 ハイステーク 飛行機搭乗者の体重 多額の金融貸与 ガンの医療診断 音楽推薦 献立推薦 イラスト推薦 主観タスク ローステーク これから聞く音楽 今日の献立 SNSのイラスト ハイステーク 大事なイベントの音楽 特別なイベントの献立 VTuberのイラスト -
本研究のリサーチクエスチョン 10 研究目的 信頼されるAIの説明で何が必要か明らかにする → 本研究では、人間の判断根拠に近いことが有効であると考える リサーチクエスチョン 1. 同じ情報に基づいた判断では、判断文脈の違いで、人間の判断根拠は違うのか? (アンケート調査1)
2. 自身の判断根拠に近い説明を、人間は信頼するのか? (アンケート調査2) -
アンケート調査2|二種類の説明を比較 11 • 人間の判断根拠に近い説明の方を高く評価するかを調査 ◦ 金融審査タスクを用いて、2種類の説明を提示した • 比較する判断根拠の説明 1. AIモデルの説明:
学習されたモデルの判断根拠の可視化 2. 人間の説明: アンケート調査1に基づく判断根拠の可視化 AIモデル 入力データ この人にお金を貸す? y/n 人間の説明 AIモデルの説明 ※説明のみを変更 -
アンケート調査2|AIモデルの説明作成 12 • AIモデルとして、勾配ブースティング決定木のLightGBM[4]を利用 • 金融審査データセット[5]を用いてモデルを訓練 ◦ モデルの予測精度は0.7であり、人間の予測精度0.6より高い • SHAPを用いて特徴量重要度(判断根拠)を算出し、可視化
AIモデルの特徴量重要度の例 [4] Guolin Ke, et al. "LightGBM: A Highly Efficient Gradient Boosting Decision Tree". NIPS’17. [5] Hofmann ,Hans. Statlog (German Credit Data). UCI Machine Learning Repository. 1994 -
アンケート調査2|アンケート項目内容 15 • アンケート項目 ◦ 信頼できるか? このシナリオにおいて適切か? 理解しやすいか? 回答者の 好みであるか?の4項目を7段階リッカート尺度で調査
◦ 数値が大きいほど人間の説明を高く評価 AIモデルの説明 人間の説明 -
本研究のまとめ 18 アンケート結果まとめ • 同じ判断タスクでも、人間の判断根拠は文脈によって異なる ◦ ハイステークなタスクの時、幅広い観点を用いた • AI本来の説明よりも、人間の判断に近い説明を高く評価 ◦
ハイステークなタスクでは、より人間の説明を評価するようになった 本研究の限界 • ユーザに2種類の説明の違いを示していない ◦ 変更された説明であることを開示したとき評価が変わるかもしれない 将来への提案 • 人間の判断根拠が変わる文脈の調査 • 利用者✖文脈に応じた個別化された説明の生成