Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[JSAI'24] 人間の判断根拠は文脈によって異なるのか?〜信頼されるXAIに向けた人間の判断根拠理解〜

mei28
May 29, 2024
340

[JSAI'24] 人間の判断根拠は文脈によって異なるのか?〜信頼されるXAIに向けた人間の判断根拠理解〜

JSAI2024の発表資料
OS-5 ヒューマン・イン・ザ・ループAI
https://confit.atlas.jp/guide/event/jsai2024/subject/2T5-OS-5b-03/tables?cryptoId=

mei28

May 29, 2024
Tweet

More Decks by mei28

Transcript

  1. 研究背景|AI挙動理解のための説明可能なAI (XAI) 2
 研究背景 • AIの挙動理解のために、説明可能なAI (XAI)の研究が進んでいる ◦ モデル予測の判断根拠を可視化し、挙動理解を支援[1] 既存研究

    • XAIでは、タスク精度改善やAIへの信頼や理解への影響に注目[2] • AIを利用するかの判断において、利用者のAIへの信頼が関係[3] • AIへの信頼獲得のために、利用者にどのような説明が望ましいか明らかではない [1] Scott M. Lundberg and Su-In Lee. “A unified approach to interpreting model predictions.” NIPS'17 [2] Alufaisan, Yasmeen, et al. “Does explainable artificial intelligence improve human decision-making?." AAAI’21 [3] Venkatesh Sivaraman, et al. “Ignore, Trust, or Negotiate: Understanding Clinician Acceptance of AI-Based Treatment Recommendations in Health Care”. CHI’23 タスク精度向上 挙動理解 信頼醸成
  2. アンケート調査1|実験参加者・アンケート内容・分析方法 8
 • 実験参加者は、クラウドソーシングサイトを通じて集めた200名 • シナリオ状況を説明し、回答者がどの観点で判断するかの選択肢を回答 ◦ シナリオは客観、主観タスクで各3種類x2文脈(合計12シナリオ) • 分析方法として判断観点数を用いる

    ◦ 設定した項目内の選択率を表す。高いほど多くの観点を判断根拠としている 体重予測 金融審査 医療審査 客観タスク ローステーク ダイエットの体重 少額の金融貸与 風邪の医療診断 ハイステーク 飛行機搭乗者の体重 多額の金融貸与 ガンの医療診断 音楽推薦 献立推薦 イラスト推薦 主観タスク ローステーク これから聞く音楽 今日の献立 SNSのイラスト ハイステーク 大事なイベントの音楽 特別なイベントの献立 VTuberのイラスト
  3. アンケート調査2|二種類の説明を比較 11
 • 人間の判断根拠に近い説明の方を高く評価するかを調査 ◦ 金融審査タスクを用いて、2種類の説明を提示した • 比較する判断根拠の説明 1. AIモデルの説明:

    学習されたモデルの判断根拠の可視化 2. 人間の説明: アンケート調査1に基づく判断根拠の可視化 AIモデル 入力データ この人にお金を貸す? y/n 人間の説明 AIモデルの説明 ※説明のみを変更
  4. 本研究のまとめ 18
 アンケート結果まとめ • 同じ判断タスクでも、人間の判断根拠は文脈によって異なる ◦ ハイステークなタスクの時、幅広い観点を用いた • AI本来の説明よりも、人間の判断に近い説明を高く評価 ◦

    ハイステークなタスクでは、より人間の説明を評価するようになった 本研究の限界 • ユーザに2種類の説明の違いを示していない ◦ 変更された説明であることを開示したとき評価が変わるかもしれない 将来への提案 • 人間の判断根拠が変わる文脈の調査 • 利用者✖文脈に応じた個別化された説明の生成