Slide 13
Slide 13 text
検証方法の概要 6/6
■独立変数:
• モデル説明の新旧での類似度レベル
(実験1の場合… 高類似度モデル𝑀𝑀1
: 1.0, 中類似度モデル𝑀𝑀2
: 0.6, 低類似度モデル𝑀𝑀3
: 0.1)
Given a task instance, we can compute the similarity between two AI models’ explanations on this instance using the feature
agreement metric introduced in [49] (i.e., the size of the intersection of the two sets of top-k features divided by k; k = 2 in our study).
■従属変数:
• changes in the model explanations (最終アンケート時のスコア;値が大きいほど異なったと感じた)
• objective trust(ユーザの予測とモデルの予測が同じであったタスクの割合)
→ objective trust gain = objective trust (Phase 2) – objective trust (Phase 1)
• subjective trust(中間/最終アンケート時のスコア)
→ subjective trust gain = subjective trust (Phase 2) – subjective trust (Phase 1)
• satisfaction (中間/最終アンケート時のスコア)
→ satisfaction gain = satisfaction (Phase 2) – satisfaction (Phase 1)
■ 分析手法
【RQ1・2】
• 観測したい従属変数の平均値のプロット
• 回帰モデルの構築 (この結果の詳細は割愛)
【RQ3】
• SEMのパス分析
13/22