[Human-AI Decision Making勉強会] More Isn’t Always Better: Balancing Decision Accuracy and Conformity Pressures in Multi-AI Advice

2026/05/20 Human-AI Decision Makingの発表資料
More Isn’t Always Better: Balancing Decision Accuracy and Conformity Pressures in Multi-AI Advice
CHI 2026

Transcript

1. CHI 2026 More Isn’t Always Better: Balancing Decision Accuracy and Conformity Pressures in Multi-AI Advice Yuta Tsuchiya, Yukino Baba The University of Tokyo, Japan
2. Human-AI Decision-Making • AIは非常に多くの分野で意思決定を支援するために活用されている • AI の助言を人間が評価し最終判断を下すことで、相補的な強みを活かした精度向上が期待できる “I recommend option A. Because…” Finance ドメイン 知識 倫理的 観点 Law Final judgement AI Human Medicine 1
3. Decision-Making with Multiple AI Advisors • 人々は複数のAIとインタラクションする機会が増加している Multi-model comparison workspaces*1 Critical feedback from multiple AI personas*2 Prompt メールの文面 を考えて Add a message… Simplify… GPT Marketing Strategist Shopper Gemini Poster Design Highlight… AI-generated content in online platforms AIからの政治的な発⾔ Brand Manager AI personas ⾃動⽣成された広告 *1 TeamAI (https://teamai.com/multiple-models) *2 Donghoon Shin, et al. PosterMate: Audience-driven Collaborative Persona Agents for Poster Design. UIST ʼ25. 2
4. Are Multiple Advisors Always Beneficial? • 複数人からの意見は、バイアスの補正や新たな洞察の獲得を通じて、意思決定の精度向上に寄与しうる • • 医療のセカンドオピニオン、学会の査読など… ただし、同調圧力が生じることでこれらの利点が十分に得られない場合がある 複数の助言者の存在が、たとえ多数派が誤っている場合であっても、その判断に従うよう促す圧力を生じる 株式投資の例：株式A (高リスク) に投資するか？ 全員が株式Aを買うべきと 言っている。これは正し そうだな… Conformity Pressure Buy Stock A. Model signal is positive. Risk-adjusted, I’d still buy Stock A. I’ll buy Stock A! Buy Stock A. Strong upside. Non-expert social media users 2
5. Conformity Pressures by Non-Human Agents 規範的同調 (Normative conformity) 情報的同調 (Informational conformity) 社会的評価の低下や集団からの逸脱を 回避するために従う 他者をより正確だとみなして従う • 同調圧力は、ロボットやAIなど非人間エージェントからも生じるが、その力関係は人間集団の場合と必ず しも同一ではない ただの機械だから プレッシャーはない？ 社会的な権威が弱い? 人間より客観的? 不確実性の高いタスクへのロボットの意見*1 社会的なトピックに対するLLMの意見*2 Normative conformity Informational conformity Normative conformity Informational conformity Weak ✅ Present ✅ Present Weak *1 Salomons, N., et al. Humans Con-form to Robots: Disambiguating Trust, Truth, and Conformity, HRI, 2018. *2 Song, T., et al.. Multi-Agents are Social Groups: Investigating Social Influence of Multiple Agents in Human-Agent Interactions, arXiv:2411.04578 3
6. Conformity in Human-AI Decision-Making (HADM) • 人間AI協調意思決定においては、複数AI 間の相互作用や同調圧力の影響は十分に解明されていない 追加助言が初期AI推奨への 依存度をどのように変化させるか*1 人間とAI の助言重み付けの比較*2 Second opinion AI Does reliance change? AI Human Compare Human AI 複数のAIからの意見は、人間の意思決定にどのような影響を及ぼすのか？ • 意思決定の精度は上がる? • 単にAIへの依存を増やす? • その条件は？ *1 Zhuoran Lu, et al. Does More Advice Help? The Effects of Second Opinions in AI-Assisted Decision Making. CSCW1 (2024). *2 Sachin Kumar, et al.. Advice Utilization in Combined Human-Algorithm Decision-Making: An Analysis of Preferences and Behaviors. J. Assoc. Inf. Syst, (2024), 3
7. Aim of This Study 複数のAI から構成されるパネルが，同調圧力を通じて意思決定の精度にどのように作用するか？ Study 2 Study 1 4
8. Experimental settings 参加者: • Lancers* (crowdsourcing platform) から募集 • 年齢: 18+, タスク達成率: ≥95% • 人数: N = 348 (Study 1: 260, Study 2: 88) 実験の流れ: Quality control: • Attention checks • Completion time • Mechanical response patterns * Lancers (https://www.lancers.jp/) 6
9. Experimental Interface • 1 参加者はテーブルデータに対する2値分類タスクを50件行う Problem presentation 5
10. Experimental Interface • 1 参加者はテーブルデータに対する2値分類タスクを50件行う Problem presentation 2 Initial prediction 5
11. Experimental Interface • 1 参加者はテーブルデータに対する2値分類タスクを50件行う Problem 2 Initial prediction 3 AI advice and attention check presentation 5
12. Experimental Interface • 1 参加者はテーブルデータに対する2値分類タスクを50件行う Problem 2 Initial prediction 3 AI advice and attention check presentation 4 Final Prediction 50 trials 5
13. How AI Advice (Step 3) is Generated AIの助言の正確性を一定に保ちながら、複数モデル間の合意の程度を変化させるプロセスを構築 Input features Multiple models + SHAP* LLM (GPT-4o) Prediction label & Rationale • Prediction label • Top-3 feature importances * Scott M. Lundberg and Su-In Lee. A unified approach to interpreting model predictions. NIPS’17. 6
14. How AI Advice (Step 3) is Generated Input features Multiple models + SHAP* LLM (GPT-4o) Prediction label & Rationale • Prediction label • Top-3 feature importances テスト問題全体に対する精度は同じ (70%)だが、個別の回答はそれぞれ 異なるモデルの集合 (羅生門集合) を Random Forestから抽出。 * Scott M. Lundberg and Su-In Lee. A unified approach to interpreting model predictions. NIPS’17. LLMを用いて、SHAPに基づく根拠 説明を簡潔な自然言語へと言い換 え、解釈可能性を向上させる。 6
15. Study Design • RQ1: AIパネルの規模 • 被験者間要因: 1 vs. 3 vs. 5 AI パネル AI_1 AI_3 AI_5 • RQ2: AIパネル内の合意度 • 被験者内要因: 試行ごとにランダムに変動する Trial 1: Agreement AI_3 Group Trial 2: Disagreement Trial 3: Agreement … 7
16. Experimental Groups AIパネルの規模 (RQ1) 2値分類タスク (3種類) AI_1 Income 9 groups The number of participants: 1994年の米国在住の人物プロフィールから、年収が 50,000ドル以上か否かを二値予測。特徴量は8項目。 AI_3 Recidivism 米国フロリダ州における被告人が、2年以内に 再犯するかを二値予測。特徴量は8項目。 AI_5 Dating AIパネル内の合意度(RQ2) は各グループで計測 対象人物が異性の相手と数分話した後で 「もう一度会いたい」と回答するかを二値予測。 特徴量は11項目。 8
17. Measurements • 予測精度: • • 50問における最終回答の正答率を算出した 初期予測の正答率も併せて分析し、AI間の意見の多様性や合意が判断の変化に与える 影響を調査した • Switch Fraction (AI依存度): • • 初期回答をAIの推奨に一致するよう変更した割合 複数AI条件では不一致が生じるため、依存は「AIパネルの多数派推奨に従うこと」と 定義し、多数派推奨への同調傾向を評価した より包括的な分析のために、追加のAI依存指標、自信の変化、および 主観的フィードバックも測定した（論文参照） 9
18. Results of RQ1: Accuracy Mean (95% CI). (*: 𝑝 < .05, ***: 𝑝 < .001). • • IncomeとDatingにおいて、AI̲3がAI̲1よりも有意に高い精度を示した 一方で、AI̲5条件は追加の改善をもたらさなかった • AI数の増加が予測精度を単調に高めるとは限らない * Income *** Recidivism Dating 10
19. Results of RQ1: Switch Fraction • AI数の増加は、Switch Fractionに有意な変化をもたらさなかった • パネル規模の拡大が一貫して同調圧力を高めるとは言い難い Income Recidivism Mean (95% CI). Dating 11
20. Results of RQ2: Accuracy Mean (95% CI). (*: 𝑝 < .05, **: 𝑝 < .01, ***: 𝑝 < .001). • AIパネルが3つの場合: 最終的な意思決定の精度は、初期予測と比べてほとんどの条件で増加した *** *** * CON DIV Income * *** CON DIV Recidivism CON: Consensus (3-0) DIV: Partial disagreement (2-1) CON DIV Dating 12
21. Results of RQ2: Accuracy Mean (95% CI). (*: 𝑝 < .05, **: 𝑝 < .01, ***: 𝑝 < .001). • AIパネルが5つの場合: • • 意見がほぼ拮抗した状態 (DIV̲3) では精度の向上が確認できなかった CON と DIV̲4 条件では、最終予測が初期予測に対して有意に改善している *** *** *** CON DIV_4 Income ** ** DIV_3 CON DIV_4 DIV_3 Recidivism CON: Consensus (5-0) DIV_4: Partial disagreement (4-1) DIV_3: Near-even split (3-2) CON DIV_4 DIV_3 Dating 13
22. Results of RQ2: Switch Fraction Mean (95% CI). (**: 𝑝 < .01, ***: 𝑝 < .001). • AIパネルが3つの場合: Switch Fraction は、consensus (CON) 条件において disagreement (DIV) よりも有意に高い *** CON ** DIV Income CON *** DIV Recidivism CON DIV Dating CON: Consensus (3-0) DIV: Partial disagreement (2-1) 14
23. Results of RQ2: Switch Fraction Mean (95% CI). (**: 𝑝 < .01, ***: 𝑝 < .001). • AIパネルが5つの場合: Switch FractionはCON条件で高く、disagreement (DIV_4 & DIV_3)で低下する *** *** *** *** *** *** CON DIV_4 DIV_3 CON DIV_4 DIV_3 CON DIV_4 DIV_3 Income Recidivism Dating CON: Consensus (5-0) DIV_4: Partial disagreement (4-1) DIV_3: Near-even split (3-2) 15
24. Summary of Results • (RQ1) AIパネル規模の変化: 中規模のパネルでは正確性が向上したが、より大規模なパネルでは追加的な効果は見られなかった • (RQ2) AIパネル内の合意度: 同調行動は、主にパネル内で意見がどのように分布しているかによって生じていた Results of RQ1: Accuracy * Switch Fraction (Three-AI) *** CON Income Income DIV 16
25. Summary of Results • (RQ1) AIパネル規模の変化: 中規模のパネルでは正確性が向上したが、より大規模なパネルでは追加的な効果は見られなかった • (RQ2) AIパネル内の合意度: 同調行動は、主にパネル内で意見がどのように分布しているかによって生じていた Results of RQ1: Accuracy * Switch Fraction (Three-AI) *** CON Income Income DIV 16
26. Summary of Results • (RQ1) AIパネル規模の変化: 中規模のパネルでは正確性が向上したが、より大規模なパネルでは追加的な効果は見られなかった • (RQ2) AIパネル内の合意度: 同調行動は、主にパネル内で意見がどのように分布しているかによって生じていた Results of RQ1: Accuracy * Switch Fraction (Three-AI) *** CON Income Income DIV 16
27. Discussion • なぜ中規模のパネルで意思決定の精度は向上したのか? • • 高い合意度は同調傾向を高める一方で、正確性の向上にも寄与した 高い合意度が、ユーザーにとって「いつAI助言に従うべきか」を判断する手がかりとなり得た →単体のAIと比べて、AIが合意していることで「正しそうだから従う」と意思決定しやすい *** *** : AI accuracy * CON CON DIV DIV Dating Dating 17
28. Discussion • なぜ中規模のパネルで意思決定の精度は向上したのか? • • AIの意見が分離している場合でも意思決定の精度は向上している 一方で、多数派への依存度は低下している →少数意見の取り入れ方次第で同調と精度のバランスを調整できる可能性がある *** *** : AI accuracy * CON CON DIV DIV Dating Dating 18
29. Discussion • 大規模なAIパネルではなぜ意思決定の精度は上がらなかったか? • • AIの多数派は参加者よりも高い性能を示していたにもかかわらず、最終的な正確性は向上 しなかった 意見が分かれる状況では、より大規模なパネルが情報過多を引き起こす可能性がある *** : AI accuracy ** CON DIV_4 Dating DIV_3 Dating 19
30. Study 2 • RQ3: 被験者間要因として、AIパネルの擬人化度合いを変化させる Study 1 擬人化を促す手がかり: • 外見 (顔写真*) • 名前 (LLMで生成) • 会話的な口調 (ペルソナ) The number of participants: *Debbie S. Ma, Joshua Correll, and Bernd Wittenbrink. 2015. The Chicago face database: A free stimulus set of faces and norming data. Behavior Research Methods 47 (2015), 1122–1135. doi:10.3758/s13428-014-0532-5
31. Study 2: Example • Manipulation checkで人間らしさを有意に向上させていることを確認
32. Results of Study 2 • Mean (95% CI). タスク全体を通じて、正確性および依存度について、標準パネル（AI̲3）と人間らしいパネル （Human̲3）の間に有意差は見られなかった Accuracy Reliance Income Recidivism Dating 人間らしさを示す手がかりのみでは、同調を一貫して高めることはなかった
33. Design implications • AIパネルの規模はユーザーの処理能力に合わせて調整する: • 意見が一致しない状況では、大規模なパネルは認知負荷を高める可能性がある • タスクの複雑さや、ユーザーが相反する助言を統合する能力に応じて、扱いやすいパ ネルサイズを用いるべきである • 内省を促すために合意度を調整する: • AI間の高い合意は、正確性を高める一方で過度な依存を招く可能性もある • ユーザーが負担を感じすぎることなく重要な意見の多様性に気づけるよう、意見の提 示方法を設計する必要がある（例：少数派の意見を目立たせる） • 人間らしさを文脈依存の要素として扱う: • 人間らしさを示す手がかりは、正確性に一貫した影響を与えなかった • 擬人化は一律に効果をもつ操作としてではなく、文脈に応じた手がかりとして用いる べきである 20
34. Takeaways • AIの数は増やせば良いというものではない • RQ1 (AIパネルの規模): • 中規模のパネルでは正確性が向上したが、より大規模なパネルでは追加的な効果は 見られなかった。 • RQ2 (AIパネル間の合意度): • Switch Fractionは、パネル内の合意度に依存していた。少数派の意見は同調を抑制 する一方で、意見がほぼ均等に分かれる場合には混乱が増加した。 • RQ3 (人間らしさ): • 人間らしさを示す手がかりは、同調を一貫して高めることはなかった。 複数のAIを活用する意思決定システムの設計では、助言の多様性、 ユーザーの認知負荷、同調傾向のバランスを考慮する必要がある。 21
35. Thanks! Paper Baba Lab
36. Reliance
37. Reliance indicators • Agreement Fraction: • The proportion of final responses that matched the AIʼs answer. • Switch Fraction: • The proportion of cases where participants changed their initial answer to match the AIʼs answer. • Relative Positive AI Reliance (RAIR): • The proportion of cases where participants switched to the correct AIʼs answer. • Relative Positive Self-Reliance (RSR): • The proportion of cases where participants kept their own correct answer against an incorrect AIʼs answer. • Accuracy with Initial Disagreement (Accuracy-wid): • The proportion of correct final answers when human and AI initially disagreed.
38. AI reliance across panel size
39. RAIR and RSR in RQ1
40. Comparison of AI reliance measures in the AI_3 condition (𝑀 𝑆𝐷).
41. Comparison of AI reliance measures in the AI_5 condition (𝑀 𝑆𝐷).
42. RAIR and RSR in three-AI and five-AI conditions