⼈間中⼼のAIプロダクト開発に向けて意識すること ユーザーへの説明と信頼の調整 @ottamm_190 2023/03/26

はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。 2019年6⽉12⽇時点で⽻⼭ 祥樹（@storywriter）さんの⽇本語訳サイトも⼤変参考になりました。

説明性と信頼性 説明するのは信頼を構築するため

説明性と信頼性 ① ユーザーの信頼につながるものを特定する ② プロダクトに対して過信にならず、不信にならないようにする ③ プロダクトの体験を通して信頼を調整する

説明性と信頼性 ① ユーザーの信頼につながるものを特定する ② プロダクトに対して過信にならず、不信にならないようにする ③ プロダクトの体験を通して信頼を調整する 信頼 (trust) とは、利益の期待に基づいてリスクを冒す意欲 また、未来の⾏動を信じて頼りにすること

ユーザーの信頼につながるものとは ユーザーの信頼に貢献するもの 能⼒︓タスク達成のための製品の技術/機能 • 製品はユーザーのニーズに対応しており、ユーザーの体験を向上させているか • 明確に価値を感じられる製品を⽬指すべき 信頼性︓製品の能⼒の⼀貫性 • ユーザーの期待に応じた品質基準を満たしているか • 設定した基準を透明にユーザーに伝え、超えた場合のみリリースするべき 善意︓信頼される当事者がユーザーのために良いことをしたいという信念 • ユーザーはあなたの製品との関係から何を得て、あなたは何を得るか • 正直で率直になるべき

説明性と信頼性 ① ユーザーの信頼につながるものを特定する ② プロダクトに対して過信にならず、不信にならないようにする ③ プロダクトの体験を通して信頼を調整する

ユーザーがプロダクトの信頼感を調整できるようにする ユーザーはAIシステムを完全に信頼するべきではない。 ユーザーはいつ予測を信頼し、いつ⾃分の判断を適⽤すべきかを知る必要がある。 信頼感を調整する⽅法 • データソースを明らかにする • ユーザーのアクションにあわせて説明をする • 状況に応じた利害関係を説明する

データソースを明らかにする ユーザーが不信に思う瞬間 • ⾮公開データが公開されていると感じたとき • システムがアクセスしてないと思ったデータがあると感じたとき データの使⽤について説明するべき • データ範囲︓収集されたデータの概要と利⽤⽬的 • 影響範囲 ︓個⼈まで、組織まで、利⽤者全員か • 削除容易性︓使⽤データの削除やリセットができるか

対話⽣成AIのデータソースを明らかにする データ範囲︓どこまでの対話履歴を利⽤して⽣成するか 影響範囲 ︓対話履歴が別タスクのプロンプトに利⽤されるか 削除容易性︓対話の削除やリセットができるか データ範囲をわかりやすくセッションを分ける。 利⽤範囲

ユーザーの⾏動に合わせて説明をする 即レスは原因と結果を特定しやすくし、⼈はより早く学習できる。 予期しない応答をしたときに、説明があれば、ユーザーの信頼回復に役⽴つ。 推薦の拒否 AI ECサイト フィードバック アルゴリズムの更新タイミ ングを伝える︖ フィルターかけたこ とを伝える︖

状況に応じた利害を説明する ⼤きな利害のあるシナリオでは、ユーザーに予測の根拠を伝える 需要予測の場合、コストの⾼い商品には予測の説明を加えるなど 予測に重視した特徴 累積3ヶ⽉ 半年平均 1ヶ⽉差分 予測結果

[実践] AIシステムへの信頼感の確認 どのような体験がAIに対する信頼を変えるか、ブレストする。 校正に影響を与えるデータソース、システムデータ、ユーザーの知識を特定する。 AIシステムを使う患者の医者 シナリオ︓患者はAIが誤って分類した病名で受診する。 AIシステムを使う患者 シナリオ︓患者はAIが誤って分類した病名で受診する。 サービス例︓肌の状態を分類するAI システムデータ システムデータ ユーザー知識 患者の診察履歴 現在の肌状態の画像 訓練データのラベル ユーザー知識 同クラスの類似する肌状態の画像 なし

[実践] 説明する必要があるもの ユーザーは最⼩限の説明で AIの判断を信じるべき ユーザーは常にAIの判断を 検証する必要がある ユーザーは常にAIの判断を 検証する必要がある AIに教えるのは ユーザーであるべき 不確実性の表⽰ 暗黙の説明 暗黙の説明 説明なし 明⽰的な説明 不確実性の表⽰ 明⽰的な説明 不確実性の表⽰ 完璧な説明 信頼を変化させるインタラクションの範囲をマッピングする。 説明が必要なインタラクションを決定する。

[実践] 説明メッセージのテンプレ 需要予測結果を⼈が参考にする 需要⾒積もり担当者 ✅ この予測には学習期間がX年Y⽉~X年Z ⽉までが利⽤され、Z期間は抜いている。 重視されたのは特徴Aと特徴Bである。直 近の予測では精度がXX％だった。

説明性と信頼性 ① ユーザーの信頼につながるものを特定する ② プロダクトに対して過信にならず、不信にならないようにする ③ プロダクトの体験を通して信頼を調整する

プロダクト体験の全体で信頼を調整する 説明は適切な信頼感を築くために極めて重要 AIが出⼒した瞬間の説明 ︓確信度、XAIなど タスクを達成する中での説明 ︓製品の機能と制限を明確に伝える プロダクトの体験を超えた説明︓製品外での説明、マーケ資料など AI機能の説明 体験の説明 プロダクトを超えた説明

説明するポイントは様々 ① データソースの説明 ② モデルの信頼度表⽰の説明 ③ サンプルに基づく説明 ④ インタラクションによる説明

①データソースの説明 どのデータ ソースが予測に最も⼤きな影響を与えたかを明らかにする。 AI機能の説明（植物分類の場合） 「この植物は XYZ の特徴を持つため、ポイズンオークである可能性が最も⾼い」 「この葉は5つじゃないからカエデじゃない」 体験の説明（植物分類の場合） 「このアプリは、⾊、葉の形、その他の要素を使⽤して植物を識別します。」 予測 ⾊ 葉の形 ⼤きさ ⾍⾷い数 XYZ

②モデルの信頼度の説明 信頼度表⽰は、AI の出⼒をどの程度信頼するべきかを判断するのに役⽴つ。 AI機能の説明 • 最も可能性の⾼い分類 • 「ポイズンオーク、カエデの葉、ブラックベリーの葉」 • 数値信頼度 「予測: ポイズン オーク (80%)」 体験の説明 • 数値信頼度 「このアプリは、平均 80% の信頼度で画像を分類します。」 ブラックベリーの葉 カエデの葉 ポイズンオーク 80%

③サンプルに基づく説明 AI の予測の背後にある理由を説明するのが難しい場合に役⽴つ。 AI機能の説明 • 最も類似したポイズンオークの画像と、最も類似した他の葉の画像を表⽰ 体験の説明 • AI はエラーを起こしやすい画像の例と、うまく機能する傾向のある画像の例を⽰す 最も類似した他クラスの画像 最も類似した同じクラスの画像

④インタラクションによる説明 説明が難しい場合はユーザーに探索してもらう。 • AIの説明 • ユーザーは、システムが茂みの葉の⾊を重視しすぎたため、誤分類につながったと疑い、探索する。 • 体験の説明 • インタラクションでは特定の出⼒がないと説明できない。 分類結果 分類A 編集対象画像

失われた信頼を回復する ユーザーの⼼配 • エラーが発⽣したことをシステムは通知するのか • エラーが発⽣した後に安全に続⾏できるかどうか 起こりうる結果の深刻度に応じて、ユーザーに進むべき道を⽰す。 すぐにエラーに対処する • 問題がどのように対処されるかをユーザーに知らせる。 エラーの再発を防ぐ • ユーザーが期待していた予測をシステムに教える機会をユーザーに与える。 • リスクの⾼い結果の場合は、⾃動化から⼿動制御に完全に移⾏します。

個⼈的な学びと失敗 ① ユーザーの信頼につながるものを特定する • 能⼒はGPT4だとユーザーの基準を満たす。⼀⽅で、安定した回答には不安が残る。 • プロンプトをサービスの⽬的以外で利⽤されないように配慮した設計にする。 ② プロダクトに対して過信にならず、不信にならないようにする • PoCで数百枚の画像であれば、エクセルで画像の品質を管理し、学習に使うか否か議論したのは良かった。 • ChatGPTで新規会話か継続か区別をつける設計は⼤事だと思った。 ③ プロダクトの体験を通して信頼を調整する • AIの予測に対する説明は多いが、プロダクトの体験の中で注釈は少ないので今後意識したい。 • 開発者ならドキュメントを読むでいいが、ユーザーには認知負担のない形でタスク達成の⽀援をしたい。 • ChatGPTで予測の説明がサンプルや特徴でなく、参考記事や根拠⽂章でエビデンスを⽰しそう。