⼈間中⼼のAIプロダクト開発に向けて意識すること AIを改善するフィードバック機構 @ottamm_190 2023/03/26

はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。 2019年6⽉12⽇時点で⽻⼭ 祥樹（@storywriter）さんの⽇本語訳サイトも⼤変参考になりました。

フィードバックとコントロール ユーザーのフィードバックはAIを成⻑させる ユーザーはフィードバックを望むのか

Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④ 対話によって制御する

Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④ 対話によって制御する ユーザーからAIプロダクトにフィードバックすると AIの性能とユーザー体験を、時間とともに⼤きく向上可能

➀ フィードバックをモデルの改善に合わせる フィードバックは「暗黙的」と「明⽰的」なものがある 暗黙的 • 製品利⽤ログからユーザーの⾏動とインタラクションに関するデータ 明⽰的 • ユーザーが AI の出⼒に対して意図的にコメントを提供 アクセスログ 暗黙的なフィードバック 明⽰的なフィードバック

開発者は暗黙のフィードバックを確認する 暗黙的なフィードバック • プロダクト内のユーザーの⾏動とインタラクションの利⽤ログ • データ収集は事前に知らせ、許可を得ること アプリ利⽤時間帯 推薦の承認・無視回数 購⼊回数 動線

明⽰的なフィードバックを収集する 明⽰的なフィードバック • ユーザーが AI の出⼒に対して意図的にコメントを提供すること • フィードバックの回答の選択肢は、互いに排他的で、全体に網羅的であるべき アンケート お問い合わせ レーティング・いいね 名前 メール 内容 Q A Q A ------------------? --------, -------? 各予測ごと 容易に、即座に収集 複数の予測結果から 回答負担と時間をかけて収集 正解選択 これは__ですか︖

フィードバックの活⽤⽅法 フィードバック内容を分析し、特徴量を作る フィードバックをAI モデルの⼊⼒や出⼒にそのまま利⽤する Explanation-Based Human Debugging 説明結果の正解を⼈間にもらい直接学習 問い合わせ内容からエラー分析 [左図] Principles of Explanatory Debugging to Personalize Interactive Machine Learning,2015 [右図] Joshi, Brihi, et al. "Er-test: Evaluating explanation regularization methods for nlp models." arXiv:2205.12542 (2022).

フィードバックが常に開発者の思惑通りではない ユーザーの⾏動とその意図に関係があるとは限らない。 ⾏動にもとづいて意図を推測する⽅法には注意が必要 ユーザー 開発者 同じ制作者の 動画を⾒たいのだろう︕ 同じジャンルの 動画を⾒たい︕

[実践]フィードバック可能なユーザー体験はあるか AI を改善するためのフィードバックの機会を多く挙げてください。 1. どのようなUXがこのフィードバックの機会になりますか 2. 彼らはどのようなコンテンツにフィードバックを提供していますか 3. このフィードバックは暗黙的ですか、明⽰的ですか

Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④ 対話によって制御する フィードバックを望むなら、⾒合う価値の提供が必要 そして、価値を感じるまでの時間も伝える必要がある

フィードバックに⾒合う価値 「価値」は多くの場合、モチベーションに結びついている 特定のユーザーのメリットからフィードバック要求を構成する ü なぜユーザーがフィードバックをするのか理解する ü ユーザーが感じる価値と実際の価値を擦り合わせる ü フィードバックが価値に変わるまでの時間を伝える

なぜユーザーはフィードバックをするのか ⼈々がフィードバックする理由は様々 フィードバックする理由 説明 物理的な報酬 クラウドワーカーなど、現⾦報酬のため。 フィードバックの品質が低下する恐れあり。 象徴的な報酬 バーチャルバッジなどのステータス獲得のため。コストが低いが、 ユーザーが周りにどのように⾒られたいかに依存する。 個⼈的な効⽤ 関連性の⾼い出⼒を推薦されるように⾏動する⾃⼰⽬的のため。 BtoBだとこちらがほとんど。 利他的な動機 製品レビューを残すなどの他の⼈々の意思決定の⽀援のため。 意⾒がすでに表明されているときはフィードバックが減る。 内発的動機 フィードバックを与えることによる直接的な楽しみ、およびコ ミュニティへの参加の楽しみ。

ユーザーの期待と提供価値を合わせる フィードバックするメリットが不明確な場合 • フィードバックを避ける。 • 無意味な反応をする。 • 有害なフィードバックをする。

提供側と利⽤側の価値を考える 提供者と利⽤者のどちらか⽚⽅しか優遇しないと離脱される。 両者への配慮が求められる。 プラットフォーム プロバイダ ユーザー • 動画配信 • サブスクレンタル品 • 利⽤者 出典 利⽤ feedback feedback

フィードバックが価値に変わるまでの時間を伝える フィードバックの反映時期をユーザーに知らせる。 例）推薦システム 感謝メッセージに続く⽂章 影響のタイミング 影響の範囲 なし なし なし 「あなたのフィードバックにより、今後の推薦が改善 されます。」 今後以降ずっと すべてのユーザーの推薦 「次回のレコメンドには”topic A”は含まれません」 次回。次回がいつか明確で ないと曖昧。 ユーザーの推薦のカテゴリ “topic A” 「おすすめを更新しました。ご覧ください。」 「更新しました。」は即時を意 味する。 ユーザーの推薦 「今後のあなたの推薦を改善します。」 今後以降ずっと ユーザーの推薦

[実践] フィードバック可能な部分を書き出す プロダクトに存在するフィードバックの仕組みを記⼊してください。

[実践] ユーザーにフィードバックを求める妥当性はあるか フィードバックを得たら、ユーザー体験がいつ、どのように改善されるかを考えてください。 各フィードバック リクエストについて、次の質問を⾃問してください。 ü すべてのユーザーは、このフィードバックから恩恵を受けていますか? ü ユーザーのAIへの応答は、フィードバックする意欲にどのように影響しますか? ü このフィードバックに基づいて、AI はどのように変化しますか? ü このフィードバックに基づいて、AI はいつ変更されますか?

[実践] フィードバックのミッションステートメントを書く 先の質問で問題ない場合、ドキュメントに書いておく。 テンプレートのように、明確に意図が伝わるようにする。

[実践] フィードバックの仕様書を詳細に書く

[実践] フィードバックの仕組みを検証する 詳細なドキュメントができたら、ユーザーテストする。 意図的にフィードバックする状況を作るのが困難な場合 • 「オズの魔法使い」のプロトタイプで実施 ü なぜ、このようなフィードバックを求められたと思いますか︖ ü ここでフィードバックを提供するかどうかの意思決定に影響を与えるものは何ですか︖ ü フィードバックをした後、あなたの体験はどのように変わると思いますか︖ ü その他に、時間の経過とともに体験が変化する要素があるとすれば、どのようなものですか︖ ü あなたは、[Xをより多く/より少なく]⾒るために、好みを更新したいと思います。それをどのように⾏うか 教えてください。 質問例

Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④ 対話によって制御する ユーザーがニーズに合わせてAIの出⼒結果を制御する。 制御の例︓出⼒を調整、編集、オフ

ユーザーはいつ出⼒を制御したいのか いつでもAIに⾃動化や⽀援を受けたいわけではない ⼈々がコントロールしたいとき • ⼈々がタスクの結果に対して個⼈的な責任を感じる • 安全や健康などの⾝体的な利害、感情的な利害、⾦銭的な利害がある • ⽣成系で個⼈の好みがAIに伝わりにくい ⼈々がコントロールを放棄したいとき • 簡単だが⼯数のかかるタスク • タスクが不快または危険

編集できるようにする ユーザーの好みは、時間の経過とともに変化する。 ユーザーが AIに伝える好みを制御し、調整できるようにする。 例）リセットや初期化 • ⼈々が以前のフィードバックを消去または更新できるようにする。 • 機械学習モデルをデフォルトのパーソナライズされていないバージョンにリセット できるようにする。

[実践] ユーザーが出⼒を制御したい場⾯はあるか 以下、Yesならユーザーは出⼒を制御したい場合がある。 ü AI は、幅広いユーザーの能⼒と好みに対応できますか? ü AI は、健康、富、⼈間関係など、⾮常に機密性の⾼い領域を扱っていますか? ü AI は、精度が⽬標レベルに到達するのに⻑い時間がかかりますか? ü AI は、リスクの⾼い状況で使⽤されますか? ü ユーザーニーズ的に、モデルの「リセット」または「引き継ぎ」の必要がありますか?

Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④ 対話によって制御する

④ 対話によって制御する ChatGPT以降、対話的に期待する結果に制御できる。 初期プロンプトの変更 • ルールを与える • 例題を与える • 反例をあげる • 条件をつける • 説明を⼊れる 対話的な制御⽅法 • 間違えたら正しい答えを与える • 間違いの原因を分析させる • ⼿順を⼀つ⼀つ教える • 初期プロンプトの変更内容をおこなう 指⽰ 指⽰ 回答 制御

個⼈的な失敗と学び ➀ フィードバックをモデルの改善に合わせる • 明⽰的なフィードバックでも体験全体のフィードバックはユーザーコストが⾼い。 • 施策なしで、ある意図のもと⾏動するユーザー数を把握するのは難しかった。 ➁ 影響を与える価値と時間を伝える • 既存製品は変更タイミングを全く公開していない気がする。 • ChatGPTのような対話式になると、その場で反映するのが良い。 ➂ 制御と⾃動化のバランスをとる • ⼈々がタスクをコントロールしたいかの違いが明確になった。 • 簡単だが、⼯数のかかるタスクは、対話的でなく⾃動的にサクサク処理したい。 ④ 対話によって制御する • ⾃分のパフォーマンスを超えた拡張のようなタスクは対話が望まれる。