Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
Search
masatoto
March 26, 2023
Design
0
94
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
Weekly AI Agents News!
masatoto
1
26
生成AIを用いたText to SQLの最前線
masatoto
1
2k
LLMマルチエージェントを俯瞰する
masatoto
26
15k
マルチモーダルLLMの応用動向の論文調査
masatoto
7
2.8k
信頼できるLLMは何を満たすべきか(Trustworthy LLMs)
masatoto
0
1.5k
判断根拠の不確実性を活用したデータ改善手法の提案
masatoto
0
630
NLP2023 分類タスクにおける不確実性の高い文章の傾向調査
masatoto
0
840
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
masatoto
0
120
人間中心のAIプロダクト開発に向けて意識すること ~データ収集と評価~
masatoto
0
110
Other Decks in Design
See All in Design
プロダクトデザイン部 組織紹介(デザイナー向け)
chatwork_hr
1
220
顧客体験を作るデザイナーが 意思決定速度を上げるために使うAI
cremacrema
2
420
社内のコミュニケーション課題に対して個人的に行っているデザイン以外の草の根活動
sugiyama_sukedachi
0
140
Wolf and the seven goatkids
_limex_
PRO
0
420
意志と、デザインと、ときどきお金
transit_kix
2
2.2k
みてね デザイン組織の変遷とデザインマネージャーの振り返り
naoyawatanabe
3
600
デザイン組織の一人目マネージャーが啜る泥水と美味しいビールに向けてTRYすること
ryoya_frst
0
180
PRDがデザインプロセスを高速化した話
tooomo
1
260
Designing UIs without a UI designer
strongeron
0
110
メドレーという会社と デザインチームのひみつ/About Medley design team
medley
0
360
Jeremy's First Day
myates3
1
130
実案件でのFigmaデータの作り方
xxxkinu
2
210
Featured
See All Featured
Robots, Beer and Maslow
schacon
PRO
155
7.9k
In The Pink: A Labor of Love
frogandcode
138
21k
Large-scale JavaScript Application Architecture
addyosmani
503
110k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3k
A designer walks into a library…
pauljervisheath
199
23k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
124
32k
KATA
mclloyd
14
12k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Debugging Ruby Performance
tmm1
70
11k
GitHub's CSS Performance
jonrohan
1023
450k
Building an army of robots
kneath
300
41k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること AIを改善するフィードバック機構 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
フィードバックとコントロール ユーザーのフィードバックはAIを成⻑させる ユーザーはフィードバックを望むのか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーからAIプロダクトにフィードバックすると AIの性能とユーザー体験を、時間とともに⼤きく向上可能
➀ フィードバックをモデルの改善に合わせる フィードバックは「暗黙的」と「明⽰的」なものがある 暗黙的 • 製品利⽤ログからユーザーの⾏動とインタラクションに関するデータ 明⽰的 • ユーザーが AI
の出⼒に対して意図的にコメントを提供 アクセスログ 暗黙的なフィードバック 明⽰的なフィードバック
開発者は暗黙のフィードバックを確認する 暗黙的なフィードバック • プロダクト内のユーザーの⾏動とインタラクションの利⽤ログ • データ収集は事前に知らせ、許可を得ること アプリ利⽤時間帯 推薦の承認・無視回数 購⼊回数 動線
明⽰的なフィードバックを収集する 明⽰的なフィードバック • ユーザーが AI の出⼒に対して意図的にコメントを提供すること • フィードバックの回答の選択肢は、互いに排他的で、全体に網羅的であるべき アンケート お問い合わせ
レーティング・いいね 名前 メール 内容 Q A Q A ------------------? --------, -------? 各予測ごと 容易に、即座に収集 複数の予測結果から 回答負担と時間をかけて収集 正解選択 これは__ですか︖
フィードバックの活⽤⽅法 フィードバック内容を分析し、特徴量を作る フィードバックをAI モデルの⼊⼒や出⼒にそのまま利⽤する Explanation-Based Human Debugging 説明結果の正解を⼈間にもらい直接学習 問い合わせ内容からエラー分析 [左図]
Principles of Explanatory Debugging to Personalize Interactive Machine Learning,2015 [右図] Joshi, Brihi, et al. "Er-test: Evaluating explanation regularization methods for nlp models." arXiv:2205.12542 (2022).
フィードバックが常に開発者の思惑通りではない ユーザーの⾏動とその意図に関係があるとは限らない。 ⾏動にもとづいて意図を推測する⽅法には注意が必要 ユーザー 開発者 同じ制作者の 動画を⾒たいのだろう︕ 同じジャンルの 動画を⾒たい︕
[実践]フィードバック可能なユーザー体験はあるか AI を改善するためのフィードバックの機会を多く挙げてください。 1. どのようなUXがこのフィードバックの機会になりますか 2. 彼らはどのようなコンテンツにフィードバックを提供していますか 3. このフィードバックは暗黙的ですか、明⽰的ですか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する フィードバックを望むなら、⾒合う価値の提供が必要 そして、価値を感じるまでの時間も伝える必要がある
フィードバックに⾒合う価値 「価値」は多くの場合、モチベーションに結びついている 特定のユーザーのメリットからフィードバック要求を構成する ü なぜユーザーがフィードバックをするのか理解する ü ユーザーが感じる価値と実際の価値を擦り合わせる ü フィードバックが価値に変わるまでの時間を伝える
なぜユーザーはフィードバックをするのか ⼈々がフィードバックする理由は様々 フィードバックする理由 説明 物理的な報酬 クラウドワーカーなど、現⾦報酬のため。 フィードバックの品質が低下する恐れあり。 象徴的な報酬 バーチャルバッジなどのステータス獲得のため。コストが低いが、 ユーザーが周りにどのように⾒られたいかに依存する。
個⼈的な効⽤ 関連性の⾼い出⼒を推薦されるように⾏動する⾃⼰⽬的のため。 BtoBだとこちらがほとんど。 利他的な動機 製品レビューを残すなどの他の⼈々の意思決定の⽀援のため。 意⾒がすでに表明されているときはフィードバックが減る。 内発的動機 フィードバックを与えることによる直接的な楽しみ、およびコ ミュニティへの参加の楽しみ。
ユーザーの期待と提供価値を合わせる フィードバックするメリットが不明確な場合 • フィードバックを避ける。 • 無意味な反応をする。 • 有害なフィードバックをする。
提供側と利⽤側の価値を考える 提供者と利⽤者のどちらか⽚⽅しか優遇しないと離脱される。 両者への配慮が求められる。 プラットフォーム プロバイダ ユーザー • 動画配信 • サブスクレンタル品
• 利⽤者 出典 利⽤ feedback feedback
フィードバックが価値に変わるまでの時間を伝える フィードバックの反映時期をユーザーに知らせる。 例)推薦システム 感謝メッセージに続く⽂章 影響のタイミング 影響の範囲 なし なし なし 「あなたのフィードバックにより、今後の推薦が改善
されます。」 今後以降ずっと すべてのユーザーの推薦 「次回のレコメンドには”topic A”は含まれません」 次回。次回がいつか明確で ないと曖昧。 ユーザーの推薦のカテゴリ “topic A” 「おすすめを更新しました。ご覧ください。」 「更新しました。」は即時を意 味する。 ユーザーの推薦 「今後のあなたの推薦を改善します。」 今後以降ずっと ユーザーの推薦
[実践] フィードバック可能な部分を書き出す プロダクトに存在するフィードバックの仕組みを記⼊してください。
[実践] ユーザーにフィードバックを求める妥当性はあるか フィードバックを得たら、ユーザー体験がいつ、どのように改善されるかを考えてください。 各フィードバック リクエストについて、次の質問を⾃問してください。 ü すべてのユーザーは、このフィードバックから恩恵を受けていますか? ü ユーザーのAIへの応答は、フィードバックする意欲にどのように影響しますか? ü
このフィードバックに基づいて、AI はどのように変化しますか? ü このフィードバックに基づいて、AI はいつ変更されますか?
[実践] フィードバックのミッションステートメントを書く 先の質問で問題ない場合、ドキュメントに書いておく。 テンプレートのように、明確に意図が伝わるようにする。
[実践] フィードバックの仕様書を詳細に書く
[実践] フィードバックの仕組みを検証する 詳細なドキュメントができたら、ユーザーテストする。 意図的にフィードバックする状況を作るのが困難な場合 • 「オズの魔法使い」のプロトタイプで実施 ü なぜ、このようなフィードバックを求められたと思いますか︖ ü ここでフィードバックを提供するかどうかの意思決定に影響を与えるものは何ですか︖
ü フィードバックをした後、あなたの体験はどのように変わると思いますか︖ ü その他に、時間の経過とともに体験が変化する要素があるとすれば、どのようなものですか︖ ü あなたは、[Xをより多く/より少なく]⾒るために、好みを更新したいと思います。それをどのように⾏うか 教えてください。 質問例
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーがニーズに合わせてAIの出⼒結果を制御する。 制御の例︓出⼒を調整、編集、オフ
ユーザーはいつ出⼒を制御したいのか いつでもAIに⾃動化や⽀援を受けたいわけではない ⼈々がコントロールしたいとき • ⼈々がタスクの結果に対して個⼈的な責任を感じる • 安全や健康などの⾝体的な利害、感情的な利害、⾦銭的な利害がある • ⽣成系で個⼈の好みがAIに伝わりにくい ⼈々がコントロールを放棄したいとき
• 簡単だが⼯数のかかるタスク • タスクが不快または危険
編集できるようにする ユーザーの好みは、時間の経過とともに変化する。 ユーザーが AIに伝える好みを制御し、調整できるようにする。 例)リセットや初期化 • ⼈々が以前のフィードバックを消去または更新できるようにする。 • 機械学習モデルをデフォルトのパーソナライズされていないバージョンにリセット できるようにする。
[実践] ユーザーが出⼒を制御したい場⾯はあるか 以下、Yesならユーザーは出⼒を制御したい場合がある。 ü AI は、幅広いユーザーの能⼒と好みに対応できますか? ü AI は、健康、富、⼈間関係など、⾮常に機密性の⾼い領域を扱っていますか? ü
AI は、精度が⽬標レベルに到達するのに⻑い時間がかかりますか? ü AI は、リスクの⾼い状況で使⽤されますか? ü ユーザーニーズ的に、モデルの「リセット」または「引き継ぎ」の必要がありますか?
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
④ 対話によって制御する ChatGPT以降、対話的に期待する結果に制御できる。 初期プロンプトの変更 • ルールを与える • 例題を与える • 反例をあげる
• 条件をつける • 説明を⼊れる 対話的な制御⽅法 • 間違えたら正しい答えを与える • 間違いの原因を分析させる • ⼿順を⼀つ⼀つ教える • 初期プロンプトの変更内容をおこなう 指⽰ 指⽰ 回答 制御
個⼈的な失敗と学び ➀ フィードバックをモデルの改善に合わせる • 明⽰的なフィードバックでも体験全体のフィードバックはユーザーコストが⾼い。 • 施策なしで、ある意図のもと⾏動するユーザー数を把握するのは難しかった。 ➁ 影響を与える価値と時間を伝える •
既存製品は変更タイミングを全く公開していない気がする。 • ChatGPTのような対話式になると、その場で反映するのが良い。 ➂ 制御と⾃動化のバランスをとる • ⼈々がタスクをコントロールしたいかの違いが明確になった。 • 簡単だが、⼯数のかかるタスクは、対話的でなく⾃動的にサクサク処理したい。 ④ 対話によって制御する • ⾃分のパフォーマンスを超えた拡張のようなタスクは対話が望まれる。