Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
Search
masatoto
March 26, 2023
Design
0
140
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
Weekly AI Agents News!
masatoto
33
69k
Weekly AI Agents News! 2月号 アーカイブ
masatoto
1
210
ビジネスで活かす生成AIエージェント 〜業務利用を目指して今を俯瞰的に理解しよう〜
masatoto
4
740
Utilizing AI Agents in Business: A Comprehensive Overview for Practical Implementation
masatoto
0
170
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
300
Weekly AI Agents News! 12月号 プロダクト/ニュースのアーカイブ
masatoto
0
400
Weekly AI Agents News! 12月号 論文のアーカイブ
masatoto
0
310
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
350
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
370
Other Decks in Design
See All in Design
札幌の雪を観光資源に変える:デザインプログラムSESSAの挑戦
ittyann
0
260
読書シェア会 vol.5 / Yumemi.grow 20250526
rakus_dev
0
1.6k
UXとUIの違いを自分の言葉で表現する: UX DAYS TOKYO
mizunashi_mana
0
110
UXデザインはなぜ定着しないのか?
designstudiopartners
0
750
#Dubois Challenge 2025: Economics
ajstarks
0
130
Liquid Iron
mcduckyart
1
110
1920*1080pxに設定したケース / Google Slide Size Test
arthur1
0
3k
PF_濵村ひろみ_202503
maru_design78
0
190
The Golden Whitney
ohtristanart
PRO
0
560
Saudade typeface
tiagoporto
0
330
同人音声のための、 最高の視聴体験を求めて【サブカル×デザインMeetUP!】
vivion
0
760
株式会社Muture_ソーシャル推進事業
muture
PRO
0
100
Featured
See All Featured
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
181
54k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Typedesign – Prime Four
hannesfritz
42
2.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
36
2.8k
Making the Leap to Tech Lead
cromwellryan
134
9.4k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること AIを改善するフィードバック機構 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
フィードバックとコントロール ユーザーのフィードバックはAIを成⻑させる ユーザーはフィードバックを望むのか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーからAIプロダクトにフィードバックすると AIの性能とユーザー体験を、時間とともに⼤きく向上可能
➀ フィードバックをモデルの改善に合わせる フィードバックは「暗黙的」と「明⽰的」なものがある 暗黙的 • 製品利⽤ログからユーザーの⾏動とインタラクションに関するデータ 明⽰的 • ユーザーが AI
の出⼒に対して意図的にコメントを提供 アクセスログ 暗黙的なフィードバック 明⽰的なフィードバック
開発者は暗黙のフィードバックを確認する 暗黙的なフィードバック • プロダクト内のユーザーの⾏動とインタラクションの利⽤ログ • データ収集は事前に知らせ、許可を得ること アプリ利⽤時間帯 推薦の承認・無視回数 購⼊回数 動線
明⽰的なフィードバックを収集する 明⽰的なフィードバック • ユーザーが AI の出⼒に対して意図的にコメントを提供すること • フィードバックの回答の選択肢は、互いに排他的で、全体に網羅的であるべき アンケート お問い合わせ
レーティング・いいね 名前 メール 内容 Q A Q A ------------------? --------, -------? 各予測ごと 容易に、即座に収集 複数の予測結果から 回答負担と時間をかけて収集 正解選択 これは__ですか︖
フィードバックの活⽤⽅法 フィードバック内容を分析し、特徴量を作る フィードバックをAI モデルの⼊⼒や出⼒にそのまま利⽤する Explanation-Based Human Debugging 説明結果の正解を⼈間にもらい直接学習 問い合わせ内容からエラー分析 [左図]
Principles of Explanatory Debugging to Personalize Interactive Machine Learning,2015 [右図] Joshi, Brihi, et al. "Er-test: Evaluating explanation regularization methods for nlp models." arXiv:2205.12542 (2022).
フィードバックが常に開発者の思惑通りではない ユーザーの⾏動とその意図に関係があるとは限らない。 ⾏動にもとづいて意図を推測する⽅法には注意が必要 ユーザー 開発者 同じ制作者の 動画を⾒たいのだろう︕ 同じジャンルの 動画を⾒たい︕
[実践]フィードバック可能なユーザー体験はあるか AI を改善するためのフィードバックの機会を多く挙げてください。 1. どのようなUXがこのフィードバックの機会になりますか 2. 彼らはどのようなコンテンツにフィードバックを提供していますか 3. このフィードバックは暗黙的ですか、明⽰的ですか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する フィードバックを望むなら、⾒合う価値の提供が必要 そして、価値を感じるまでの時間も伝える必要がある
フィードバックに⾒合う価値 「価値」は多くの場合、モチベーションに結びついている 特定のユーザーのメリットからフィードバック要求を構成する ü なぜユーザーがフィードバックをするのか理解する ü ユーザーが感じる価値と実際の価値を擦り合わせる ü フィードバックが価値に変わるまでの時間を伝える
なぜユーザーはフィードバックをするのか ⼈々がフィードバックする理由は様々 フィードバックする理由 説明 物理的な報酬 クラウドワーカーなど、現⾦報酬のため。 フィードバックの品質が低下する恐れあり。 象徴的な報酬 バーチャルバッジなどのステータス獲得のため。コストが低いが、 ユーザーが周りにどのように⾒られたいかに依存する。
個⼈的な効⽤ 関連性の⾼い出⼒を推薦されるように⾏動する⾃⼰⽬的のため。 BtoBだとこちらがほとんど。 利他的な動機 製品レビューを残すなどの他の⼈々の意思決定の⽀援のため。 意⾒がすでに表明されているときはフィードバックが減る。 内発的動機 フィードバックを与えることによる直接的な楽しみ、およびコ ミュニティへの参加の楽しみ。
ユーザーの期待と提供価値を合わせる フィードバックするメリットが不明確な場合 • フィードバックを避ける。 • 無意味な反応をする。 • 有害なフィードバックをする。
提供側と利⽤側の価値を考える 提供者と利⽤者のどちらか⽚⽅しか優遇しないと離脱される。 両者への配慮が求められる。 プラットフォーム プロバイダ ユーザー • 動画配信 • サブスクレンタル品
• 利⽤者 出典 利⽤ feedback feedback
フィードバックが価値に変わるまでの時間を伝える フィードバックの反映時期をユーザーに知らせる。 例)推薦システム 感謝メッセージに続く⽂章 影響のタイミング 影響の範囲 なし なし なし 「あなたのフィードバックにより、今後の推薦が改善
されます。」 今後以降ずっと すべてのユーザーの推薦 「次回のレコメンドには”topic A”は含まれません」 次回。次回がいつか明確で ないと曖昧。 ユーザーの推薦のカテゴリ “topic A” 「おすすめを更新しました。ご覧ください。」 「更新しました。」は即時を意 味する。 ユーザーの推薦 「今後のあなたの推薦を改善します。」 今後以降ずっと ユーザーの推薦
[実践] フィードバック可能な部分を書き出す プロダクトに存在するフィードバックの仕組みを記⼊してください。
[実践] ユーザーにフィードバックを求める妥当性はあるか フィードバックを得たら、ユーザー体験がいつ、どのように改善されるかを考えてください。 各フィードバック リクエストについて、次の質問を⾃問してください。 ü すべてのユーザーは、このフィードバックから恩恵を受けていますか? ü ユーザーのAIへの応答は、フィードバックする意欲にどのように影響しますか? ü
このフィードバックに基づいて、AI はどのように変化しますか? ü このフィードバックに基づいて、AI はいつ変更されますか?
[実践] フィードバックのミッションステートメントを書く 先の質問で問題ない場合、ドキュメントに書いておく。 テンプレートのように、明確に意図が伝わるようにする。
[実践] フィードバックの仕様書を詳細に書く
[実践] フィードバックの仕組みを検証する 詳細なドキュメントができたら、ユーザーテストする。 意図的にフィードバックする状況を作るのが困難な場合 • 「オズの魔法使い」のプロトタイプで実施 ü なぜ、このようなフィードバックを求められたと思いますか︖ ü ここでフィードバックを提供するかどうかの意思決定に影響を与えるものは何ですか︖
ü フィードバックをした後、あなたの体験はどのように変わると思いますか︖ ü その他に、時間の経過とともに体験が変化する要素があるとすれば、どのようなものですか︖ ü あなたは、[Xをより多く/より少なく]⾒るために、好みを更新したいと思います。それをどのように⾏うか 教えてください。 質問例
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーがニーズに合わせてAIの出⼒結果を制御する。 制御の例︓出⼒を調整、編集、オフ
ユーザーはいつ出⼒を制御したいのか いつでもAIに⾃動化や⽀援を受けたいわけではない ⼈々がコントロールしたいとき • ⼈々がタスクの結果に対して個⼈的な責任を感じる • 安全や健康などの⾝体的な利害、感情的な利害、⾦銭的な利害がある • ⽣成系で個⼈の好みがAIに伝わりにくい ⼈々がコントロールを放棄したいとき
• 簡単だが⼯数のかかるタスク • タスクが不快または危険
編集できるようにする ユーザーの好みは、時間の経過とともに変化する。 ユーザーが AIに伝える好みを制御し、調整できるようにする。 例)リセットや初期化 • ⼈々が以前のフィードバックを消去または更新できるようにする。 • 機械学習モデルをデフォルトのパーソナライズされていないバージョンにリセット できるようにする。
[実践] ユーザーが出⼒を制御したい場⾯はあるか 以下、Yesならユーザーは出⼒を制御したい場合がある。 ü AI は、幅広いユーザーの能⼒と好みに対応できますか? ü AI は、健康、富、⼈間関係など、⾮常に機密性の⾼い領域を扱っていますか? ü
AI は、精度が⽬標レベルに到達するのに⻑い時間がかかりますか? ü AI は、リスクの⾼い状況で使⽤されますか? ü ユーザーニーズ的に、モデルの「リセット」または「引き継ぎ」の必要がありますか?
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
④ 対話によって制御する ChatGPT以降、対話的に期待する結果に制御できる。 初期プロンプトの変更 • ルールを与える • 例題を与える • 反例をあげる
• 条件をつける • 説明を⼊れる 対話的な制御⽅法 • 間違えたら正しい答えを与える • 間違いの原因を分析させる • ⼿順を⼀つ⼀つ教える • 初期プロンプトの変更内容をおこなう 指⽰ 指⽰ 回答 制御
個⼈的な失敗と学び ➀ フィードバックをモデルの改善に合わせる • 明⽰的なフィードバックでも体験全体のフィードバックはユーザーコストが⾼い。 • 施策なしで、ある意図のもと⾏動するユーザー数を把握するのは難しかった。 ➁ 影響を与える価値と時間を伝える •
既存製品は変更タイミングを全く公開していない気がする。 • ChatGPTのような対話式になると、その場で反映するのが良い。 ➂ 制御と⾃動化のバランスをとる • ⼈々がタスクをコントロールしたいかの違いが明確になった。 • 簡単だが、⼯数のかかるタスクは、対話的でなく⾃動的にサクサク処理したい。 ④ 対話によって制御する • ⾃分のパフォーマンスを超えた拡張のようなタスクは対話が望まれる。