Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
Search
masatoto
March 26, 2023
Design
0
130
人間中心のAIプロダクト開発に向けて意識すること ~フィードバック~
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
Weekly AI Agents News!
masatoto
31
53k
ビジネスで活かす生成AIエージェント 〜業務利用を目指して今を俯瞰的に理解しよう〜
masatoto
4
230
Utilizing AI Agents in Business: A Comprehensive Overview for Practical Implementation
masatoto
0
48
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
160
Weekly AI Agents News! 12月号 プロダクト/ニュースのアーカイブ
masatoto
0
320
Weekly AI Agents News! 12月号 論文のアーカイブ
masatoto
0
190
Weekly AI Agents News! 11月号 論文のアーカイブ
masatoto
0
300
Weekly AI Agents News! 11月号 プロダクト/ニュースのアーカイブ
masatoto
0
300
Weekly AI Agents News! 10月号 論文のアーカイブ
masatoto
1
510
Other Decks in Design
See All in Design
富山デザイン勉強会_デザイントレンド2025.pdf
keita_yoshikawa
0
160
一人ひとりのポテンシャルを活かしたナレッジマネジメントとは?
atsushihomma
0
360
界隈からの逃走–デザイン初め新年会2025
sekiguchiy
3
1k
Дизайн услуги через её визуализацию с Картой процесса-опыта
ashapiro
0
240
ゲーム開発における、Figma活用事例の紹介 / applibot-figma
cyberagentdevelopers
PRO
2
660
株式会社デイトラ様│コーポレートサイト│コンセプトシート
haruka_capeo
0
410
セブンデックス カルチャーブック
sevendex
0
2.1k
太田博三(@usagisan2020)
otanet
0
230
241214_StackNagoya_プレイングマネージャーのプレイングの時間の使い方
kiyoshifuwa
0
210
コンセプトで経営・事業・組織を動かす、 Ameba20周年ブランディング / ameba-20th-branding
cyberagentdevelopers
PRO
1
570
ABEMAの進化 – 複雑化したコンテンツ構造とUI改善への道 – / abema-ui-improve
cyberagentdevelopers
PRO
2
570
[Designship2024] デザインの力でサービスの価値を追求していたら、組織全体をデザインしていた話
okakasoysauce
3
1.1k
Featured
See All Featured
Navigating Team Friction
lara
183
15k
How GitHub (no longer) Works
holman
314
140k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Raft: Consensus for Rubyists
vanstee
137
6.8k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.3k
Designing on Purpose - Digital PM Summit 2013
jponch
117
7.1k
Visualization
eitanlees
146
15k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.8k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Being A Developer After 40
akosma
89
590k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
12
970
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること AIを改善するフィードバック機構 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
フィードバックとコントロール ユーザーのフィードバックはAIを成⻑させる ユーザーはフィードバックを望むのか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーからAIプロダクトにフィードバックすると AIの性能とユーザー体験を、時間とともに⼤きく向上可能
➀ フィードバックをモデルの改善に合わせる フィードバックは「暗黙的」と「明⽰的」なものがある 暗黙的 • 製品利⽤ログからユーザーの⾏動とインタラクションに関するデータ 明⽰的 • ユーザーが AI
の出⼒に対して意図的にコメントを提供 アクセスログ 暗黙的なフィードバック 明⽰的なフィードバック
開発者は暗黙のフィードバックを確認する 暗黙的なフィードバック • プロダクト内のユーザーの⾏動とインタラクションの利⽤ログ • データ収集は事前に知らせ、許可を得ること アプリ利⽤時間帯 推薦の承認・無視回数 購⼊回数 動線
明⽰的なフィードバックを収集する 明⽰的なフィードバック • ユーザーが AI の出⼒に対して意図的にコメントを提供すること • フィードバックの回答の選択肢は、互いに排他的で、全体に網羅的であるべき アンケート お問い合わせ
レーティング・いいね 名前 メール 内容 Q A Q A ------------------? --------, -------? 各予測ごと 容易に、即座に収集 複数の予測結果から 回答負担と時間をかけて収集 正解選択 これは__ですか︖
フィードバックの活⽤⽅法 フィードバック内容を分析し、特徴量を作る フィードバックをAI モデルの⼊⼒や出⼒にそのまま利⽤する Explanation-Based Human Debugging 説明結果の正解を⼈間にもらい直接学習 問い合わせ内容からエラー分析 [左図]
Principles of Explanatory Debugging to Personalize Interactive Machine Learning,2015 [右図] Joshi, Brihi, et al. "Er-test: Evaluating explanation regularization methods for nlp models." arXiv:2205.12542 (2022).
フィードバックが常に開発者の思惑通りではない ユーザーの⾏動とその意図に関係があるとは限らない。 ⾏動にもとづいて意図を推測する⽅法には注意が必要 ユーザー 開発者 同じ制作者の 動画を⾒たいのだろう︕ 同じジャンルの 動画を⾒たい︕
[実践]フィードバック可能なユーザー体験はあるか AI を改善するためのフィードバックの機会を多く挙げてください。 1. どのようなUXがこのフィードバックの機会になりますか 2. 彼らはどのようなコンテンツにフィードバックを提供していますか 3. このフィードバックは暗黙的ですか、明⽰的ですか
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する フィードバックを望むなら、⾒合う価値の提供が必要 そして、価値を感じるまでの時間も伝える必要がある
フィードバックに⾒合う価値 「価値」は多くの場合、モチベーションに結びついている 特定のユーザーのメリットからフィードバック要求を構成する ü なぜユーザーがフィードバックをするのか理解する ü ユーザーが感じる価値と実際の価値を擦り合わせる ü フィードバックが価値に変わるまでの時間を伝える
なぜユーザーはフィードバックをするのか ⼈々がフィードバックする理由は様々 フィードバックする理由 説明 物理的な報酬 クラウドワーカーなど、現⾦報酬のため。 フィードバックの品質が低下する恐れあり。 象徴的な報酬 バーチャルバッジなどのステータス獲得のため。コストが低いが、 ユーザーが周りにどのように⾒られたいかに依存する。
個⼈的な効⽤ 関連性の⾼い出⼒を推薦されるように⾏動する⾃⼰⽬的のため。 BtoBだとこちらがほとんど。 利他的な動機 製品レビューを残すなどの他の⼈々の意思決定の⽀援のため。 意⾒がすでに表明されているときはフィードバックが減る。 内発的動機 フィードバックを与えることによる直接的な楽しみ、およびコ ミュニティへの参加の楽しみ。
ユーザーの期待と提供価値を合わせる フィードバックするメリットが不明確な場合 • フィードバックを避ける。 • 無意味な反応をする。 • 有害なフィードバックをする。
提供側と利⽤側の価値を考える 提供者と利⽤者のどちらか⽚⽅しか優遇しないと離脱される。 両者への配慮が求められる。 プラットフォーム プロバイダ ユーザー • 動画配信 • サブスクレンタル品
• 利⽤者 出典 利⽤ feedback feedback
フィードバックが価値に変わるまでの時間を伝える フィードバックの反映時期をユーザーに知らせる。 例)推薦システム 感謝メッセージに続く⽂章 影響のタイミング 影響の範囲 なし なし なし 「あなたのフィードバックにより、今後の推薦が改善
されます。」 今後以降ずっと すべてのユーザーの推薦 「次回のレコメンドには”topic A”は含まれません」 次回。次回がいつか明確で ないと曖昧。 ユーザーの推薦のカテゴリ “topic A” 「おすすめを更新しました。ご覧ください。」 「更新しました。」は即時を意 味する。 ユーザーの推薦 「今後のあなたの推薦を改善します。」 今後以降ずっと ユーザーの推薦
[実践] フィードバック可能な部分を書き出す プロダクトに存在するフィードバックの仕組みを記⼊してください。
[実践] ユーザーにフィードバックを求める妥当性はあるか フィードバックを得たら、ユーザー体験がいつ、どのように改善されるかを考えてください。 各フィードバック リクエストについて、次の質問を⾃問してください。 ü すべてのユーザーは、このフィードバックから恩恵を受けていますか? ü ユーザーのAIへの応答は、フィードバックする意欲にどのように影響しますか? ü
このフィードバックに基づいて、AI はどのように変化しますか? ü このフィードバックに基づいて、AI はいつ変更されますか?
[実践] フィードバックのミッションステートメントを書く 先の質問で問題ない場合、ドキュメントに書いておく。 テンプレートのように、明確に意図が伝わるようにする。
[実践] フィードバックの仕様書を詳細に書く
[実践] フィードバックの仕組みを検証する 詳細なドキュメントができたら、ユーザーテストする。 意図的にフィードバックする状況を作るのが困難な場合 • 「オズの魔法使い」のプロトタイプで実施 ü なぜ、このようなフィードバックを求められたと思いますか︖ ü ここでフィードバックを提供するかどうかの意思決定に影響を与えるものは何ですか︖
ü フィードバックをした後、あなたの体験はどのように変わると思いますか︖ ü その他に、時間の経過とともに体験が変化する要素があるとすれば、どのようなものですか︖ ü あなたは、[Xをより多く/より少なく]⾒るために、好みを更新したいと思います。それをどのように⾏うか 教えてください。 質問例
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する ユーザーがニーズに合わせてAIの出⼒結果を制御する。 制御の例︓出⼒を調整、編集、オフ
ユーザーはいつ出⼒を制御したいのか いつでもAIに⾃動化や⽀援を受けたいわけではない ⼈々がコントロールしたいとき • ⼈々がタスクの結果に対して個⼈的な責任を感じる • 安全や健康などの⾝体的な利害、感情的な利害、⾦銭的な利害がある • ⽣成系で個⼈の好みがAIに伝わりにくい ⼈々がコントロールを放棄したいとき
• 簡単だが⼯数のかかるタスク • タスクが不快または危険
編集できるようにする ユーザーの好みは、時間の経過とともに変化する。 ユーザーが AIに伝える好みを制御し、調整できるようにする。 例)リセットや初期化 • ⼈々が以前のフィードバックを消去または更新できるようにする。 • 機械学習モデルをデフォルトのパーソナライズされていないバージョンにリセット できるようにする。
[実践] ユーザーが出⼒を制御したい場⾯はあるか 以下、Yesならユーザーは出⼒を制御したい場合がある。 ü AI は、幅広いユーザーの能⼒と好みに対応できますか? ü AI は、健康、富、⼈間関係など、⾮常に機密性の⾼い領域を扱っていますか? ü
AI は、精度が⽬標レベルに到達するのに⻑い時間がかかりますか? ü AI は、リスクの⾼い状況で使⽤されますか? ü ユーザーニーズ的に、モデルの「リセット」または「引き継ぎ」の必要がありますか?
Feedback + Control ➀ フィードバックをモデルの改善に合わせる ➁ 影響を与える価値と時間を伝える ➂ 制御と⾃動化のバランスをとる ④
対話によって制御する
④ 対話によって制御する ChatGPT以降、対話的に期待する結果に制御できる。 初期プロンプトの変更 • ルールを与える • 例題を与える • 反例をあげる
• 条件をつける • 説明を⼊れる 対話的な制御⽅法 • 間違えたら正しい答えを与える • 間違いの原因を分析させる • ⼿順を⼀つ⼀つ教える • 初期プロンプトの変更内容をおこなう 指⽰ 指⽰ 回答 制御
個⼈的な失敗と学び ➀ フィードバックをモデルの改善に合わせる • 明⽰的なフィードバックでも体験全体のフィードバックはユーザーコストが⾼い。 • 施策なしで、ある意図のもと⾏動するユーザー数を把握するのは難しかった。 ➁ 影響を与える価値と時間を伝える •
既存製品は変更タイミングを全く公開していない気がする。 • ChatGPTのような対話式になると、その場で反映するのが良い。 ➂ 制御と⾃動化のバランスをとる • ⼈々がタスクをコントロールしたいかの違いが明確になった。 • 簡単だが、⼯数のかかるタスクは、対話的でなく⾃動的にサクサク処理したい。 ④ 対話によって制御する • ⾃分のパフォーマンスを超えた拡張のようなタスクは対話が望まれる。