Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
Search
masatoto
March 26, 2023
Design
0
130
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
ユーザーニーズと提供価値の明確化について
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
ICLR2024 LLMエージェントの研究動向
masatoto
6
2k
Weekly AI Agents News!
masatoto
12
3.3k
生成AIを用いたText to SQLの最前線
masatoto
1
2.3k
LLMマルチエージェントを俯瞰する
masatoto
26
16k
マルチモーダルLLMの応用動向の論文調査
masatoto
7
2.9k
信頼できるLLMは何を満たすべきか(Trustworthy LLMs)
masatoto
0
1.5k
判断根拠の不確実性を活用したデータ改善手法の提案
masatoto
0
650
NLP2023 分類タスクにおける不確実性の高い文章の傾向調査
masatoto
0
860
人間中心のAIプロダクト開発に向けて意識すること ~データ収集と評価~
masatoto
0
120
Other Decks in Design
See All in Design
デザイン組織の一人目マネージャーが啜る泥水と美味しいビールに向けてTRYすること
ryoya_frst
0
190
Designship 2023|想いを可視化するデザインの力
weddingpark
0
240
社内管理画面のデザインもプロダクトデザイン
takanorip
4
740
MiKS inc. Company PR en_202404
zakkerooni
0
170
Wishing Star Comic
torije
2
1.2k
Data+Diversity: Celebrating W.E.B Du Bois through Data Visualization
ajstarks
0
310
モデル・デザイン入門
akitsugu7935
0
470
ユーザーのためなら 『デザイン』 以外にも手を伸ばせる
navitimejapan
PRO
2
760
root Design Partnership Policy
root_recruit
0
4.1k
言語やロールの違いを超えて、一緒にデザインしていくための挑戦
hrtnde
0
1.3k
Wolf and the seven goatkids
_limex_
PRO
0
450
良いアプリケーションをデザインするための感覚の持ち方 / Cultivating a Sense for Designing Great Applications
usagimaru
23
7.8k
Featured
See All Featured
Design by the Numbers
sachag
274
18k
Building Effective Engineering Teams - LeadDev
addyosmani
28
1.8k
How GitHub (no longer) Works
holman
304
140k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
2
3.4k
How to train your dragon (web standard)
notwaldorf
73
5.2k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.9k
Creatively Recalculating Your Daily Design Routine
revolveconf
210
11k
A better future with KSS
kneath
231
16k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
241
1.2M
For a Future-Friendly Web
brad_frost
172
9k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること ユーザーニーズと提供価値の明確化 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
ユーザーニーズと成功の定義 ユーザーに価値を提供できなければ失敗する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する プロダクトの機能とユーザーニーズがマッチするか評価
①ユーザーニーズを知る ユーザーリサーチを通じて課題仮説の検証段階(Customer Problem Fit) • 前提︓価値を届けたいユーザーは特定済み • ⼿順︓ユーザー調査 → 課題仮説磨き
→ 業務プロセスにAIを対応付け ポイント • 予算と時間の許す限り、多くの⼈にインタビューをすること • ⼈と話し、⾏動を観察することで、あなたの思考を技術中⼼から⼈間中⼼に移していく インタビューのコツや課題仮説の磨き⽅の参考資料 https://note.com/storywriter/n/n22a19bb2200e
AIの強みを活かすとユーザーはどう感じるか 業務の特定部分を⾃動化する製品をユーザーがどう感じるかを観察 • ユーザー調査 → 課題仮説磨き → AIを業務プロセスに対応付け(Problem Solution Fit)
ポイント 「オズの魔法使い法」によるテストをおこなう • 紙芝居式でインタビュアーがタスクの各ステップを説明し、ユーザーに体験をイ メージさせる⽅法
[実践] ⼈間中⼼にマインドセットを変える 「AIを__(ある業務の課題)___に使えないだろうか︖」ではなく、以下を 問いかける。 • __(ある業務の課題)___をどのように解決しようか︖ • AIは、(ある業務の課題)を独⾃の⽅法をもって解決できるのだろうか︖ この質問はどちらかというとマーケットインの考えが強い。 ⼀⽅で、新しい技術をどこに役⽴つか仮説を⽴てて、
社内に問いかけていく中で、想定顧客の業務に詳しくなることもある。
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 解決すべき課題を⾒つけ、AIが正しい⼿段であると判断したら評価⽅法を考える。 AIで提供できることには、⾃動化と拡張・⽀援がある。
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏ ChatGPT含め、⽣成系の影響が⼤きい。 信頼を得るまで「⽀援」をし、その後「⾃動化」へ進む場合もある。 ⼤規模⾔語モデルはどこまで貢献できるか ネックはプロンプトの⼊⼒⻑制限と⾦額 Fine-Tuning vs In-Context Learning
[実践] ヒアリング ユーザー(例ドメインエキスパート)にヒアリングする際の質問事項 ⾃動化の場合 • もし、あなたが新しい同僚に同じような仕事を教えるなら、まず何を教えますか • 教えるとしたら、どのようなことを⼀番に考えますか • どの頻度でその仕事を繰り返しますか
拡張・⽀援の場合 • もしこの仕事を⼀緒にするアシスタントがいるとしたら、どんな仕事をさせますか • 同上
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 評価関数により、AI の成功と失敗を定義 製品のダウンストリーム効果を想像し、潜在的な負の結果を抑える
そして、⻑期的なユーザーの利益を最適化する
③評価指標はユーザー体験に影響を及ぼす 偽陽性と偽陰性を⽐較検討する • 偽陽性重視︓誤警報が増える、 興味ない曲が推薦される • 偽陰性重視︓異常の⾒逃しを減らす、ドキュメントのタグ分類の場合、タグは必要最低限がつく 適合率と再現率のトレードオフを考慮する • このトレードオフは、偽陰性を重視するか、偽陽性を重視するかになる。
• ユーザーは何を期待しているか、何がタスク達成と思えるかに基づいて考える。
結果を注意深く分析する シンプルな評価指標では⾒逃される悪影響がある。 事前に落とし⽳を想像する • 結果の結果を考える。基本は良い。 • 評価指標が完全に最適化されたら、社員/ユーザー/その友⼈や家族/より広い社会に何が起こるか • 例えば、マッチング率100%になったが、結婚率が上がらない可能性がある。 ⼊⼒の限界値を調べる
• 性別、年齢、体型、など、少数派のユーザーや条件に不都合があるか確認する。 時間をかけて劣化するか監視する • 時間と共にデータとユーザーは成⻑する。 • プロダクトを使って100⽇⽬や1000⽇⽬のユーザー体験を考える。 • 需要予測はデータの変化が⼤きいので、評価期間の設計は丁寧に議論する。
個⼈的な失敗と学び ① ユーザーのニーズとAIの強みの共通部分を⾒つける • ユーザーニーズのヒアリングを数件しても結局、当初想定していた課題の域を中々でなかった。 • 会社の壁もあり、想定したユーザーにヒアリングできないことがあった。 • AIの機能が課題に対応しているが、肝⼼の精度が届かなかった。 ②
AIの強み「⾃動化」と「⽀援」を評価する • ⼯数削減など効率性の指標が重視され、集中⼒の削減や精神的負担を下げる業務の「⽀援」が 重視されにくかった。 ③ 評価指標を設計する • ドメインエキスパートが普段使っている評価指標を最初にヒアリングし忘れていた。 • プロダクトに、エクセルのように、評価指標を追加できるようになっていなかった。