Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
Search
masatoto
March 26, 2023
Design
0
170
人間中心のAIプロダクト開発に向けて意識すること ~ユーザーニーズと提供価値の明確化~
ユーザーニーズと提供価値の明確化について
masatoto
March 26, 2023
Tweet
Share
More Decks by masatoto
See All by masatoto
LLM based AI Agents Overview -What, Why, How-
masatoto
1
120
ヘルプデスクの事例で学ぶAIエージェント
masatoto
11
4.5k
Weekly AI Agents News!
masatoto
18
11k
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
63
Weekly AI Agents News! 6月号 プロダクト/ニュースのアーカイブ
masatoto
0
55
Weekly AI Agents News! 5月号 プロダクト/ニュースのアーカイブ
masatoto
0
73
Weekly AI Agents News! 5月号 論文のアーカイブ
masatoto
0
86
Weekly AI Agents News! 4月号 論文のアーカイブ
masatoto
0
48
Weekly AI Agents News! 4月号 プロダクト/ニュースのアーカイブ
masatoto
0
43
Other Decks in Design
See All in Design
Building a mindful relationship with digital media for zillennials prone to anxiety
mastervicedesign
0
160
🇫🇷 Design Leadership en eaux troubles
morganepeng
2
340
プロダクトデザインは子育て/Product design is parenting
medley
0
510
他人事じゃないWebアクセシビリティ入門
arihiro17
0
370
想像するためのデザイン - LARPの可能性を探求してみた話
okabemy
0
220
生成AIを活用したサービス設計のススメ〜仮説構築編〜
tomo1215
2
1.1k
Les petites aventures de CSS, saison 2024
goetter
2
3.7k
Blender 4.1 で レッツ Vket Cloud!
kamera25
0
200
Sunny Day Storyboard
ctagulao98
0
190
デザインスプリントを活かすチームの在り方
mixi_design
PRO
1
430
0-1に挑むデザイナーが 知っておきたい2つの前提
swaaan
3
850
私の困りごとと解決案 / My issues and proposed solutions
kubosho
1
190
Featured
See All Featured
How to Ace a Technical Interview
jacobian
274
23k
Building a Modern Day E-commerce SEO Strategy
aleyda
25
6.7k
Scaling GitHub
holman
458
140k
Unsuck your backbone
ammeep
666
57k
BBQ
matthewcrist
82
9k
Music & Morning Musume
bryan
43
5.9k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
26
1.6k
WebSockets: Embracing the real-time Web
robhawkes
59
7.2k
The World Runs on Bad Software
bkeepers
PRO
63
11k
Building a Scalable Design System with Sketch
lauravandoore
458
32k
Web development in the modern age
philhawksworth
203
10k
The Straight Up "How To Draw Better" Workshop
denniskardys
229
130k
Transcript
⼈間中⼼のAIプロダクト開発に向けて意識すること ユーザーニーズと提供価値の明確化 @ottamm_190 2023/03/26
はじめに GoogleのPeople + AI Research チームがまとめたガイドブック (2021年5⽉18⽇更新版) https://pair.withgoogle.com/guidebook このスライドはガイドブックを訳し、⾃分の知⾒を⼀部加筆した。 技術中⼼から⼈間中⼼に考える視野を広げてくれるガイドブックでした。
2019年6⽉12⽇時点で⽻⼭ 祥樹(@storywriter)さんの⽇本語訳サイトも⼤変参考になりました。
ユーザーニーズと成功の定義 ユーザーに価値を提供できなければ失敗する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する プロダクトの機能とユーザーニーズがマッチするか評価
①ユーザーニーズを知る ユーザーリサーチを通じて課題仮説の検証段階(Customer Problem Fit) • 前提︓価値を届けたいユーザーは特定済み • ⼿順︓ユーザー調査 → 課題仮説磨き
→ 業務プロセスにAIを対応付け ポイント • 予算と時間の許す限り、多くの⼈にインタビューをすること • ⼈と話し、⾏動を観察することで、あなたの思考を技術中⼼から⼈間中⼼に移していく インタビューのコツや課題仮説の磨き⽅の参考資料 https://note.com/storywriter/n/n22a19bb2200e
AIの強みを活かすとユーザーはどう感じるか 業務の特定部分を⾃動化する製品をユーザーがどう感じるかを観察 • ユーザー調査 → 課題仮説磨き → AIを業務プロセスに対応付け(Problem Solution Fit)
ポイント 「オズの魔法使い法」によるテストをおこなう • 紙芝居式でインタビュアーがタスクの各ステップを説明し、ユーザーに体験をイ メージさせる⽅法
[実践] ⼈間中⼼にマインドセットを変える 「AIを__(ある業務の課題)___に使えないだろうか︖」ではなく、以下を 問いかける。 • __(ある業務の課題)___をどのように解決しようか︖ • AIは、(ある業務の課題)を独⾃の⽅法をもって解決できるのだろうか︖ この質問はどちらかというとマーケットインの考えが強い。 ⼀⽅で、新しい技術をどこに役⽴つか仮説を⽴てて、
社内に問いかけていく中で、想定顧客の業務に詳しくなることもある。
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 解決すべき課題を⾒つけ、AIが正しい⼿段であると判断したら評価⽅法を考える。 AIで提供できることには、⾃動化と拡張・⽀援がある。
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏
➁ AIの強み「⾃動化」と「拡張・⽀援」を評価 ⾃動化の評価⽅法(業務プロセスの⼀部をAIの強みに置き換える) • 業務効率性の向上 • ⼈間の安全性の向上 • ⾯倒なタスクの削減 拡張・⽀援の評価⽅法(⼈の仕事を、速く、効率的に、クリエイティブにする)
• タスクに対するユーザーの楽しさの向上 • ユーザーの作業速度の向上 • 創造性の向上 • 精神的ストレスの低減 AI ⼈ ⼈ AI ⽬的遂⾏ ⽬的遂⾏ ChatGPT含め、⽣成系の影響が⼤きい。 信頼を得るまで「⽀援」をし、その後「⾃動化」へ進む場合もある。 ⼤規模⾔語モデルはどこまで貢献できるか ネックはプロンプトの⼊⼒⻑制限と⾦額 Fine-Tuning vs In-Context Learning
[実践] ヒアリング ユーザー(例ドメインエキスパート)にヒアリングする際の質問事項 ⾃動化の場合 • もし、あなたが新しい同僚に同じような仕事を教えるなら、まず何を教えますか • 教えるとしたら、どのようなことを⼀番に考えますか • どの頻度でその仕事を繰り返しますか
拡張・⽀援の場合 • もしこの仕事を⼀緒にするアシスタントがいるとしたら、どんな仕事をさせますか • 同上
ユーザーニーズと成功の定義 ① ユーザーのニーズとAIの強みの共通部分を⾒つける ② AIの強み「⾃動化」と「⽀援」を評価する ③ 報酬関数を設計し評価する 評価関数により、AI の成功と失敗を定義 製品のダウンストリーム効果を想像し、潜在的な負の結果を抑える
そして、⻑期的なユーザーの利益を最適化する
③評価指標はユーザー体験に影響を及ぼす 偽陽性と偽陰性を⽐較検討する • 偽陽性重視︓誤警報が増える、 興味ない曲が推薦される • 偽陰性重視︓異常の⾒逃しを減らす、ドキュメントのタグ分類の場合、タグは必要最低限がつく 適合率と再現率のトレードオフを考慮する • このトレードオフは、偽陰性を重視するか、偽陽性を重視するかになる。
• ユーザーは何を期待しているか、何がタスク達成と思えるかに基づいて考える。
結果を注意深く分析する シンプルな評価指標では⾒逃される悪影響がある。 事前に落とし⽳を想像する • 結果の結果を考える。基本は良い。 • 評価指標が完全に最適化されたら、社員/ユーザー/その友⼈や家族/より広い社会に何が起こるか • 例えば、マッチング率100%になったが、結婚率が上がらない可能性がある。 ⼊⼒の限界値を調べる
• 性別、年齢、体型、など、少数派のユーザーや条件に不都合があるか確認する。 時間をかけて劣化するか監視する • 時間と共にデータとユーザーは成⻑する。 • プロダクトを使って100⽇⽬や1000⽇⽬のユーザー体験を考える。 • 需要予測はデータの変化が⼤きいので、評価期間の設計は丁寧に議論する。
個⼈的な失敗と学び ① ユーザーのニーズとAIの強みの共通部分を⾒つける • ユーザーニーズのヒアリングを数件しても結局、当初想定していた課題の域を中々でなかった。 • 会社の壁もあり、想定したユーザーにヒアリングできないことがあった。 • AIの機能が課題に対応しているが、肝⼼の精度が届かなかった。 ②
AIの強み「⾃動化」と「⽀援」を評価する • ⼯数削減など効率性の指標が重視され、集中⼒の削減や精神的負担を下げる業務の「⽀援」が 重視されにくかった。 ③ 評価指標を設計する • ドメインエキスパートが普段使っている評価指標を最初にヒアリングし忘れていた。 • プロダクトに、エクセルのように、評価指標を追加できるようになっていなかった。