「見せ球」「作って終わり」のLLM機能卒業のために

by ryopenguin

Slide 1

Slide 1 text

「見せ球」「作って終わり」のLLM機能卒業のために 2024.04.24 LLM Night〜本番運用して気づいた課題と学び〜 Ryo Kaneoka SmartHR Product Manager

Slide 2

Slide 2 text

● リリース前にすること ○ LLMを交えた機能は、深く課題と限界を理解して、動くものを早く作り切る ● リリース後にすること ○ フィードバックは強めに取りに行く ● この2つができれば、社内外に上手く訴求してリリースし、きちんとユーザー課題を解決した上でビジネスになるように LLMを使えるはず今日話すこと　これだけは覚えて帰ってほしい

Slide 3

Slide 3 text

● 開発の詳細 ○ プロンプトのノウハウや評価パイプラインの話は情報が増えてきたので、今日は特に現場感あるお話にフォーカスして話します！今日あまり話さないこと

Slide 4

Slide 4 text

Ryo Keneoka（@ryopenguin） ● プロダクトマネージャー ● SmartHRには2020年10月に入社 ● 「従業員サーベイ」「スキル管理」の PM ● LLM利用のタスクフォース、AIの R&Dチームを立ち上げ自己紹介

Slide 5

Slide 5 text

アジェンダ ● はじめに - SmartHRとLLMについて ● よくある課題とリリース前後で2つの提案 ● リリース前：深く課題と限界を理解して、動くものを早く作り切る ● リリース後：フィードバックは強めに取りに行く ● 結論

Slide 6

Slide 6 text

はじめに - SmartHRとLLMについて

Slide 7

Slide 7 text

SmartHRの主な機能

Slide 8

Slide 8 text

SmartHRの主な機能

Slide 9

Slide 9 text

オプションの従業員サーベイで「要約AI」機能をリリース

Slide 10

Slide 10 text

部門横断でLLMハッカソン実施

Slide 11

Slide 11 text

AIポリシーの策定、AI研究室の立ち上げ AI研究室以後、各プロダクトでのLLM活用を模索

Slide 12

Slide 12 text

よくある課題とリリース前後で2つの提案

Slide 13

Slide 13 text

LLMのプロダクト開発、こんな課題はありませんか？社内PoCでとどまるフィードバックが集まらない最初は話題にはなるけど実際には使われない

Slide 14

Slide 14 text

SmartHRでも顕在化サーベイ要約機能は出せたが、その他の機能がなかなか前に進まない　ユーザーには使われていても、フィードバックが十分ではない

Slide 15

Slide 15 text

「見せ球」「作って終わり」にしない何かが必要 LLM機能のローンチは検証や開発を含め高コストなものユーザーとビジネスに意味がないともったいなすぎる

Slide 16

Slide 16 text

リリース前後での2つの提案 ● リリース前にすること ○ LLMを交えた機能は、深く課題と限界を理解して、動くものを早く作り切る ● リリース後にすること ○ フィードバックは強めに取りに行く

Slide 17

Slide 17 text

リリース前：深く課題と限界を理解して、動くものを早く作り切る

Slide 18

Slide 18 text

リリース前：深く課題と限界を理解して、動くものを早く作り切るユーザーのコストが想像できるまで課題を理解する LLMの速度・価格・知性の限界を把握しておく動くものを早く作るこのフェーズで紹介すること https://www.vellum.ai/llm-leaderboard https://www.productboard.com/agile-product-management-tool/

Slide 19

Slide 19 text

リリース前（1/3）ユーザーのコストが想像できるまで課題を理解する LLM利用機能を考える前に人的コストが想像できるレベルにユーザー解像度を上げるのが実は近道要望蓄積SaaSやユーザーインタビューを常に行えるようにする要望を集める仕組みを整備するユーザー課題を解像度高く把握する「サーベイ」のユーザーが数百人以上の自由記述回答を全て読んでいることを知っていた https://www.productboard.com/agile-product-management-tool/

Slide 20

Slide 20 text

リリース前（2/3）LLMの価格・知性・速度の限界を把握しておくユースケース、ビジネスモデル、ユーザーペルソナによって取れる選択肢は変わってくるリクエストや扱うトークンが多いとGPT-4では厳しいタスクによっては、 GPT-3.5でなんとかなるケースも（例：RAG、要約）利用者が従業員か管理者かで待てる時間は変わってくる価格知性速度 https://www.vellum.ai/llm-leaderboard https://azure.microsoft.com/ja-jp/prod ucts/ai-services/openai-service

Slide 21

Slide 21 text

リリース前（3/3）動くものを早く作る未知の技術を使ったソリューションは動くものがないと価値や制約がわからないここはプロダクトアウトに、動くプロトタイプを作ってしまう

Slide 22

Slide 22 text

「深く課題と限界を理解して、動くものを早く作り切る」効果 ROIの見込みとLLM機能である必然性があってはじめて上手くいくこれらがないとどこかで頓挫するし、ユーザーにも訴求しにくいユーザーのコスト、使うべき LLMと原価が把握でき、 ROIを推測できる投資余地、ROIを推測できるソリューションが適切か評価できるプロトタイピングで本当にユーザーの課題を解決できるかも推測できる

Slide 23

Slide 23 text

「要約AI」機能は3つのアクションが取れたので使われたのかも

Slide 24

Slide 24 text

リリース後：フィードバックは強めに取りに行く

Slide 25

Slide 25 text

リリース後：ユーザーフィードバックは強めに取りに行くこのフェーズで紹介することタスク完了時にすぐフィードバックを依頼するユーザーと一緒に操作する

Slide 26

Slide 26 text

フィードバック収集は、弊社でもうまくできていない部分です 🙏 現時点では後述のように強めに取りに行くしかないと思っているが …パネルディスカッションで議論させてください！ disclaimer：フィードバック収集については…

Slide 27

Slide 27 text

タスクによっては、機能が役に立ったかがわからない人間が実施していたタスクを LLMに置き換えると「本当に役に立ったか」がわからないプロンプト含めて、本来は改善したい

Slide 28

Slide 28 text

Good/Badボタンは押されない Good/Badボタンを基本ユーザーは押さない「要約AI」はアンケートへのリンクも用意したが、ほぼ入力されなかった

Slide 29

Slide 29 text

リリース後（1/2）タスク完了時にすぐフィードバックを依頼するタスク完了時に依頼したり、出力の ABテストをするのは一定有効そう（ ChatGPTに学ぶ）

Slide 30

Slide 30 text

リリース後（2/2）ユーザーと一緒に操作するユーザビリティテストのように、ユーザーと一緒に画面を見ながら操作するのも有効かも

Slide 31

Slide 31 text

「フィードバックを強めに取りに行く」効果ソフトウェアプロダクトはリリースして終わりでないのは LLMを使っても一緒特にプロンプトのブラッシュアップは永遠の課題ユーザーの実データで本当に意図した挙動になっているか把握し、適応するユーザーの現場に適応できるモデル仕様の変更など、異常に対応できる APIプロバイダの仕様変更でハルシネーションしてないかなど、チェックは常にしたい https://openai.com/blog/new-embedding-models-and-api-updates

Slide 32

Slide 32 text

フィードバック収集は、弊社でもうまくできていない部分です 🙏 現時点では前述のように強めに取りに行くしかないと思っているが …パネルディスカッションで議論させてください！ disclaimer（再掲）：フィードバック収集については…

Slide 33

Slide 33 text

結論

Slide 34

Slide 34 text

● リリース前にすること ○ LLMを交えた機能は、深く課題と限界を理解して、動くものを早く作り切る ● リリース後にすること ○ フィードバックは強めに取りに行く ● この2つができれば、社内外に上手く訴求してリリースし、きちんとユーザー課題を解決した上でビジネスになるように LLMを使えるはず今日の結論　これだけは覚えて帰ってほしい

Slide 35

Slide 35 text

ご静聴ありがとうございました！