Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMからはじめる、 プロダクトへのAI導入
Search
ryopenguin
September 29, 2023
0
140
LLMからはじめる、 プロダクトへのAI導入
LLMからはじめる、 プロダクトへのAI導入 @ 2023.09.28 Microsoftと語る LLM実装の最前線
ryopenguin
September 29, 2023
Tweet
Share
More Decks by ryopenguin
See All by ryopenguin
「見せ球」「作って終わり」のLLM機能卒業のために
ryokaneoka0406
0
390
「見せ球」「作って終わり」LLM機能卒業のために
ryokaneoka0406
0
37
ゼロイチプロダクトのプロダクトマネジメント
ryokaneoka0406
0
390
SaaSのアップセルプロダクトにおけるブレない軸
ryokaneoka0406
1
2.1k
チームのコンテキスト理解を高める 朝会/夕会コンテンツ
ryokaneoka0406
4
1.5k
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
30
1.7k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Writing Fast Ruby
sferik
626
60k
Designing for humans not robots
tammielis
249
25k
Raft: Consensus for Rubyists
vanstee
136
6.6k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
Adopting Sorbet at Scale
ufuk
73
9k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
590
The MySQL Ecosystem @ GitHub 2015
samlambert
250
12k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
12
1.6k
Designing Experiences People Love
moore
138
23k
Transcript
LLMからはじめる、 プロダクトへのAI導入 2023.09.28 Microsoftと語る LLM実装の最前線 Ryo Kaneoka SmartHR Product Manager
本日は、「従業員サーベイ」の「要約AI」機能の事例を通して ◦ 今までAIの取り組みをしてこなかった会社で ◦ どのようにLLMと向き合い ◦ どのように本番サービスにLLMを組み込んだか ◦ 今後どのように活用してくか お話しします!
今日のトピック
Ryo Keneoka(@ryopenguin) • プロダクトマネージャー • SmartHRには2020年10月に入社 • 「従業員サーベイ」「スキル管理」の PM •
LLM利用のタスクフォース、AIの R&Dチームを立ち上げ 自己紹介
アジェンダ • 機能リリース前 - LLMとどう向き合ったか ◦ 会社の状況 ◦ LLMの登場 ◦
タスクフォース活動 ◦ ハッカソン • 機能リリース - 従業員サーベイ「要約AI」機能 ◦ 課題設定 ◦ 実装の工夫 • 4つの学び • 今後の展望
機能リリース前 - LLMとどう向き合ったか
会社の状況 AIエンジニアが一人もいない ニーズ自体はあったが、 大きな取り組みにはなっていなかった
LLMの登場 LLMを突破口に AI活用をスタートさせることに https://openai.com/blog/chatgpt
タスクフォースの組成 LLM利用のタスクフォースを組成
タスクフォース活動(1/3)AI勉強会 まずは職種問わず、 「海のものとも山のものとも分からない」状態を脱する
タスクフォース活動(2/3)プロトタイピング プロダクトに組み込むイメージでプロトタイプを量産 主にプロダクトに関わるメンバーに利用できそうなイメージを持ってもらう
タスクフォース活動(3/3)ハッカソン ハッカソンで、セキュリティや法務のメンバーも含めた複数の職種の人に 手を動かしてもらい、イメージを具体化
成果 プロダクトでのLLM活用の可能性を多くの人が理解した状態にできた
機能リリース - 従業員サーベイ「要約AI」機能
実プロダクトへの組み込みを狙う 従業員データの価値化が重要と考え それが実現できるプロダクト、課題を探す
課題設定(1/2):インパクトがわかりやすい適切な課題を探す 既存の顧客にも 要望されていて アウトプットが イメージしやすい 従来手法だとコストが高く
課題設定(2/2):サーベイの長文要約が合致 要望はあったものの従来手法では高コストだった 長文の要約、ポジネガ判定にアプローチ
従業員サーベイ「要約AI」機能
実装上の工夫(1/3)LangChainのロジックをRubyで実装 LangChain内のアルゴリズムやプロンプトを分析、 自社のメイン言語に合わせて実装 https://python.langchain.com/docs/modules/chains/document/refine
実装上の工夫(2/3)テスト基準を作る 事前にテスト基準を明文化、 テスターを固定してテストしてからリリース
実装上の工夫(3/3)ユーザーとのコミュニケーション 実際のユーザーの先に、従業員がいるのでオプトイン型にする
4つの学び
今回の学び(1/4):プロトタイピングツールとしてのLLM AI組織がない場合、LLMでAI的な体験を高速でプロトタイピングできる
今回の学び(2/4):既存プロダクト組み込みの方法 LLM部を独立したコンポーネントにせず、自社の環境に合わせた方が プロダクトチームでメンテナンスできるようになり、その後の改善はしやすい 最初はRuby OpenAIがAzure対応しておらず、fork LangChain/Llamaindexそのまま利用はしなかった
今回の学び(3/4):LLMの課題 明確なテスト基準がない APIの仕様変更、モデル変更 ビジネスモデルから、 使えるAPIが決まる https://platform.openai.com/ https://openai.com/blog/function-calling-and- other-api-updates
今回の学び(4/4):従来のMachine Learningとの併用 自社データと組み合わせるなら、従来のMLとの併用/従来のML的な評価は必要になりそう→ 両方わかるに越したことはない OCRなどの他モデル併用 自社データの前処理・加工 RAGの評価
今後の展望
現在のSmartHR AIの研究開発を組織化、体制を強化中
ご静聴ありがとうございました!