LLMからはじめる、 プロダクトへのAI導入

LLMからはじめる、 プロダクトへのAI導入 @ 2023.09.28 Microsoftと語る LLM実装の最前線

Transcript

1. LLMからはじめる、 プロダクトへのAI導入 2023.09.28 Microsoftと語る LLM実装の最前線 Ryo Kaneoka SmartHR Product Manager
2. 本日は、「従業員サーベイ」の「要約AI」機能の事例を通して ◦ 今までAIの取り組みをしてこなかった会社で ◦ どのようにLLMと向き合い ◦ どのように本番サービスにLLMを組み込んだか ◦ 今後どのように活用してくか お話しします！ 今日のトピック
3. Ryo Keneoka（@ryopenguin） • プロダクトマネージャー • SmartHRには2020年10月に入社 • 「従業員サーベイ」「スキル管理」の PM • LLM利用のタスクフォース、AIの R&Dチームを立ち上げ 自己紹介
4. アジェンダ • 機能リリース前 - LLMとどう向き合ったか ◦ 会社の状況 ◦ LLMの登場 ◦ タスクフォース活動 ◦ ハッカソン • 機能リリース - 従業員サーベイ「要約AI」機能 ◦ 課題設定 ◦ 実装の工夫 • 4つの学び • 今後の展望
5. 機能リリース前 - LLMとどう向き合ったか
6. 会社の状況 AIエンジニアが一人もいない ニーズ自体はあったが、 大きな取り組みにはなっていなかった
7. LLMの登場 LLMを突破口に AI活用をスタートさせることに https://openai.com/blog/chatgpt
8. タスクフォースの組成 LLM利用のタスクフォースを組成
9. タスクフォース活動（1/3）AI勉強会 まずは職種問わず、 「海のものとも山のものとも分からない」状態を脱する
10. タスクフォース活動（2/3）プロトタイピング プロダクトに組み込むイメージでプロトタイプを量産 主にプロダクトに関わるメンバーに利用できそうなイメージを持ってもらう
11. タスクフォース活動（3/3）ハッカソン ハッカソンで、セキュリティや法務のメンバーも含めた複数の職種の人に 手を動かしてもらい、イメージを具体化
12. 成果 プロダクトでのLLM活用の可能性を多くの人が理解した状態にできた
13. 機能リリース - 従業員サーベイ「要約AI」機能
14. 実プロダクトへの組み込みを狙う 従業員データの価値化が重要と考え それが実現できるプロダクト、課題を探す
15. 課題設定（1/2）：インパクトがわかりやすい適切な課題を探す 既存の顧客にも 要望されていて アウトプットが イメージしやすい 従来手法だとコストが高く
16. 課題設定（2/2）：サーベイの長文要約が合致 要望はあったものの従来手法では高コストだった 長文の要約、ポジネガ判定にアプローチ
17. 従業員サーベイ「要約AI」機能
18. 実装上の工夫（1/3）LangChainのロジックをRubyで実装 LangChain内のアルゴリズムやプロンプトを分析、 自社のメイン言語に合わせて実装 https://python.langchain.com/docs/modules/chains/document/refine
19. 実装上の工夫（2/3）テスト基準を作る 事前にテスト基準を明文化、 テスターを固定してテストしてからリリース
20. 実装上の工夫（3/3）ユーザーとのコミュニケーション 実際のユーザーの先に、従業員がいるのでオプトイン型にする
21. 4つの学び
22. 今回の学び（1/4）:プロトタイピングツールとしてのLLM AI組織がない場合、LLMでAI的な体験を高速でプロトタイピングできる
23. 今回の学び（2/4）:既存プロダクト組み込みの方法 LLM部を独立したコンポーネントにせず、自社の環境に合わせた方が プロダクトチームでメンテナンスできるようになり、その後の改善はしやすい 最初はRuby OpenAIがAzure対応しておらず、fork LangChain/Llamaindexそのまま利用はしなかった
24. 今回の学び（3/4）:LLMの課題 明確なテスト基準がない APIの仕様変更、モデル変更 ビジネスモデルから、 使えるAPIが決まる https://platform.openai.com/ https://openai.com/blog/function-calling-and- other-api-updates
25. 今回の学び（4/4）:従来のMachine Learningとの併用 自社データと組み合わせるなら、従来のMLとの併用/従来のML的な評価は必要になりそう→ 両方わかるに越したことはない OCRなどの他モデル併用 自社データの前処理・加工 RAGの評価
26. 今後の展望
27. 現在のSmartHR AIの研究開発を組織化、体制を強化中
28. ご静聴ありがとうございました！