Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LLMからはじめる、 プロダクトへのAI導入

ryopenguin
September 29, 2023
85

LLMからはじめる、 プロダクトへのAI導入

LLMからはじめる、 プロダクトへのAI導入 @ 2023.09.28 Microsoftと語る LLM実装の最前線

ryopenguin

September 29, 2023
Tweet

Transcript

  1. LLMからはじめる、
    プロダクトへのAI導入
    2023.09.28 Microsoftと語る LLM実装の最前線
    Ryo Kaneoka
    SmartHR Product Manager

    View full-size slide

  2. 本日は、「従業員サーベイ」の「要約AI」機能の事例を通して
    ○ 今までAIの取り組みをしてこなかった会社で
    ○ どのようにLLMと向き合い
    ○ どのように本番サービスにLLMを組み込んだか
    ○ 今後どのように活用してくか
    お話しします!
    今日のトピック

    View full-size slide

  3. Ryo Keneoka(@ryopenguin)
    ● プロダクトマネージャー
    ● SmartHRには2020年10月に入社
    ● 「従業員サーベイ」「スキル管理」の
    PM
    ● LLM利用のタスクフォース、AIの
    R&Dチームを立ち上げ
    自己紹介

    View full-size slide

  4. アジェンダ
    ● 機能リリース前 - LLMとどう向き合ったか
    ○ 会社の状況
    ○ LLMの登場
    ○ タスクフォース活動
    ○ ハッカソン
    ● 機能リリース - 従業員サーベイ「要約AI」機能
    ○ 課題設定
    ○ 実装の工夫
    ● 4つの学び
    ● 今後の展望

    View full-size slide

  5. 機能リリース前 -
    LLMとどう向き合ったか

    View full-size slide

  6. 会社の状況
    AIエンジニアが一人もいない
    ニーズ自体はあったが、
    大きな取り組みにはなっていなかった

    View full-size slide

  7. LLMの登場
    LLMを突破口に
    AI活用をスタートさせることに
    https://openai.com/blog/chatgpt

    View full-size slide

  8. タスクフォースの組成
    LLM利用のタスクフォースを組成

    View full-size slide

  9. タスクフォース活動(1/3)AI勉強会
    まずは職種問わず、
    「海のものとも山のものとも分からない」状態を脱する

    View full-size slide

  10. タスクフォース活動(2/3)プロトタイピング
    プロダクトに組み込むイメージでプロトタイプを量産
    主にプロダクトに関わるメンバーに利用できそうなイメージを持ってもらう

    View full-size slide

  11. タスクフォース活動(3/3)ハッカソン
    ハッカソンで、セキュリティや法務のメンバーも含めた複数の職種の人に
    手を動かしてもらい、イメージを具体化

    View full-size slide

  12. 成果
    プロダクトでのLLM活用の可能性を多くの人が理解した状態にできた

    View full-size slide

  13. 機能リリース -
    従業員サーベイ「要約AI」機能

    View full-size slide

  14. 実プロダクトへの組み込みを狙う
    従業員データの価値化が重要と考え
    それが実現できるプロダクト、課題を探す

    View full-size slide

  15. 課題設定(1/2):インパクトがわかりやすい適切な課題を探す
    既存の顧客にも
    要望されていて
    アウトプットが
    イメージしやすい
    従来手法だとコストが高く

    View full-size slide

  16. 課題設定(2/2):サーベイの長文要約が合致
    要望はあったものの従来手法では高コストだった
    長文の要約、ポジネガ判定にアプローチ

    View full-size slide

  17. 従業員サーベイ「要約AI」機能

    View full-size slide

  18. 実装上の工夫(1/3)LangChainのロジックをRubyで実装
    LangChain内のアルゴリズムやプロンプトを分析、
    自社のメイン言語に合わせて実装
    https://python.langchain.com/docs/modules/chains/document/refine

    View full-size slide

  19. 実装上の工夫(2/3)テスト基準を作る
    事前にテスト基準を明文化、
    テスターを固定してテストしてからリリース

    View full-size slide

  20. 実装上の工夫(3/3)ユーザーとのコミュニケーション
    実際のユーザーの先に、従業員がいるのでオプトイン型にする

    View full-size slide

  21. 4つの学び

    View full-size slide

  22. 今回の学び(1/4):プロトタイピングツールとしてのLLM
    AI組織がない場合、LLMでAI的な体験を高速でプロトタイピングできる

    View full-size slide

  23. 今回の学び(2/4):既存プロダクト組み込みの方法
    LLM部を独立したコンポーネントにせず、自社の環境に合わせた方が
    プロダクトチームでメンテナンスできるようになり、その後の改善はしやすい
    最初はRuby OpenAIがAzure対応しておらず、fork LangChain/Llamaindexそのまま利用はしなかった

    View full-size slide

  24. 今回の学び(3/4):LLMの課題
    明確なテスト基準がない APIの仕様変更、モデル変更
    ビジネスモデルから、
    使えるAPIが決まる
    https://platform.openai.com/ https://openai.com/blog/function-calling-and-
    other-api-updates

    View full-size slide

  25. 今回の学び(4/4):従来のMachine Learningとの併用
    自社データと組み合わせるなら、従来のMLとの併用/従来のML的な評価は必要になりそう→
    両方わかるに越したことはない
    OCRなどの他モデル併用 自社データの前処理・加工 RAGの評価

    View full-size slide

  26. 今後の展望

    View full-size slide

  27. 現在のSmartHR
    AIの研究開発を組織化、体制を強化中

    View full-size slide

  28. ご静聴ありがとうございました!

    View full-size slide