LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ

LLM(GPT, PaLM等) with MLOps LT大会!!!
登壇資料

https://mlops.connpass.com/event/279156/

Transcript

1. © 2023 Wantedly, Inc.
   LLMを活用した推薦システムの改善:
   課題と初期導入のアプローチ
   LLM(GPT, PaLM等) with MLOps LT大会!!!
   Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)
   

   View Slide

2. © 2023 Wantedly, Inc.
   自己紹介
   ● 樋口 心(Higuchi Kokoro)
   ● Data Scientist @Wantedly
   ○ 推薦システムの設計・実装・評価
   ● 趣味: 🎾🏂󰞵🍻🎮 + LLMいじり
   ● Twitter: @zerebom_3
   ● GitHub: @zerebom
   

   View Slide

3. © 2023 Wantedly, Inc.
   今日話すこと
   ● 推薦システムとは?
   ● LLMを活用した推薦システムの改善例
   ● 導入に対する課題
   ● 初期導入のアプローチ
   

   View Slide

4. © 2023 Wantedly, Inc.
   推薦システムとは?
   複数の候補から価値のあるものを
   選び出し、意思決定を支援する
   システム ※
   ※引用元: 推薦システム実践入門 ―仕事で使える導入ガイド
   https://www.oreilly.co.jp/books/9784873119663/
   

   View Slide

5. © 2023 Wantedly, Inc.
   推薦システムとは?
   10数万の募集から、
   複数の候補から価値の
   あるものを選び出す
   

   View Slide

6. © 2023 Wantedly, Inc.
   推薦システムとは?
   意思決定を支援できるように
   情報を適切に説明・提示する
   

   View Slide

7. © 2023 Wantedly, Inc.
   LLMと推薦システム
   価値あるものを選び出すこと, 意思決定の支援どちらでも、
   LLMの活用でこれまでにない価値創出ができるのでは?
   ex
   ● 対話を通じたインタラクティブな推薦結果の調節
   

   View Slide

8. © 2023 Wantedly, Inc.
   仕事探しの推薦システムにおける
   LLMの活用例
   ● より具体的にイメージするために、仕事探しの
   推薦システムにおいてLLM活用アイディアを考えてみた
   ● 紹介する例は個人の構想ベースのものであり、組織を代表するも
   のではないです。
   また、導入・検証には至ってはないです🙏
   

   View Slide

9. © 2023 Wantedly, Inc.
   仕事探しの推薦システムにおける
   LLMの活用例: 対話を通じた推薦
   価値あるアイテムの選出
   意思決定支援
   

   View Slide

10. © 2023 Wantedly, Inc.
    仕事探しの推薦システムにおける
    LLMの活用例: 対話を通じた推薦
    説明性の付与
    自然言語を
    使った推薦結果の
    調整
    推薦後の
    アクション
    実行
    価値あるアイテムの選出
    意思決定支援
    

    View Slide

11. © 2023 Wantedly, Inc.
    仕事探しの推薦システムにおける
    LLMの活用例1: 推薦に対する説明性の付与
    推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする
    

    View Slide

12. © 2023 Wantedly, Inc.
    仕事探しの推薦システムにおける
    LLMの活用例2: 自然言語を使った推薦結果の調整
    ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする
    

    View Slide

13. © 2023 Wantedly, Inc.
    仕事探しの推薦システムにおける
    LLMの活用例3: その他
    ● 情報が不十分な(コールドスタート)ユーザのデータ拡張
    ○ プロフィールが十分に埋まってないユーザのスキル推定
    ● 推薦後のアクションを同一インタフェース上で実現
    ○ 応募など心理的ハードルが高い意思決定を支援
    

    View Slide

14. © 2023 Wantedly, Inc.
    推薦システムにおけるLLMの活用の課題
    ● 柔軟な推薦には多くのアイテムとの関連度計算が必要
    ○ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇
    ● アイテムに対する不適切な説明は厳禁
    ○ この仕事はおすすめしないです、などと
    LLMが言ってしまうと、
    プラットフォームとしての信頼性がなくなる
    

    View Slide

15. © 2023 Wantedly, Inc.
    リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ
    ● 予め、他の仕組みでLLMへの入力情報を選定しておく
    ○ ex) 3-stageの推薦システム(2-stage + LLM)
    ● LLMに解かせるタスクや入出力を限定する
    ○ ×: 回答: {LLM_answer}
    ○ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は
    ${LLM_suggested_reason}です。
    

    View Slide

16. © 2023 Wantedly, Inc.
    初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング
    ● ユーザの入力をデータ操作
    クエリに変換するだけのタスクを解
    かせる
    ● ユーザの依頼文だけが入力になる
    ので、高速に応答可能
    ● LLMの出力を直接使わないので、
    リスク軽減
    

    View Slide

17. © 2023 Wantedly, Inc.
    まとめ
    ● LLM × 推薦システムはこれまでにない価値創出ができそう
    ○ 説明性の付与
    ○ 自然言語での推薦結果の調節
    ● ただし実運用には様々な壁がある
    ○ 柔軟な推薦のために多数のデータを渡したいが困難
    ○ LLMの発言内容の精査
    ● LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要
    ● 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ
    ○ Agent, Cache, Indexing, Finetune, etc…
    

    View Slide