Slide 1

Slide 1 text

© 2023 Wantedly, Inc. LLMを活用した推薦システムの改善: 課題と初期導入のアプローチ LLM(GPT, PaLM等) with MLOps LT大会!!! Apr. 25 2023 - Kokoro Higuchi(@zerebom_3)

Slide 2

Slide 2 text

© 2023 Wantedly, Inc. 自己紹介 ● 樋口 心(Higuchi Kokoro) ● Data Scientist @Wantedly ○ 推薦システムの設計・実装・評価 ● 趣味: 🎾🏂󰞵🍻🎮 + LLMいじり ● Twitter: @zerebom_3 ● GitHub: @zerebom

Slide 3

Slide 3 text

© 2023 Wantedly, Inc. 今日話すこと ● 推薦システムとは? ● LLMを活用した推薦システムの改善例 ● 導入に対する課題 ● 初期導入のアプローチ

Slide 4

Slide 4 text

© 2023 Wantedly, Inc. 推薦システムとは? 複数の候補から価値のあるものを 選び出し、意思決定を支援する システム ※ ※引用元: 推薦システム実践入門 ―仕事で使える導入ガイド https://www.oreilly.co.jp/books/9784873119663/

Slide 5

Slide 5 text

© 2023 Wantedly, Inc. 推薦システムとは? 10数万の募集から、 複数の候補から価値の あるものを選び出す

Slide 6

Slide 6 text

© 2023 Wantedly, Inc. 推薦システムとは? 意思決定を支援できるように 情報を適切に説明・提示する

Slide 7

Slide 7 text

© 2023 Wantedly, Inc. LLMと推薦システム 価値あるものを選び出すこと, 意思決定の支援どちらでも、 LLMの活用でこれまでにない価値創出ができるのでは? ex ● 対話を通じたインタラクティブな推薦結果の調節

Slide 8

Slide 8 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例 ● より具体的にイメージするために、仕事探しの 推薦システムにおいてLLM活用アイディアを考えてみた ● 紹介する例は個人の構想ベースのものであり、組織を代表するも のではないです。 また、導入・検証には至ってはないです🙏

Slide 9

Slide 9 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 価値あるアイテムの選出 意思決定支援

Slide 10

Slide 10 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例: 対話を通じた推薦 説明性の付与 自然言語を 使った推薦結果の 調整 推薦後の アクション 実行 価値あるアイテムの選出 意思決定支援

Slide 11

Slide 11 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例1: 推薦に対する説明性の付与 推薦システムに対する理解と信頼性を向上させるために、根拠を明確にする

Slide 12

Slide 12 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例2: 自然言語を使った推薦結果の調整 ユーザーのニーズに合わせた情報抽出・条件変更が動的に可能にする

Slide 13

Slide 13 text

© 2023 Wantedly, Inc. 仕事探しの推薦システムにおける LLMの活用例3: その他 ● 情報が不十分な(コールドスタート)ユーザのデータ拡張 ○ プロフィールが十分に埋まってないユーザのスキル推定 ● 推薦後のアクションを同一インタフェース上で実現 ○ 応募など心理的ハードルが高い意思決定を支援

Slide 14

Slide 14 text

© 2023 Wantedly, Inc. 推薦システムにおけるLLMの活用の課題 ● 柔軟な推薦には多くのアイテムとの関連度計算が必要 ○ ただしLLMへの入力データが多いとAPI費用・応答時間が上昇 ● アイテムに対する不適切な説明は厳禁 ○ この仕事はおすすめしないです、などと LLMが言ってしまうと、 プラットフォームとしての信頼性がなくなる

Slide 15

Slide 15 text

© 2023 Wantedly, Inc. リスクや費用を回避しつつ柔軟な推薦を行うための初期アプローチ ● 予め、他の仕組みでLLMへの入力情報を選定しておく ○ ex) 3-stageの推薦システム(2-stage + LLM) ● LLMに解かせるタスクや入出力を限定する ○ ×: 回答: {LLM_answer} ○ ◎: あなたにおすすめの募集は ${LLM_suggested_item}で理由は ${LLM_suggested_reason}です。

Slide 16

Slide 16 text

© 2023 Wantedly, Inc. 初期導入のアプローチ例: 自然言語を使った推薦リストのフィルタリング ● ユーザの入力をデータ操作 クエリに変換するだけのタスクを解 かせる ● ユーザの依頼文だけが入力になる ので、高速に応答可能 ● LLMの出力を直接使わないので、 リスク軽減

Slide 17

Slide 17 text

© 2023 Wantedly, Inc. まとめ ● LLM × 推薦システムはこれまでにない価値創出ができそう ○ 説明性の付与 ○ 自然言語での推薦結果の調節 ● ただし実運用には様々な壁がある ○ 柔軟な推薦のために多数のデータを渡したいが困難 ○ LLMの発言内容の精査 ● LLMに与えるタスクの選定や既存システムとの繋ぎこみ方が肝要 ● 新しい技術が出続けるので、適宜最適な組み合わせを選ぶ ○ Agent, Cache, Indexing, Finetune, etc…