メルカリのLLMを使ったサービス開発の進め方

LLM活用の現状と課題 -言語モデルをプロダクトに取り入れる【メルカリ×PKSHA×カラクリ】https://findy.connpass.com/event/285976/
での発表資料

Transcript

1. メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋
2. 自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 • OSS活動 • ML Ops 2019 ~ 株式会社メルカリ • ~2022 EdgeAI チーム　テックリード • 生成AI/LLMチーム テックリード 2
3. 開発中の機能：SEO改善 ページのコンテンツを反映したい • 日傘と傘で重複 • ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ LLMでいい感じのタイトルを生成 3
4. 開発中の機能：商品情報サジェスト 商品に不足している情報がありそうなら提案 例：定価 ルールベースの実装をLLMで推定に 4
5. LLMは必要か？ それって小さめな • 分類モデル • 要約モデル で十分なのでは？ 5
6. LLMは必要か？ それって小さめな • 分類モデル • 要約モデル で十分なのでは？ Yes だがLLMでやる意義があると思っている 6
7. なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 • PoCコストの劇的な低減 • LLMがないと実現できない体験 えっ！？ 7
8. PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8
9. PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9
10. LLMでないと実現できない体験 複雑なパイプラインの構築 • LLMによる情報抽出 • Evidenceの検索 • LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める Build and maintain your company Copilot with Azure ML and GPT-4 10
11. LLMがないとできない体験のための準備 • どのレイヤ/コンポーネントか意識 • API・モデルの特性の理解 • FineTuningの必要性 The era of the AI Copilot 11
12. まとめ • LLM ≠ Chatbot • 　リリースしないと分からない • 　リリースしたけど分からなかった 12