LLM in Production #2 Meetup 231023

Transcript

1. 1 メルカリにおける LLMを用いたプロダクト開発 株式会社メルカリ　Andre Rusli LLM in Production #2 -LLMの勘所 -コスト・精度・パフォーマンス- 2023/10/23
2. 2 自己紹介 目次 所属チームの紹介 取り組んでるプロジェクトについて まとめ 02 03 04 01
3. 3 　 アンドレ　　 ルスリ Andre Rusli – MLエンジニア andre.rusli@mercari.com 2023年 博士号を取得（NLP・語学教育工学） 株式会社メルカリの生成AI/LLMチームに正式入社 2021~2023年 株式会社メルカリ　パート・インターン EdgeAIチーム ＆ Seller Engagementチーム 2017~2021年 大学の助教・freelanceエンジニア
4. 4 所属チームの紹介 (1/2) LLM技術を用いたプロダクト適応による 事業インパクト最大化・全社の生産性の劇的な向上 生成AI/LLMチーム
5. 5 メルカリの生成AI・LLM関連の取り組み 生成AI/LLM 専任チーム発足 SEOにLLM利用 メルペイ LLMハッカソン 実施 Mercari ChatGPTプラグイン リリース LLM利用のため のガイドライン策 定 生成AI クリエイティブの 広告での活用 クリエイティブ(動画)の OOHで生成AIを活用 Mercari AI Builders Fest （ハッカソン）実施 5月 6月 7月 8月 9月 10月 LLMを使って 新機能の開発 ② LLMを使って 既存機能の改善 ①
6. 6 取り組んでるプロジェクト 本題
7. 7 LLMを使って何を改善したいか？ • ビジネス指標（GMV・MAUなど） • 社内の知識・経験を得る・高める • 生産性の向上 • Attract investments • マーケティング・ Branding • などなど そして、実験と評価 何を改善したいか
8. 8 > クイックでリスク低めな実験で経験を積み重ねる 非構造化テキストに特定な情報があるかどうかを推定 (booleanを返す) システム設計 – 他のサービスとどう連携する等 • Go + Pythonのコンビ ◦ Langchain等使わずに直接OpenAI API → GPT 3.5 Turbo • Online/real-timeで推定 • Cache w/ BigTable LLMを使った既存機能の改善 ①
9. 9 Stealth release大事（お客さまに影響がないリリース）、 特にLLM in Prod初心者 他の注目ポイント • Error codes - OpenAI API • Availability ◦ サービスによってAPIが安定しないこともある • Response time ◦ timeoutとretryの設計を調整など • Consistency – 返ってくるレスポンス想定外のものが含まれる可能性 ◦ function call, token lengthを制限, 後処理 等 LLMを使った既存機能の改善 ①
10. 10 LLM Output Count Token数 NO 311813 1 No 22948 1 YES 17236 1 … … … Sorry, but I can't provide the answer you're looking for. 5 14 Sorry, but I can't assist with that request. 4 11 The provided text does not contain the information. 4 13 NO NO YES 1 5 NO YES NO NO YES NO NO 1 13
11. 11 LLMを使った新機能の開発 ② Press Release Article > 最適なUXを設計し、持続可能で効果的なデータ フィードバック ループを構築
12. 12 非構造化テキストから 情報抽出 (抽出された情報を返す、booleanじゃなくて) & テキスト生成（商品名） Cost and performance estimation using 3rd party API • 料金、Rate Limit, Availability → Azure OpenAI APIのGPT 3.5 turbo ◦ Azure OpenAI Service quotas and limits ◦ OpenAI API rate limits LLMを使った新機能の開発 ②
13. 13 参考商品 + ドメイン知識 ↓ GPTで特徴を 抽出 しかし、本当にいい商品名を定義するには お客さまの行動をみて再評価する必要がある LLMを使った新機能の開発 ② 商品名の変更アシスト、 simplifiedな仕組み 参考になる 商品を収集 抽出された特徴 + 現在の商品データ ↓ GPTで商品名を 生成 DB Cache オフライン 評価基準 「良い商品名とは」 を定義
14. 14 LLMを使った新機能の開発 ② なんでも聞いてください！ これが理想だが・・ 最初はスコープ外 Design considerations (UX) – managing expectations • デザイナーとエンジニアのコミュニケーション ◦ LLMに期待できること、できないこと ◦ 例えば、文言 • お客さまの期待を考える、大事 ◦ esp. with all the current hype 例えば：
15. 15 LLMを使って何を改善したいかを明確に Stealth releaseはLLM in Prodの初心者に大事な武器 機能性と期待のバランスを揃えるのが重要 我々もLLM商用導入のベストプラクティス探しの道半ば Start small, evaluate the right metrics, and keep improving. まとめ