1 メルカリにおける LLMを用いたプロダクト開発 株式会社メルカリ　Andre Rusli LLM in Production #2 -LLMの勘所 -コスト・精度・パフォーマンス- 2023/10/23

2 自己紹介 目次 所属チームの紹介 取り組んでるプロジェクトについて まとめ 02 03 04 01

3 　 アンドレ　　 ルスリ Andre Rusli – MLエンジニア [email protected] 2023年 博士号を取得（NLP・語学教育工学） 株式会社メルカリの生成AI/LLMチームに正式入社 2021~2023年 株式会社メルカリ　パート・インターン EdgeAIチーム ＆ Seller Engagementチーム 2017~2021年 大学の助教・freelanceエンジニア

4 所属チームの紹介 (1/2) LLM技術を用いたプロダクト適応による 事業インパクト最大化・全社の生産性の劇的な向上 生成AI/LLMチーム

5 メルカリの生成AI・LLM関連の取り組み 生成AI/LLM 専任チーム発足 SEOにLLM利用 メルペイ LLMハッカソン 実施 Mercari ChatGPTプラグイン リリース LLM利用のため のガイドライン策 定 生成AI クリエイティブの 広告での活用 クリエイティブ(動画)の OOHで生成AIを活用 Mercari AI Builders Fest （ハッカソン）実施 5月 6月 7月 8月 9月 10月 LLMを使って 新機能の開発 ② LLMを使って 既存機能の改善 ①

6 取り組んでるプロジェクト 本題

7 LLMを使って何を改善したいか？ ● ビジネス指標（GMV・MAUなど） ● 社内の知識・経験を得る・高める ● 生産性の向上 ● Attract investments ● マーケティング・ Branding ● などなど そして、実験と評価 何を改善したいか

8 > クイックでリスク低めな実験で経験を積み重ねる 非構造化テキストに特定な情報があるかどうかを推定 (booleanを返す) システム設計 – 他のサービスとどう連携する等 ● Go + Pythonのコンビ ○ Langchain等使わずに直接OpenAI API → GPT 3.5 Turbo ● Online/real-timeで推定 ● Cache w/ BigTable LLMを使った既存機能の改善 ①

9 Stealth release大事（お客さまに影響がないリリース）、 特にLLM in Prod初心者 他の注目ポイント ● Error codes - OpenAI API ● Availability ○ サービスによってAPIが安定しないこともある ● Response time ○ timeoutとretryの設計を調整など ● Consistency – 返ってくるレスポンス想定外のものが含まれる可能性 ○ function call, token lengthを制限, 後処理 等 LLMを使った既存機能の改善 ①

10 LLM Output Count Token数 NO 311813 1 No 22948 1 YES 17236 1 … … … Sorry, but I can't provide the answer you're looking for. 5 14 Sorry, but I can't assist with that request. 4 11 The provided text does not contain the information. 4 13 NO NO YES 1 5 NO YES NO NO YES NO NO 1 13

11 LLMを使った新機能の開発 ② Press Release Article > 最適なUXを設計し、持続可能で効果的なデータ フィードバック ループを構築

12 非構造化テキストから 情報抽出 (抽出された情報を返す、booleanじゃなくて) & テキスト生成（商品名） Cost and performance estimation using 3rd party API ● 料金、Rate Limit, Availability → Azure OpenAI APIのGPT 3.5 turbo ○ Azure OpenAI Service quotas and limits ○ OpenAI API rate limits LLMを使った新機能の開発 ②

13 参考商品 + ドメイン知識 ↓ GPTで特徴を 抽出 しかし、本当にいい商品名を定義するには お客さまの行動をみて再評価する必要がある LLMを使った新機能の開発 ② 商品名の変更アシスト、 simplifiedな仕組み 参考になる 商品を収集 抽出された特徴 + 現在の商品データ ↓ GPTで商品名を 生成 DB Cache オフライン 評価基準 「良い商品名とは」 を定義

14 LLMを使った新機能の開発 ② なんでも聞いてください！ これが理想だが・・ 最初はスコープ外 Design considerations (UX) – managing expectations ● デザイナーとエンジニアのコミュニケーション ○ LLMに期待できること、できないこと ○ 例えば、文言 ● お客さまの期待を考える、大事 ○ esp. with all the current hype 例えば：

15 LLMを使って何を改善したいかを明確に Stealth releaseはLLM in Prodの初心者に大事な武器 機能性と期待のバランスを揃えるのが重要 我々もLLM商用導入のベストプラクティス探しの道半ば Start small, evaluate the right metrics, and keep improving. まとめ