メルカリのLLMを使ったサービ ス開発の進め方 株式会社メルカリ 大嶋

自己紹介 大嶋@メルカリ 2014~2019 NTT研究所 ● OSS活動 ● ML Ops 2019 ~ 株式会社メルカリ ● ~2022 EdgeAI チーム　テックリード ● 生成AI/LLMチーム テックリード 2

開発中の機能：SEO改善 ページのコンテンツを反映したい ● 日傘と傘で重複 ● ブランド名の書き方 など カテゴリ X ブランド名の組み合わせ LLMでいい感じのタイトルを生成 3

開発中の機能：商品情報サジェスト 商品に不足している情報がありそうなら提案 例：定価 ルールベースの実装をLLMで推定に 4

LLMは必要か？ それって小さめな ● 分類モデル ● 要約モデル で十分なのでは？ 5

LLMは必要か？ それって小さめな ● 分類モデル ● 要約モデル で十分なのでは？ Yes だがLLMでやる意義があると思っている 6

なぜLLMを使うのか/使ったのか LLM = Chatbot ではない LLM導入の価値 ● PoCコストの劇的な低減 ● LLMがないと実現できない体験 えっ！？ 7

PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 ルールベース・人手で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる 精度不足や代替可能性の問題 8

PoCコストの劇的な低減 LLMは広範なタスクを高い精度でこなせる データ作成 モデル学習 リリース 効果検証 LLM + Few shot で代替 リリース 効果検証 やりたいこと Feasibility check 検証がでるまでに時間・コストがかかる それなりの精度でかなり多くのタスクの PoCが可能 9

LLMでないと実現できない体験 複雑なパイプラインの構築 ● LLMによる情報抽出 ● Evidenceの検索 ● LLMによる生成 いずれも簡単ではない 小規模な機能でコンポーネントの知見を貯める Build and maintain your company Copilot with Azure ML and GPT-4 10

LLMがないとできない体験のための準備 ● どのレイヤ/コンポーネントか意識 ● API・モデルの特性の理解 ● FineTuningの必要性 The era of the AI Copilot 11

まとめ ● LLM ≠ Chatbot ● 　リリースしないと分からない ● 　リリースしたけど分からなかった 12