Merpay & MercoinにおけるLLM活用の取り組み / Leveraging LLM at Merpay & Mercoin

Merpay, Mercoinでは新規にチームを立ち上げ、LLMや生成AIを活用し、サービスの改善や社内の生産性向上を目指しています。
本セッションでは、立ち上げに携わっているメンバーから、具体的にどのような形で私たちが取り組んでいるのか、個別のユースケースの紹介、活動から見えてきた課題や今後の展望を、パネルディスカッションやプレゼンテーションを通じてお話します。

At Merpay and Mercoin, we have established a new team that aims to leverage LLM and generative AI to enhance our services and improve productivity.
In this session, the members involved in establishing the team will use a panel discussion format and make presentations to talk in detail about what shape their efforts are taking, to share information on individual use cases, and to touch on the issues they have seen in their activities and expected future developments.

------
Merpay & Mercoin Tech Fest 2023は3日間のオンライン技術カンファレンスです。
IT企業で働くソフトウェアエンジニアおよびメルペイ・メルコインの技術スタックに興味がある方々を対象に2023年8月22日（火）、23日（水）、24日（木）の3日間、開催します。 Merpay & Mercoin Tech Fest は事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りです。

今年のテーマは「Unleash Fintech」。 メルペイ・メルコインのこれまでの技術的な取り組みはもちろん、メルカリグループのFintech事業における新たな挑戦をお伝えします。 セッションでは事業を支える組織・技術・課題などへの試行錯誤やアプローチなど多面的にご紹介予定です。

メルペイ・メルコインが今後どのようにUnleash（解放）していくのか、ぜひ見に来てください。

■イベント関連情報
- 公式ウェブサイト：https://events.merpay.com/techfest-2023/
- 申し込みページ：https://mercari.connpass.com/event/286670/
- Twitterハッシュタグ： #MerpayMercoinTechFest
■リンク集
- メルカリ・メルペイイベント一覧：https://mercari.connpass.com/
- メルカリキャリアサイト：https://careers.mercari.com/
- メルカリエンジニアリングブログ：https://engineering.mercari.com/blog/
- メルカリエンジニア向けTwitterアカウント：https://twitter.com/mercaridevjp
- 株式会社メルペイ：https://jp.merpay.com/

Transcript

1. Session Title Merpay & Mercoinにおける LLM活用の取り組み Yuki Ishikawa / Daisuke Torigoe / Noriaki Utsunomiya
2. Yuki Ishikawa / @maze 東京大学卒業後、 2012年任天堂株式会社 入社。2014年にモイ株式会社（ツイキャス） に入社し、各種開発や新規立ち上げに従 事。2017年6月メルカリグループの株式会社 ソウゾウ（旧）に入社。その後、株式会社メル カリへ異動を経て、 2020年7月より株式会社 メルペイ執行役員 VP of Product。2021年1 月から株式会社ソウゾウ代表取締役 CEO。 2023年5月から株式会社メルカリ 執行役員 VP of Generative AI / LLM。 Mercari VP of Generative AI/LLM Daisuke Torigoe / @tori 大学院修了後、金融機関、金融系シンクタン クを経て、金融数理技術の研究開発・コンサ ルティングや、投資実務を経験。 2018年9月 よりメルペイに入社。与信領域や不正対策領 域への機械学習適用に携わり、現在はメル ペイMachine Learning TeamのMoM/AI Labs EM。 Merpay Machine Learning Team 2001年ヤフー株式会社に入社し、データマイ ニング業務に従事。その後検索エンジンのコ アコンポーネント開発や検索プラットフォーム 構築を担当。2013年KDDIグループ傘下と なった株式会社スケールアウトに入社し検索 事業を起業、2015年Supership株式会社に 統合以降は開発した検索技術ソリューション の提供を推進。2020年からCTO,CISO に就 任し経営課題に取り組む。 2023年5月からメ ルペイに参画し現職。 Merpay VP of Platform Engineering Noriaki Utsunomiya / @nu2
3. ご質問をお待ちしております！ 本セッションはリアルタイムに実施しています。 YouTubeのチャットに投稿するか、 X（Twitter）のハッシュタグ #MerpayMercoinTechFest を ご利用ください。
4. Mercariにおける LLMの取り組み
5. 5 Confidential 専任チームを作りました
6. 6 Confidential Execution 生成AI/LLM専任チームの ミッション • 生成AI/LLM技術を用いた、新たなお客さま体験創出と事業インパク トの最大化 • 全社の生産性の劇的な向上 Execution
7. 7 Confidential LLMチームでやっていること Enabling と Building
8. 8 Confidential ① ガイドライン策定 • MLチームだけでなく、一般のSWEのチームもプロダクト実装できるように必要 • メルカリ研究開発組織「R4D」とも連携しつつ策定 • 国内外の状況をキャッチアップしつつ、作る。意外と大変。 ② 勉強会・ハッカソン Enabling • 毎週金曜に社内勉強会やってる（ゆるふわ） • 全社のハッカソンにうまく乗っかって、布教活動 • 4月/メルカリJPのハッカソンでLLM Award、6月/メルペイでLLMハッカソン
9. 9 Confidential Building（メルカリ社員専用ツール） 社内の利用促進のため、業務情報を入れても良いメルカリ社員専用の”ChatGPT”を作 成。最近、GPT-4とGoogle PaLMにも対応して、徐々に社内OSS的な運用へ移行。
10. 10 Confidential Enabling & Building（既存プロダクトへの適応） 各Function Team (チーム名はイメージ ) Seller UX Buyer UX CS Fintech LLM team 企画立案、利用モデルの選定、 prompt engineering、プロダクト実装etc B2C XB
11. 11 Confidential Enabling & Building（既存プロダクトへの適応） ② 共創 ① 主導 Functionチームがリード し、LLM周りを必要に 応じて専任チームが確認 するなど並走するケース LLM専任チームが オーナーシップをもち、 企画から実装まで実施す るケース
12. 12 Confidential 施策内容 1. 既存プロダクトへの生成AI・LLM活用 ex: SellerUX, BuyerUX, CS, Fintech, B2C, XB, Marketing, CRM etc 2. 社内ツール実装 ex: 社員専用ChatGPT, Code Interpreter, AI議事録, 多言語化対応 etc 3. 生成AI・LLMを活かした新規事業
13. 13 Confidential モデルの選定 1. LLM APIs ex: Azure OpenAI Service, OpenAI API, Google PaLM2, Claude etc 2. OSS models ex: Dolly2.0, OpenLLaMa, Falcon, OpenCALM etc 3. 内製の基盤モデル
14. 14 Confidential ツールの選定 • Retrieval Augmented Generation ◦ 回答に必要な情報を検索してテキストを生成する ◦ ツール：Azure Cognitive Search, Elasticsearch • Function call ◦ 必要なAPIを自分でコールしてアクションを起こす。 Agent作成には必須 ◦ ツール：OpenAI Function calling, LangChain • LLM Pipeline ◦ 上記のような拡張をつなげる。複雑な機能開発には必須。 ◦ ツール：LangChain, Semantic Kernel
15. Fintechにおける LLM導入の進め方
16. Fintechにおける LLM応用の特殊性
17. MarketplaceとFintechで分かれて 取り組んでいることについて
18. ドメインを問わず、 LLM応用の価値の出し方
19. 今後の方向性について
20. 20 Confidential [メルカリ生成AI/LLMチーム] We are Hiring! • Software Engineer(Full Stack) メルカリグループのデータや基盤を使ってどんどんサービスを作りたい人募集！ • Senior Product Manager