[mercari GEARS 2025] なぜメルカリはノーコードを選ばなかったのか？ 社内問い合わせ工数を60％削減したLLM活用の裏側

Transcript

1. SAKU
 Mercari/ Project Manager
 Nish
 Mercari/ Engineer
 Why we didn’t choose no-code
 The Story Behind Leveraging LLM to Reduce Internal Inquiry Workload by 60% 
 なぜメルカリ ノーコードを選 なかった か？ 
 社内問い合わせ工数を 60％削減した LLM活用 裏側 

2. Agenda
 1
 2
 3
 Inquiries in Mercari | メルカリの問い合わせ対応 What’s HiYo-Chan | HiYo-Chanとは AI Agent Vision in Mercari | MercariのAI Agentの展望 Inside HiYo-Chan | HiYo-Chanの中⾝ Why not no-code ? | なぜノーコードで作らなかったの？ 4
 5

3. Inquiries in Mercari メルカリの問い合わせ対応 SAKU
 Mercari/ Project Manager

4. SAKU
 
 
 2024.09にメルカリに入社 
 2024.09 Joined Mercari
 従業員体験をあげるため IT pjに多く携わる 
 Working on various IT projects to make IT experience better in Mercari
 
 社内IT Project Manager
 Corporate IT Project Manager
 

5. Question:　突然ですが 
 もし、 ドル建ての本を買ったら、 経費精算どうやってしますか？ If you buy a book denominated in US dollars (USD), how do you handle the expense report in a JP company?
6. 「経費精算わからん！」　 ▶　「じゃあ経理に聞こう！」 
 “I don’t know!” ▶ “Let’s ask the Accounting team.”

7. Slack Usage in mercari - メルカリ SLACK利用率
 メルカリのSlack利⽤率：1⽇約20万件 「とにかく困ったらSLACKで聞こう！」の⽂化がある Mercari's Slack Use Rate = approx 200,000 messages/day "When in doubt, just ask in Slack."
8. Challenges - 弊社 問い合わせ対応 課題 
 ただこれ... 社内問い合わせの ⼯数負荷が⾼い！ However, this results in a high workload burden for handling internal inquiries.
9. Imagine - You are the Accounting team
 １対応に平均30分、順番待ちで対応中 30 minutes per message - responding one by one - 同じような質問 - 過去に似た特例対応したけど記憶が。。。 - この情報はどこに - あぁ、どんどん数が増える 例え あなたが「経理」 人間だったとして - Same questions on repeat - Exceptional cases - forgot what to do - Where is this information? - The inquiries are never ending…
10. Imagine - You are the Accounting team
 
 - 他の仕事に集中したいのに - 早く解決したいのに - この問い合わせいつ返事くるんだろう 例え あなたが「経理」 人間だったとして - I need to concentrate on my other work. - I need a quick resolution to this matter. - I wonder when I’ll receive a reply to this inquiry. 返答を待ち続ける従業員は... Employees waiting for their response all day…
11. Use AI - reduce workload.
 
 問い合わせ対応、 AI 力で減らしましょう 
 HiYo-Chan
12. What’s HiYo-Chan HiYo-Chanとは？ SAKU
 Mercari/ Project Manager

13. HiYo-Chan: The Savior of Inquiry Handling
 
 問い合わせ対応 救世主、 HiYo-Chan
 経費精算〇〇で✖✖に困ってる んだけど！どうすればいい？ I am having difficulty with XX regarding the OO expense report. What should I do? response___

14. DEMO お役に⽴てたかな！？ Am I helpful? ナレッジからの要約回答 Summary from Knowledge XXXXXXXXX
 最も関連性の⾼いスレッド Most Relevant Threads
15. DEMO XXXXXXXXX
 ‼ HiYo-Chan 事前稟議ってなに？ HiYo-Chan 教えて！ HiYo-Chan Can you help me?
16. DEMO
17. Reduced Time Spent on Inquiry - 問い合わせ対応の時間削減 128.9h 2839.5h 962.9h １年間での問い合わせ担当者の回答時間 Annual Inquiry Response Time Per Staff Member 70 Channels 導入数
 Deployment Count
 対応工数 
 約 6 割減!!
 Apprx -60% 
 in workload! 
 1876.6h Reduction
 Response Time Original required time Actual response time
18. Great Job! HiYo-Chan! - HiYo-Chan すごいね！ XXXXXXXXX
 お役に⽴てたかな！？ Am I helpful?
19. All because of the High Accuracy! - 回答精度が高いおかげ！ 
 精度が⾼くないとこれは成し遂げられない！ Can’t accomplish this without high accuracy!
20. Inside HiYo-Chan
 HiYo-Chan 中身
 Nish
 Mercari / Software Engineer

21. Tomoyuki Nishimura
 
 
 Joined Mercari in 2022 and primarily worked on developing the internal performance evaluation system. Since 2024, I have been serving as a team lead for internal AI/LLM products. Since July of this year, I have been working within the AI Task Force as an Enabler, supporting the application of AI at CorpIT division.
 
 
 Software Engineer, AI/LLM Solution team

22. How was it achieved?
 どうやって実現した？ 
 Nish
 Mercari / Software Engineer

23. How was it achieved? - どうやって実現した？ 
 
 社内に分散している知識を取 り込みます。その後、ベクト ル検索のRAGを⽤いて関連知 識を検索し、回答を⽣成する チャットボットです。 A chatbot that ingests knowledge distributed across the company and uses a vector search RAG (Retrieval-Augmented Generation) system to retrieve relevant knowledge. It then generates appropriate answers from this information.
24. Why not no-code?
 なぜノーコードを 
 使わなかった か？ 
 Nish
 Mercari / Software Engineer

25. 様々なノーコードツールがあると思います 
 There are various no-code tools available.
 Logos are trademarks of their respective owners.
26. Challenge of using no-code - ノーコードで 実現が難しい 
 ベクトル検索用 データを毎日 自動で最新化 
 Automatic daily updates to vector search data. 
 01
 回答・検索精度 データセット を使った評価 
 Evaluating chatbot responses and search result accuracy using datasets. 
 02
 社内ドキュメント へ 徹底的な 最適化
 Optimizations tailored to internal corporate documents. 
 03
 高い精度”を実現するために必要不可欠な取り組み 
 Essential measures required to achieve "high accuracy”.

27. よって、適宜資料を改善する必要があり ますが、定期的な最新化がなければに チャットボットに反映されないので重要 While the main documentation itself must be created and improved, daily updates are still crucial because improvements will not be reflected in the chatbot otherwise. AIによるお問い合わせ対応 
 AI-Based Inquiry Response
 担当 方による資料 更新 
 Document Updates 
 ベクトル検索用データ 自動更新サイクル Automatic Refresh Cycle for Vector Search Data 回答の精度が悪い⼀番の理由 
 回答するために必要な社内 知識が資料化されてない事 Main cause for poor accuracy on responses
 Missing documentation for the internal knowledge required to generate the answers. 01 🤖 🙋 Daily update for vector search - ベクトル検索用 データ毎日自動で最新化 
 ベクトルDB 
 最新化
 Updates to the Vector DB
 回答が期待 
 ずれ
 Answer failed to meet expectations
 

28. Evaluation using Dataset - 回答・検索精度 データセットを使った評価 
 データセットを使った評価の課題 
 評価したい機能ごとに評価指 標が変える必要があるので、 機能ごとに柔軟に評価データ セットを作れる必要がある。 Challenges in evaluation using a dataset Evaluation dataset generation must be flexible because the evaluation metrics must be changed for each function being a assessed. 02
29. 解決策
 LangSmithにデータを集約し、 Traceデータから都度必要な評価 データセットを作成できる環境 を整備する事で少ない⼿間で評 価できる様にした。 Solution We minimized efforts to evaluation by consolidating data into LangSmith, which in turn allowed us to create evaluation datasets on demand from Trace data. Evaluation using Dataset - 回答・検索精度 データセットを使った評価 
 02
30. • ヘッダー要素ごとにチャンクを作る • ページタイトルなどの補完データを 各チャンクに追加 • テーブル要素は、⾏ごとにチャンクを 作る チャンク最適化 Chunk Optimization 1. Create chunks based on each header element. 2. Add supplementary data, such as the page title, to each chunk. 3. Create chunks based on each row for table elements. 03 初期段階から社内 知識データに合わせて最適化できたこと 、大きな成功要因だったと思い ます。A significant factor to our success was the fact that we were able to optimize based on existing internal knowledge data from the beginning.
 • Hybrid Search • 要約の⽣成‧⽬次要素‧不要な改⾏‧ス ペースを削除 • 検索結果の重み付け （より新しい知識が結果に含まれやすい） • 将来的なマルチベクトル埋め込み 検索への最適化 Optimization for Search • Hybrid Search • Generation of summaries; removal of table of contents elements, unnecessary line breaks, and spaces. • Weighting of search results (to favor the inclusion of newer knowledge in the results). • Future implementation of multi-vector embedding. Document Optimization- 社内ドキュメントへ 徹底的な最適化 

31. まとめ - なぜ、メルカリ ノーコードを選 なかった か？ Summary - Why Did Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 
 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally.
 定期的最新化 
 Automatic daily updating 
 01
 精度 評価 
 Accuracy Evaluation 
 02
 ドキュメント 
 最適化
 Document Optimization 
 03

32. AI Agent Vision in Mercari
 Mercari AI Agent 展望
 SAKU
 Mercari/ Project Manager

33. Moving on - メルカリ これから 
 「生成LLMを使ってみよう」 Let's utilize Generative AI ▼ 「どう活用する？」 How do we leverage this?
34. Leveraging - どう活用する？ 
 01
 Agent 
 管理
 Agent Management

35. Leveraging - どう活用する？ 
 02
 ナレッジを ス トックする
 Store Knowledge

36. Leveraging - どう活用する？ 
 03
 より柔軟 な 回答生成
 Flexible Answer Generation

37. Process - どうやって実現する ？ 
 ノーコードでできるのか？ Can this be accomplished with no-code? ▼ できない No
38. ユーザコンテキスト の拡張 コンテキストに、社内知識だ けではなく、ユーザ属性や状 況など様々な情報を追加する Expanding User Context The context will be augmented with diverse information, including user attributes and specific situations, in addition to internal corporate knowledge. Challenges & Roadmap - どこら辺が難しい？ロードマップと照らして 
 ユーザの権限に 合わせたデータ活⽤ ⼀部でPrivate channelで出来 ている。OAuthログインして権 限を獲得するなどのセキュリ ティも担保した資料参照。 Data Utilization Tailored to User Permissions This is already being achieved in certain Private Channels. We also ensure security when referencing documents by utilizing OAuth login to acquire the necessary permissions. よりスムーズな ドキュメントの改善 ⽂書化されてない社内知識 を、より簡単に⽂書化できる 仕組みの構築 Smoother Document Improvement Establishing a mechanism to more easily document as-yet undocumented internal corporate knowledge. 

39. まとめ - なぜ、メルカリ ノーコードを選 なかった か？ Summary - Why Did Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 
 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally.
 定期的最新化 
 Automatic daily updating 
 01
 精度 評価 
 Accuracy Evaluation 
 02
 ドキュメント 
 最適化
 Document Optimization 
 03

40. 何がしたい か？ 
 
 What do you want to do?
 
 The question:

41. いろんな「選択肢」が増えています 
 
 We have more and more 
 “option” to choose from
 We have the option 

42. 
 What do you want to make?
 あなた どんなゴールを描きたい？