Share
Embed
Transcript
42 slides
-
SAKU Mercari/ Project Manager Nish Mercari/ Engineer Why we didn’t
choose no-code The Story Behind Leveraging LLM to Reduce Internal Inquiry Workload by 60% なぜメルカリ ノーコードを選 なかった か? 社内問い合わせ工数を 60%削減した LLM活用 裏側 -
Agenda 1 2 3 Inquiries in Mercari | メルカリの問い合わせ対応 What’s
HiYo-Chan | HiYo-Chanとは AI Agent Vision in Mercari | MercariのAI Agentの展望 Inside HiYo-Chan | HiYo-Chanの中⾝ Why not no-code ? | なぜノーコードで作らなかったの? 4 5 -
SAKU 2024.09にメルカリに入社 2024.09 Joined Mercari 従業員体験をあげるため IT
pjに多く携わる Working on various IT projects to make IT experience better in Mercari 社内IT Project Manager Corporate IT Project Manager -
Question: 突然ですが もし、 ドル建ての本を買ったら、 経費精算どうやってしますか? If you buy a book
denominated in US dollars (USD), how do you handle the expense report in a JP company? -
「経費精算わからん!」 ▶ 「じゃあ経理に聞こう!」 “I don’t know!” ▶ “Let’s ask the
Accounting team.” -
Slack Usage in mercari - メルカリ SLACK利用率 メルカリのSlack利⽤率:1⽇約20万件 「とにかく困ったらSLACKで聞こう!」の⽂化がある Mercari's
Slack Use Rate = approx 200,000 messages/day "When in doubt, just ask in Slack." -
Challenges - 弊社 問い合わせ対応 課題 ただこれ... 社内問い合わせの ⼯数負荷が⾼い! However,
this results in a high workload burden for handling internal inquiries. -
Imagine - You are the Accounting team 1対応に平均30分、順番待ちで対応中 30 minutes
per message - responding one by one - 同じような質問 - 過去に似た特例対応したけど記憶が。。。 - この情報はどこに - あぁ、どんどん数が増える 例え あなたが「経理」 人間だったとして - Same questions on repeat - Exceptional cases - forgot what to do - Where is this information? - The inquiries are never ending… -
Imagine - You are the Accounting team - 他の仕事に集中したいのに
- 早く解決したいのに - この問い合わせいつ返事くるんだろう 例え あなたが「経理」 人間だったとして - I need to concentrate on my other work. - I need a quick resolution to this matter. - I wonder when I’ll receive a reply to this inquiry. 返答を待ち続ける従業員は... Employees waiting for their response all day… -
HiYo-Chan: The Savior of Inquiry Handling 問い合わせ対応 救世主、 HiYo-Chan
経費精算〇〇で✖✖に困ってる んだけど!どうすればいい? I am having difficulty with XX regarding the OO expense report. What should I do? response___ -
DEMO お役に⽴てたかな!? Am I helpful? ナレッジからの要約回答 Summary from Knowledge XXXXXXXXX
最も関連性の⾼いスレッド Most Relevant Threads -
Reduced Time Spent on Inquiry - 問い合わせ対応の時間削減 128.9h 2839.5h 962.9h
1年間での問い合わせ担当者の回答時間 Annual Inquiry Response Time Per Staff Member 70 Channels 導入数 Deployment Count 対応工数 約 6 割減!! Apprx -60% in workload! 1876.6h Reduction Response Time Original required time Actual response time -
All because of the High Accuracy! - 回答精度が高いおかげ! 精度が⾼くないとこれは成し遂げられない!
Can’t accomplish this without high accuracy! -
Tomoyuki Nishimura Joined Mercari in 2022 and primarily
worked on developing the internal performance evaluation system. Since 2024, I have been serving as a team lead for internal AI/LLM products. Since July of this year, I have been working within the AI Task Force as an Enabler, supporting the application of AI at CorpIT division. Software Engineer, AI/LLM Solution team -
How was it achieved? - どうやって実現した? 社内に分散している知識を取 り込みます。その後、ベクト
ル検索のRAGを⽤いて関連知 識を検索し、回答を⽣成する チャットボットです。 A chatbot that ingests knowledge distributed across the company and uses a vector search RAG (Retrieval-Augmented Generation) system to retrieve relevant knowledge. It then generates appropriate answers from this information. -
Why not no-code? なぜノーコードを 使わなかった か? Nish Mercari
/ Software Engineer -
様々なノーコードツールがあると思います There are various no-code tools available. Logos are
trademarks of their respective owners. -
Challenge of using no-code - ノーコードで 実現が難しい ベクトル検索用 データを毎日
自動で最新化 Automatic daily updates to vector search data. 01 回答・検索精度 データセット を使った評価 Evaluating chatbot responses and search result accuracy using datasets. 02 社内ドキュメント へ 徹底的な 最適化 Optimizations tailored to internal corporate documents. 03 高い精度”を実現するために必要不可欠な取り組み Essential measures required to achieve "high accuracy”. -
よって、適宜資料を改善する必要があり ますが、定期的な最新化がなければに チャットボットに反映されないので重要 While the main documentation itself must be
created and improved, daily updates are still crucial because improvements will not be reflected in the chatbot otherwise. AIによるお問い合わせ対応 AI-Based Inquiry Response 担当 方による資料 更新 Document Updates ベクトル検索用データ 自動更新サイクル Automatic Refresh Cycle for Vector Search Data 回答の精度が悪い⼀番の理由 回答するために必要な社内 知識が資料化されてない事 Main cause for poor accuracy on responses Missing documentation for the internal knowledge required to generate the answers. 01 🤖 🙋 Daily update for vector search - ベクトル検索用 データ毎日自動で最新化 ベクトルDB 最新化 Updates to the Vector DB 回答が期待 ずれ Answer failed to meet expectations -
Evaluation using Dataset - 回答・検索精度 データセットを使った評価 データセットを使った評価の課題 評価したい機能ごとに評価指
標が変える必要があるので、 機能ごとに柔軟に評価データ セットを作れる必要がある。 Challenges in evaluation using a dataset Evaluation dataset generation must be flexible because the evaluation metrics must be changed for each function being a assessed. 02 -
解決策 LangSmithにデータを集約し、 Traceデータから都度必要な評価 データセットを作成できる環境 を整備する事で少ない⼿間で評 価できる様にした。 Solution We minimized efforts
to evaluation by consolidating data into LangSmith, which in turn allowed us to create evaluation datasets on demand from Trace data. Evaluation using Dataset - 回答・検索精度 データセットを使った評価 02 -
• ヘッダー要素ごとにチャンクを作る • ページタイトルなどの補完データを 各チャンクに追加 • テーブル要素は、⾏ごとにチャンクを 作る チャンク最適化 Chunk
Optimization 1. Create chunks based on each header element. 2. Add supplementary data, such as the page title, to each chunk. 3. Create chunks based on each row for table elements. 03 初期段階から社内 知識データに合わせて最適化できたこと 、大きな成功要因だったと思い ます。A significant factor to our success was the fact that we were able to optimize based on existing internal knowledge data from the beginning. • Hybrid Search • 要約の⽣成‧⽬次要素‧不要な改⾏‧ス ペースを削除 • 検索結果の重み付け (より新しい知識が結果に含まれやすい) • 将来的なマルチベクトル埋め込み 検索への最適化 Optimization for Search • Hybrid Search • Generation of summaries; removal of table of contents elements, unnecessary line breaks, and spaces. • Weighting of search results (to favor the inclusion of newer knowledge in the results). • Future implementation of multi-vector embedding. Document Optimization- 社内ドキュメントへ 徹底的な最適化 -
まとめ - なぜ、メルカリ ノーコードを選 なかった か? Summary - Why Did
Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally. 定期的最新化 Automatic daily updating 01 精度 評価 Accuracy Evaluation 02 ドキュメント 最適化 Document Optimization 03 -
AI Agent Vision in Mercari Mercari AI Agent 展望 SAKU
Mercari/ Project Manager -
Moving on - メルカリ これから 「生成LLMを使ってみよう」 Let's utilize Generative
AI ▼ 「どう活用する?」 How do we leverage this? -
Process - どうやって実現する ? ノーコードでできるのか? Can this be accomplished
with no-code? ▼ できない No -
ユーザコンテキスト の拡張 コンテキストに、社内知識だ けではなく、ユーザ属性や状 況など様々な情報を追加する Expanding User Context The context
will be augmented with diverse information, including user attributes and specific situations, in addition to internal corporate knowledge. Challenges & Roadmap - どこら辺が難しい?ロードマップと照らして ユーザの権限に 合わせたデータ活⽤ ⼀部でPrivate channelで出来 ている。OAuthログインして権 限を獲得するなどのセキュリ ティも担保した資料参照。 Data Utilization Tailored to User Permissions This is already being achieved in certain Private Channels. We also ensure security when referencing documents by utilizing OAuth login to acquire the necessary permissions. よりスムーズな ドキュメントの改善 ⽂書化されてない社内知識 を、より簡単に⽂書化できる 仕組みの構築 Smoother Document Improvement Establishing a mechanism to more easily document as-yet undocumented internal corporate knowledge. -
まとめ - なぜ、メルカリ ノーコードを選 なかった か? Summary - Why Did
Mercari Not Choose a No-Code Solution? これら 必要不可欠な機能 、いずれもノーコードツールで 実現が難しいと私たち 判断 しました。そ ため、我々 自前で実装することを選択しました。 We concluded that all of these essential functions were difficult to achieve with no-code tools. Consequently, we chose to implement them internally. 定期的最新化 Automatic daily updating 01 精度 評価 Accuracy Evaluation 02 ドキュメント 最適化 Document Optimization 03 -
何がしたい か? What do you want to do?
The question: -
いろんな「選択肢」が増えています We have more and more “option”
to choose from We have the option