データ分析エージェント Socrates の育て方

メルカリでのAI Agentの現在地を大公開っ
https://mercari.connpass.com/event/366804/

Transcript

1. 1 データ分析エージェント Socrates の育て⽅ Naofumi Yamada (@na0fu3y) 2025-09-17
2. 2 Agent Engineer / Mercari BI Product Google Developer Expert (Google Cloud) Naofumi Yamada @na0fu3y
3. 　　 あらゆる価値を循環させ、あらゆる人の可能性を広げる “Circulate all forms of value to unleash the potential in all people” 3 グループミッション
4. 　　 Japan Region Mercari Group Fintech 4 会社概要 メルカリグループは、株式会社メルカリと、その連結子会社で構成されています。 Marketplace 株式会社メルカリ ◼設立 ◼事業内容 ◼所在地 ◼拠点 ◼代表執行役 CEO ◼執行役 SVP of Japan Region ◼執行役員 CEO Marketplace 　　　　2013年2月1日 　　　　スマートフォン向けフリマアプリ 　　　　「メルカリ」の企画・開発・運営 　　　　〒106-6118 東京都港区六本木6-10-1 　　　　六本木ヒルズ森タワー 　　　　東京、福岡、大阪 　　　　山田進太郎 　　　　山本真人 　　　　迫俊亮 ①2017年11月20日 ②金融事業 ③永沢岳志 株式会社メルペイ ①2014年1月 ②US版メルカリの企画・開発・運営 ③山田進太郎 ④Palo Alto, California Mercari, Inc.（US） ①1991年10月1日 ②フットボールクラブ運営 ③小泉文明 ④茨城県立カシマサッカースタジアム 指定管理茨城県鹿嶋市 粟生東山2887番地 株式会社鹿島 アントラーズ・エフ・シー インド開発拠点 ①2022年6月 ②インターネットサービス開発 ③Carlos Donderis（取締役 Managing Director） ④Bangalore, Karnataka, India Mercari Software Technologies India Private Limited ①2021年4月28日 ②暗号資産･ブロックチェーン ③中村奎太 株式会社メルコイン ①設立　②事業内容　③CEO　④所在地
5. 　　 2013年2月1日 会社設立日 東京、福岡、大阪 Palo Alto、Bangalore オフィス 2,190名（連結） 従業員数 5 株式会社メルカリ　概要
6. 6 データ分析 LLM エージェント Socrates の⽣い⽴ち 今⽇話すこと Socrates のつくり⽅ Socrates の育て⽅ チームの育て⽅ 02 03 04 01
7. 7 n8n / Dify / LangChain などなど その前に：今⽇の温度感確認 LLM エージェントつくってる？
8. 8 Socrates の⽣い⽴ち
9. 9 データ分析 LLM エージェント Socrates Chat / Deep Research 形式で データ分析を⾏う LLM エー ジェントを開発中 累計 1,000 ⼈以上が利⽤
10. 10 データ分析を⾏うマルチエージェントシステム。各エージェントが専⾨タスク を担当し、協調動作。 Socrates の概要 ⼈ Socrates BigQuery 権限管理 エージェント 会話 Python エージェント ツール 使⽤ 依頼 応答 依頼 応答 応答
11. 11 背景：データ活⽤の壁 1. データ選択 0. 課題意識 2. 権限申請 3. データ理解 4. 分析設計 5. SQL 理解
12. ⽬的：データ活⽤の壁を全員で越えたい 全員の「課題意識」を「筋のよい仮説」に変換して、ビジネスを進めたい 課題意識 売上を上げるために 何をすべきか？ 先週のキャンペーンはう まくいった 2 週間前の広告の 効果はほぼなかった 筋のよい仮説 先週のキャンペーンを定 常化する？
13. やること：壁を越える機能をつくる！ 壁 機能 0. 課題意識 LLM が SNS / 社内 Slack / KPI から課題を理解 1. データ選択 LLM がデータカタログから検索 2. 権限申請 LLM が社内ドキュメントから検索 3. データ理解 LLM がメタデータを閲覧 4. 分析設計 LLM が分析仕様書 Analytics Design Doc を記述 5. SQL 理解 LLM が仕様にあった SQL を記述
14. 14 Socrates のつくり⽅
15. やること：壁を越える機能をつくる！ 壁 機能 0. 課題意識 LLM が SNS / 社内 Slack / KPI を評価 1. データ選択 LLM が データカタログから検索 2. 権限申請 LLM が 社内ドキュメントから検索 3. データ理解 LLM が メタデータを閲覧 4. 分析設計 LLM が 分析仕様書 ADD を記述 5. SQL 理解 LLM が 仕様にあった SQL を記述 LLM にやってもらわなきゃいけないこと多くない...？どうやって実装しよう
16. 16 LLM エージェント ≒ LLM + ツール ツール LLM • 外部⼊出⼒ • 構造化データ処理 • 思考 • ⾮構造化データ処理
17. LLM エージェントフレームワーク SELECT 1 を実⾏して SELECT 1 を実⾏して {“call”: “execute_sql”, “query”: “SELECT 1”} SELECT 1 を実⾏して SELECT 1 を実⾏して {“call”: “execute_sql”, “query”: “SELECT 1”} {“response”: “execute_sql”, “rows”: [[1]]} SELECT 1 を実⾏して {“call”: “execute_sql”, “query”: “SELECT 1”} {“response”: “execute_sql”, “rows”: [[1]]} 結果は 1 だったよ 結果は 1 だったよ AI エージェント フレームワーク ツール呼び出し / 会話履歴などを簡単に実装できる仕組み
18. LLM エージェントフレームワークを選ぶ LangChain が強い...？（図は Google Trends より）
19. やること：壁を越える機能をつくる！ 壁 機能 関連するリソースの例 0. 課題意識 LLM が SNS / 社内 Slack / KPI を評価 BigQuery、Slack 1. データ選択 LLM が データカタログから検索 Dataplex Universal Catalog、GitHub 2. 権限申請 LLM が 社内ドキュメントから検索 Confluence、Google Drive 3. データ理解 LLM が メタデータを閲覧 BigQuery 4. 分析設計 LLM が 分析仕様書 ADD を記述 - 5. SQL 理解 LLM が 仕様にあった SQL を記述 - ツールとして何をどう実装しよう？
20. ツールを借りる / つくる 信⽤できる MCP を使う、ない場合や固有の制約が欲しい場合は⾃作する リソース 必要な機能 固有の制約 BigQuery • クエリの実⾏ • description の閲覧 1TB 以上参照するクエリは承認制 にしたい Dataplex Universal Catalog • BigQuery テーブルの検索 （信⽤できる MCP がない） Slack • 最近のメッセージの閲覧 GitHub • 関連ソースコードの検索 Confluence • ドキュメントの検索 • ドキュメントの閲覧 Google Drive • ドキュメントの検索 • ドキュメントの閲覧
21. LLM を選ぶ LMArena の Text Arena では、Gemini 2.5 Pro が強い...？
22. 22 Socrates の育て方
23. 23 LLM を育てる？ツールを育てる？ ツール LLM • コンテキストエンジニ アリング • 事前学習 • ファインチューニング
24. その前に：どうやって評価する？ どうなったら嬉しいか、終了条件を満たすかを定義する 例） • 利⽤者の評価 👍 / 👎 を最⼤化する ◦ ⼈間の介⼊回数が少ない ◦ 最⼩クエリ発⾏数で要件を満たすレポートが⽣成される • ベンチマーク⽤のデータセットに対して 95% の精度を達成する
25. 25 LLM を育てる？ツールを育てる？ ツール LLM • コンテキストエンジニ アリング • 事前学習 • ファインチューニング
26. 26 LLM を育てる ファイン チューニング 事前学習 特定分野の専⾨知識が必 要な場合など 基盤モデルをゼロから作 りたい場合など
27. 27 ツールを育てる リソース品質 ツール品質 ツールのアクセス先リ ソースの無駄を減らす システムプロンプトや ツール⼊出⼒を調整する
28. 28 エラーハンドリングをちゃんとやる ツール品質 LLM に成否と代案を理解させる
29. ツール品質の例：BigQuery クエリ実⾏ クエリ成功時； →（クエリ結果が空）空であることの説明⽂を返す【幻覚対策】 →（クエリ結果が空でない）クエリ結果を返す クエリ失敗時； →（参照権限の不⾜）権限案内エージェントへの移譲案内⽂を返す →（参照量の超過）利⽤者にクエリを確認してもらう案内⽂を返す
30. 30 LLM の⾏動範囲にゴミを置かない リソース品質 LLM に信憑性と優先度を理解させる
31. リソース品質の例：BigQuery テーブル検索 リソースに関するメタデータ； →正しい情報が書かれている →間違った情報が書かれていない →情報の正しさの評価値
32. プロンプト品質...？ LLM の⼊⼒には以下のような種類がある。全ての品質を考慮できるとよい。 ⼊⼒ 機能 責務 システムプロンプト エージェントの役割、性格、⾏動指針、制約など 開発者 ユーザプロンプト ユーザからの具体的な質問や指⽰など 利⽤者 ツール説明⽂ エージェントが利⽤できるツールの機能、使い ⽅、引数、出⼒形式など 開発者 ツール出⼒ ツールを実⾏して返ってきた情報など 開発者 LLM 出⼒ LLM 返答した情報など 開発者
33. 33 チームの育て方
34. 34 Socrates ユーザコミュニティ化 ユーザプロンプト品質 利⽤者を育てる勉強会
35. 35 利⽤者からの⼤量の要望 コミュニティ化の恩恵：⼤量のフィードバック とにかく早く応える！
36. システムプロンプト品質 コミュニティ化により、利⽤者提供の システムプロンプトも充実
37. 37 誰でも同じ⼿続きが再現可能に Socrates リリースの効果 データ取り扱いが形式知化
38. 38 まとめと Socrates の未来
39. 39 データ活⽤の壁を全員で越えるための Socrates を開発 まとめ やりたいことに対応するツールやリソースを開発、改善 Socrates 利⽤者のプロンプトを育てるコミュニティを形成 What’s Next? 02 03 04 01
40. 次にやること：⼈間の体験をシームレスに 壁の越え⽅ 1 つ 1 つを繋ぎ合わせて、利⽤者体験を⼀貫性のあるものに 壁 機能 0. 課題意識 LLM が SNS / 社内 Slack / KPI を評価 1. データ選択 LLM がデータカタログから検索 2. 権限申請 LLM が社内ドキュメントから検索 3. データ理解 LLM がメタデータを閲覧 4. 分析設計 LLM が分析仕様書 Analytics Design Doc を記述 5. SQL 理解 LLM が仕様にあった SQL を記述
41. 次にやること：⼈間レスに...？
42. We’re hiring!! - AI/Data Product Engineer