Share
Embed
現場で使えるText-to-SQLエージェントへの道のり ── 踏んだ失敗、全部見せます!
2026/11/18に開催された、みん強Lightning!の登壇資料
https://datatech-jp.connpass.com/event/408461/
Tech Leverages PRO
November 18, 2026
Transcript
61 slides
-
Confidential INDEX 1 ⾃⼰紹介 2 会社紹介 3 データ活⽤基盤 4 課題設定:現場で使えるText
to SQL 5 失敗1:使ってる⾔葉が違う!? 6 失敗2:知識を詰め込んだら反抗期突⼊! 7 失敗3:「⼀次⾯接」と「1次⾯接」は別物です 8 失敗4:使ってるテーブルはあってるけど、、 9 失敗5:検索結果、候補が多すぎて選べない 10 失敗6:ドメイン知識って誰が持ってる? 11 まとめ © Leverages Co., Ltd. 3 -
Confidential ⾃⼰紹介 レバレジーズ株式会社 システム本部/テクノロジー戦略室/データプロダクトチーム 鈴⽊ 直澄 Suzuki Naozumi • 2022年新卒でWebアプリのエンジニアを2年経験
• 2024年にレバレジーズにデータエンジニアとして⼊社 • データ分析基盤の構築や、レコメンドシステムの構築、 MLOps周りもやってます • 毎週気合い⼊れてサッカー⾒てます ◦ • アーセナルのファンです! 最近、レンタルで畑を借りて野菜育て始めました © Leverages Co., Ltd. 5 -
Confidential 02 会社紹介 会社の概要、事業について 会社概要 事業の種類 社名 レバレジーズ株式会社 Leverages Co.,Ltd.
従業員数 4,264名(2026年4⽉現在) 代表者 岩槻 知秀 資本⾦ 5,000万円 所在地‧拠点 本社:東京都渋⾕区渋⾕2丁⽬24番12号 渋⾕スクランブルスクエア24F‧25F 国内拠点:27拠点 海外拠点:2拠点 © Leverages Co., Ltd. 7 -
Confidential 02 会社紹介 レバレジーズのデータ組織 職種名 職種概要 在籍⼈数※ 3名 13名 (インターン1名含む)
3名 4名 (兼任2名) 7名 (+契約社員 / 業務委託) 6名 3名 ※ 2026年10⽉時点。上記職種とは別にマネージャーが2名在籍 © Leverages Co., Ltd. 8 -
Confidential 03 データ活⽤基盤 今⽇のお話の前提の部分! • • セマンティックレイヤーは整備されている ◦ 共通の指標は定義されている状態 営業、マーケの⼈が⾃分でSQL書いてモニタリングする⽂化がある
◦ ガバナンスが難しくなる側⾯もあるが、数字をみて意思決定する マインドがあることは、とても素敵! ◦ SQLを書く⼯数がそれなりにかかっていること、SQLの正しさを担 保できないことから、Text to SQLの需要は⾼い © Leverages Co., Ltd. 11 -
Confidential 04 課題設定:現場で使えるText to SQL Text to SQLとは? • ⾃然⾔語から直接
SQL を⽣成するもの 今月の売上を教えて! SELECT SUM(sales_amount) AS total_sales FROM sales WHERE sales_date BETWEEN '2026-10-01' AND '2026-10-31' © Leverages Co., Ltd. 13 -
Confidential 04 課題設定:現場で使えるText to SQL Text to SQLとは? • ⾃然⾔語から直接
SQL を⽣成するもの ほい! 実行していいよ © Leverages Co., Ltd. 14 -
Confidential 04 課題設定:現場で使えるText to SQL Text to SQLとは? • ⾃然⾔語から直接
SQL を⽣成するもの ほい! 現場レベルは そんな甘くない!! 実行していいよ © Leverages Co., Ltd. 15 -
Confidential 04 課題設定:現場で使えるText to SQL “現場で使える”Text to SQLとは? • 「今⽉の売上」とかは、ダッシュボードで⾒れる
◦ 現場で書かれているSQLはもっと複雑で、質問ももっとラフ! 先月の〇〇の新規エントリーで、 一次面接まで進んだ人の割合を 事業部別で欲しい できれば、 理由も合わせて知りたいんだけど うぅ、むずい、、 (もう、自分でSQL書いて) © Leverages Co., Ltd. 16 -
Confidential 04 課題設定:現場で使えるText to SQL “現場で使える”Text to SQLとは? • 「今⽉の売上」とかは、正直ダッシュボード⾒ればいい
◦ 現場で書かれているSQLはもっと複雑で、質問もラフ! “現場で使える ”レベルに持っ 先月の〇〇の新規エントリーで、 ていくまでに踏んだ 一次面接まで進んだ人の割合を 事業部別で欲しい 数々の失敗をご覧あれ! できれば、 うぅ、むずい、、 (自分でSQLかけや) 理由も合わせて知りたいんだけど © Leverages Co., Ltd. 17 -
Confidential 04 課題設定:現場で使えるText to SQL 登場⼈物(ツール)の紹介 • • • •
Agent Development Kit (ADK) ◦ オープンソースのコードファーストなAIエージェント開発フレームワーク Gemini Enterprise ◦ イントラネット検索、AI アシスタント、エージェント プラットフォーム ◦ ADKで構築したエージェントを乗せてます Langfuse ◦ オープンソースのLLMOps‧オブザーバビリティ(観測可能性)プラット フォーム ◦ ユーザーのプロンプトやエージェントの動きをトレースする BigQuery ◦ 完全マネージドのサーバーレス‧データウェアハウス(DWH) ◦ データ分析基盤が構築されている © Leverages Co., Ltd. 18 -
Confidential 05 失敗1:使ってる⾔葉が違う!? 最初期の構成 • テーブルの情報と、どう動いて欲しいか、システムプロンプトに全部詰め込む user ADK System Prompt
BigQuery © Leverages Co., Ltd. 20 -
Confidential 05 失敗1:使ってる⾔葉が違う!? ユーザーの⾔葉 ≠ データ基盤の⾔葉 • そんな⾔葉なくね?となるか、「ヒア数」をそのままクエリに⼊れ込んでエ ラーになるクエリを返す、、 。。。
今月のヒア数知りたい ヒア数なんて言葉なくね?? それっぽいKPIでいいか、、 © Leverages Co., Ltd. 21 -
Confidential 05 失敗1:使ってる⾔葉が違う!? ユーザーの⾔葉 ≠ データ基盤の⾔葉 • ヒア数 → ⾯談実施数という変換が必要
ヒア数 = 面談実施数だから、 SQLはこんな感じかな 今月のヒア数知りたい select 、、 © Leverages Co., Ltd. 22 -
Confidential 05 失敗1:使ってる⾔葉が違う!? ユーザーの⾔葉 ≠ データ基盤の⾔葉 • ヒア数 → ⾯談実施数と⾔う変換が必要
つまり、言葉のマッピング (辞書)が必要! ヒア数 = 面談実施数だから、 SQLはこんな感じかな 最低限のマッピングをプロンプトに入れるこ 今月のヒア数知りたい とで、言葉のすり合わせは多少マシに select 、、 © Leverages Co., Ltd. 23 -
Confidential 05 失敗1:使ってる⾔葉が違う!? ユーザーの⾔葉 ≠ データ基盤の⾔葉 • • そもそもデータ基盤の⾔葉で、現場でも統⼀できれば良さそうだが、、 ◦
事業の規模が⼤きく、⼈によってはデータ基盤を触らない⼈もいるため、 馴染みやすい⾔葉で浸透することも多い このマッピングはN : 1になることもある。 ◦ ユーザーの⾔葉 : データ基盤での⾔葉 = N : 1 になることもあるので、 辞書という役割で分離した⽅が良さそう © Leverages Co., Ltd. 24 -
Confidential 06 失敗2:知識を詰め込んだら反抗期突⼊! 最初期の構成 • テーブルの情報と、どう動いて欲しいか、システムプロンプトに全部詰め込む user ADK BigQuery ここに数多の情報が
乗っていく、、 System Prompt © Leverages Co., Ltd. 26 -
Confidential 06 失敗2:知識を詰め込んだら反抗期突⼊! 最初期の構成 • テーブルの情報と、どう動いて欲しいか、システムプロンプトに全部詰め込む user ADK BigQuery コストの確認とか、
ガードレール的に入れてた仕組みが 効かなくなっていく、、 → コンテキスト腐敗( Context Rot) System Prompt © Leverages Co., Ltd. 27 -
Confidential 06 失敗2:知識を詰め込んだら反抗期突⼊! 最初期の構成 • テーブルの情報と、どう動いて欲しいか、システムプロンプトに全部詰め込む “指示”と“情報”を分けることが重要! user ADK BigQuery
コストの確認とか、 ガードレール的に入れてた仕組みが 効かなくなっていく、、 → コンテキスト腐敗( Context Rot) System Prompt © Leverages Co., Ltd. 28 -
Confidential 06 失敗2:知識を詰め込んだら反抗期突⼊! “指⽰”と”情報”を分離したアーキテクチャ • 情報を格納するための、Knowledge Tableを作成した。考え⽅はRAGと同じ。 user ADK BigQuery
Knowledge Table System Prompt © Leverages Co., Ltd. 29 -
Confidential 07 失敗3:「⼀次⾯接」と「1次⾯接」は別物です LLM onlyの検索性には限界がある 辞書 「1次面接」 一次面接数知りたい user ADK
Knowledge Table © Leverages Co., Ltd. 31 -
Confidential 07 失敗3:「⼀次⾯接」と「1次⾯接」は別物です LLM onlyの検索性には限界がある • Agentはトークン単位で⽐較するため、表記揺れに対応しきれない 同じだ! 「一次面接」という 言葉をSQLに入れ込む
一次面接数知りたい →0件、、 user ADK 辞書 「1次面接」 Knowledge Table © Leverages Co., Ltd. 32 -
Confidential 07 失敗3:「⼀次⾯接」と「1次⾯接」は別物です LLM onlyの検索性には限界がある • Agentはトークン単位で⽐較するため、表記揺れに対応しきれない 同じだ! LLM任せにしない 「一次面接」という
一次面接数知りたい 曖昧な部分をツール側で担保する 言葉をSQLに入れ込む user ADK 辞書 「1次面接」 Knowledge Table © Leverages Co., Ltd. 33 -
Confidential 07 失敗3:「⼀次⾯接」と「1次⾯接」は別物です LLM onlyの検索性には限界がある • ベクトル検索で似た候補を複数取ってきて、ユーザーとすり合わせる 候補として、 「1次面接設定数」 「1次面接実施数」
があるけどどうする? 一次面接数知りたい user ADK 辞書 「1次面接設定数」 「1次面接実施数」 Knowledge Table © Leverages Co., Ltd. 34 -
Confidential 08 失敗4:使ってるテーブルはあってるけど、 テーブルの正しい使い⽅を知らない • 使ってるテーブルが正しくても、テーブルの使い⽅が違うと、数値がズレる ◦ 例1:起点⽇の違い ▪ 同じKPIを数えていても、どのタイミングの数字をカウントするかで、
数値は変わる (CV起点なのか、内定承諾⽇起点なのかなど) ◦ 例2:スナップショットテーブルを合計してしまう ▪ ⽇次で全件のスナップショットを持っているテーブルを、そのまま SUM / COUNT すると 約30倍 の数字になる © Leverages Co., Ltd. 36 -
Confidential 08 失敗4:使ってるテーブルはあってるけど、 テーブルの正しい使い⽅を知らない • 使ってるテーブルが正しくても、テーブルの使い⽅が違うと、数値がズレる ◦ 例1:起点⽇の違い ▪ 同じKPIを数えていても、どのタイミングの数字をカウントするかで、
数値は変わるクエリのテンプレを作成し、 ◦ 例2:スナップショットテーブルを合計してしまう 正しい使い方を教えてあげる ▪ ⽇次で全件のスナップショットを持っているテーブルを、そのまま SUM / COUNT すると 約30倍 の数字になる © Leverages Co., Ltd. 37 -
Confidential 08 失敗5:検索結果、候補が多すぎて選べない 最終的に、以下のように情報を整理した • word master:ユーザーの⾔葉とデータ基盤の⾔葉をマッピングする辞書 • query template:クエリの正しい使い⽅
• domain value:主にdimとなるカラムの値 ◦ ない場合は、毎回 select distinct カラム してクエリを組み⽴てる形になるの で、動きはするがコスト的に微妙 • buisiness rule:事業特有の慣習とかルールとか、よく⾒る指標とか • expert sql:現場で使ってる職⼈技SQL © Leverages Co., Ltd. 38 -
Confidential 09 失敗5:検索結果、候補が多すぎて選べない 以下のように情報を整理した結果、、 • word master:ユーザーの⾔葉とデータ基盤の⾔葉をマッピングする辞書 • query template:クエリの正しい使い⽅
• domain value:主にdimとなるカラムの値 ◦ ない場合は、毎回 select distinct カラム してクエリを組み⽴てる形になるの で、動きはするがコスト的に微妙 • buisiness rule:事業特有の慣習とかルールとか、よく⾒る指標とか • expert sql:現場で使ってる職⼈技SQL © Leverages Co., Ltd. 40 -
Confidential 09 失敗5:検索結果、候補が多すぎて選べない 検索結果がたくさん出てきてしまう • 売上を調べるSQLの書き⽅は1つではない ◦ セマンティックレイヤーから導出する⽅法 ◦ データマート層から導出する⽅法
◦ DWH層から導出する⽅法 ◦ ローデータから導出する⽅法 どれがいいか、 判断がつかない、、 © Leverages Co., Ltd. 41 -
Confidential 09 失敗5:検索結果、候補が多すぎて選べない 検索結果がたくさん出てきてしまう • 売上を調べるSQLの書き⽅は1つではない ◦ セマンティックレイヤーから導出する⽅法 ◦ データマート層から導出する⽅法
◦ 1. セマンティックレイヤー DWH層から導出する⽅法 情報に優先度をつける 2. データマートどれがいいか、 ◦ ローデータから導出する⽅法 .. 判断がつかない、、 © Leverages Co., Ltd. 42 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? このプロジェクトの体制 • • データエンジニア(私) ◦ システム⾯を担当 データアーキテクト
◦ Text to SQL導⼊したドメインにめっちゃ詳しい ◦ データモデリングやってるので、分析基盤についても詳しい © Leverages Co., Ltd. 45 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? このプロジェクトの体制 • • データエンジニア(私) ◦ システム⾯を担当 データアーキテクト
◦ Text to SQL導⼊したドメインにめっちゃ詳しい ◦ データモデリングやってるので、分析基盤についても詳しい ドメイン詳しい人ありきで、 このままだと、他事業にスケールできない © Leverages Co., Ltd. 46 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? そもそもドメイン知識はどこにあるのか • 鈴⽊の脳内、、 ◦ 当然だが、ドメイン知識は現場の⼈が持ってる ◦ ドメインの拡充お願いできたら、めっちゃ嬉しいよな、、
◦ 現場に、馴染みのないものだと厳しいよな、、 © Leverages Co., Ltd. 47 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? そもそもドメイン知識はどこにあるのか • 鈴⽊の脳内、、 ◦ 当然だが、ドメイン知識は現場の⼈が持ってる ◦ ドメインの拡充お願いできたら、めっちゃ嬉しいよな、、
◦ 現場に、馴染みのないものだと厳しいよな、、 スプシで整理したら、いけるのでは?? © Leverages Co., Ltd. 48 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? スプシ管理アーキテクチャ • 馴染みのあるスプシでナレッジ管理してみる user user ADK BigQuery
ナレッジ 追加 GAS Knowledge Table Spread Sheet System Prompt © Leverages Co., Ltd. 49 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? スプシ管理アーキテクチャ • 馴染みのあるスプシでナレッジ管理してみる めっちゃ甘かった、、 w user user
BigQuery ADK 多忙な現場で、報酬の見えずらい ナレッジ整備は浸透しなかった、、 ナレッジ 追加 GAS Knowledge Table Spread Sheet System Prompt © Leverages Co., Ltd. 50 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? 改めて課題整理! • • • • • エンジニアはドメインナレッジを持っていない
ドメインナレッジを整備する報酬が⾒えずらい ドメインナレッジを追加するのが⼤変 そもそもめっちゃ忙しい Text to SQL⾃体は機能してるので満⾜ 自分が整備すべきなのは、 楽に正しいドメインナレッジが溜まっていき、恩恵が見える仕組み © Leverages Co., Ltd. 51 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? 改めて課題整理! • • • • • エンジニアはドメインナレッジを持っていない
ドメインナレッジを整備する報酬が⾒えずらい ドメインナレッジを追加するのが⼤変 そもそもめっちゃ忙しい Text to SQL⾃体は機能してるので満⾜ 自分が整備すべきなのは、 楽に正しいドメインナレッジが溜まっていき、恩恵が見える仕組み めちゃくちゃ道なかばです、、 © Leverages Co., Ltd. 52 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? (うまくいくかはわからんけど)考えていること • • • 半年間、Text to SQLをやってみて、ドメインナレッジはいろんなところに散
らばってる。 ◦ Langfuseのトレース⾒ると、直接丁寧に教えてくれてたりする ◦ 個⼈情報とか怖いので障壁はあるが、Slackのメッセージ ◦ GoogleWorkspaceにあるドキュメント ◦ etc これらの情報を特定の単位でまとめて、◯/×の判定だけ現場にお願いできな いかな〜 もうスプシである必要はないから、移植性優先で、OKFで整理しようかな ◦ Knowledge Catalog使うかはわからんけど、OKFはほぼmdだし⼤丈夫 © Leverages Co., Ltd. 53 -
Confidential 10 失敗6:ドメイン知識って誰が持ってる? 補⾜ • • Open Knowledge Format (OKF)
◦ AIエージェントや⼈間が社内などの組織ナレッジを共通の形で扱い、 共有‧交換するために⽶Googleが2026年6⽉に発表したオープン仕様 のファイル形式 Knowledge Catalog (旧Dataplex) ◦ Google Cloud が提供するAIエージェント向けのユニバーサルコンテキ スト‧ガバナンスエンジン © Leverages Co., Ltd. 54 -
Confidential 11 まとめ まとめ • 現場で使える “Text to SQL”にするためにやったこと ◦
ユーザーの⾔葉とデータ基盤の⾔葉をマッピングする辞書を作る ◦ “指⽰”と“情報”を分ける ◦ LLM任せにしない ▪ 曖昧な部分をツール側で担保する ◦ クエリのテンプレを作成し、正しい使い⽅を教える ◦ 情報に優先順位をつける • もっと広げていくためにやるべきこと ◦ 楽に正しいドメインナレッジが溜まっていき、恩恵が⾒える仕組み ◦ (オントロジー含む、適切な情報管理) © Leverages Co., Ltd. 56 -
Confidential 11 まとめ おまけ1 • Text to SQLのテストで使ったお題を⼀部紹介 (実際の会話内容は⾊々外に出せない情報あるので、、) ◦
アフィリエイト経由の流⼊で、どの年齢層が増えている?✅ ◦ 遠隔リモートが可能な求⼈のリストほしい!✅ ◦ 第1カテゴリ別で⾒たときに、内定率が下がってきているものはある?✅ © Leverages Co., Ltd. 57 -
Confidential 11 まとめ おまけ2 • 最近、FB会(ファンミ)をやってみたので、感想を⼀部抜粋 ◦ クエリを⾃分で書くことがなくなりました! ◦ ほしいデータがカラムのどこから取得できるのかすぐ教えてくれる
◦ 割と雑依頼でも修正してくれるので、助かっております、、、 ◦ 馴染みのないテーブルから出てくると、あってるかちょっと不安 ▪ アウトプットに対する説明性が⾜りてない、 ◦ 会話が⻑くなると、最初の要件忘れてしまうことがある、、 ▪ これはモデルの精度向上である程度勝⼿に改善されそう ◦ MCP連携して欲しい、、 ▪ これはガードレールしっかり引く必要ある • ツール単位で呼ばれるので、制御の仕組みをツールに持たせる © Leverages Co., Ltd. 58 -
Confidential さいごに 社外の⽅に向けてブログやYouTubeなどの発信も⾏っています! melev データ戦略室紹介記事① データ戦略室紹介記事② YouTube データ戦略室紹介動画 AI戦略紹介動画 データ/AIブログ
レバレジーズデータAIブログ テックブログ Leverages Tech Blog © Leverages Co., Ltd. 60 -
Confidential さいごに We Are Hiring! • まずはカジュアル面談からどうぞ! • 3年で2倍にスケールする環境で、データを使った変革を起こしましょう! •
募集職種 ◦ データサイエンティスト ◦ データアナリスト ◦ データアーキテクト ◦ データエンジニア ◦ AI・MLエンジニア ◦ 機械学習研究員 © Leverages Co., Ltd. 61