Azure Durable Functions で作った NL2SQL Agent の精度向上に取り組んだ話/aidevday2026

by TonyTonyKun

Embed

Start on current slide

Slide 1

Slide 1 text

Azure Durable Functions で作った NL2SQL Agent の精度向上に取り組んだ話 2026.07.24 AI Dev Day 2026

Slide 2

Slide 2 text

自己紹介名前原敏之個人 X (Twitter) : @TonyTonyKun ROMANCE DAWN for the new world • https://gooner.hateblo.jp/ Microsoft MVP for Microsoft Azure 2017 〜コミュニティ Japan Azure User Group (JAZUG) Japan Azure Travelers 仕事株式会社ネクストスケープ Copyright© 2026, JAZUG All Rights Reserved. 2

Slide 3

Slide 3 text

Slide 4

Slide 4 text

JAZUG のご紹介 Japan AZure User Group ( 略称 : じゃずゆーじー) コミュニティ活動概要 Microsoft Azure を通じて、技術、交流、実ビジネスを楽しむ “ちょっと興味がある＝ゆるふわな方“ から “実ビジネスで使うんだよね” な方まで大歓迎！ゆるふわコミュニティです。 X ハッシュタグ：#jazug イベント情報は Connpass にて 4 Copyright© 2026, JAZUG All Rights Reserved.

Slide 5

Slide 5 text

全国に広がる JAZUG の輪 1 2 5 7 4 3 1 JAZUG 札幌 (きたあず) 2 JAZUG 仙台 3 JAZUG 名古屋 (なごあず) 4 JAZUG 大阪 (関西Azure研究会) 5 JAZUG Fukuoka 6 JAZUG Shizuoka 7 JAZUG 四国 (しこあず) 8 JAZUG for Women 6 5 Copyright© 2026, JAZUG All Rights Reserved.

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

東京での主な活動 Tokyo Jazug Night 月1回ペースで平日の夜に開催次回の第62回は、2026/9/3（木）に品川で開催予定 JAZUG for Women 不定期で開催されるオフライン女性限定の勉強会 Global Azure 年1回世界中の Azure コミュニティが同じ日にイベントを開催 JAZUG 周年イベント毎年9月-10月に開催される JAZUG x周年を祝うお祭り今年の16周年は、2026/10/3（土）に品川で開催予定 Copyright© 2026, JAZUG All Rights Reserved. 9

Slide 10

Slide 10 text

Slide 11

Slide 11 text

モチベーションチャットで自然言語を入力するだけでデータベースの情報を取得できる仕組みが欲しい UI 今月の売上は？ NL2SQL 質問をクエリに変換して実行チャット１億円です。 DB クエリ結果を回答に変換 NL2SQL (Text to SQL) は、生成 AI を利用して自然言語を SQL に変換する技術です。 SQL を書けない人でもデータベースから情報を取得でき、また SQL に詳しいエンジニアの作業効率も大きく向上できることが期待されています。 Copyright© 2026, JAZUG All Rights Reserved. 11

Slide 12

Slide 12 text

アーキテクチャ Azure Durable Functions + Durable Task Scheduler Azure Durable Functions チャットから質問を送信チャットに回答を返却 Orchestrator Activity Agent 選択 GetAgentToRun (Function Calling) AOAI NL2SQL Agent 実行 NL2SQL Agent AOAI SQL Query 実行 Execute SQL Agent 回答生成 SynthesizeAgentCallResults Durable Task Scheduler Copyright© 2026, JAZUG All Rights Reserved. Cosmos DB SQL Database AOAI 12

Slide 13

Slide 13 text

Azure Durable Functions を採用した理由 Durable Functions AI Agent の構築パターンに fan-out / fan-in をマッピングしやすい非同期にタスクを並列実行させる処理をアプリケーションのレイヤーだけでなく、インフラのレイヤーまで含めて統制できる Durable Task Scheduler より優れたスケーラビリティの実現 • LLM からのレスポンスに時間がかかりやすいため可観測性の向上 • 実行されるアクティビティが LLM によって動的に決定されるため 13 Copyright© 2026, JAZUG All Rights Reserved.

Slide 14

Slide 14 text

Slide 15

Slide 15 text

まず最初に思いつくアプローチ生成 AI を使って自然言語から SQL クエリを生成する LLM LLM 自然言語による質問クエリ生成クエリ実行クエリ結果 SQL DB 回答生成 ※ クエリ生成では、データベースのテーブル定義やカラムの意味をシステムプロンプトとして与える。生成 AI に丸投げするアプローチでは、クエリ変換の精度とセキュリティに課題がある • • 精度 • 正解率は約50% • テーブル選択や集計条件の誤りにより、意図したクエリを生成できない • インデックスの考慮不足により、大量データのパフォーマンスが懸念されるセキュリティ • 機微情報の漏洩リスクがある Copyright© 2026, JAZUG All Rights Reserved. 15

Slide 16

Slide 16 text

RAG + SQL View のアプローチで課題解決 RAG（クエリテンプレート）＋ SQL View を組み込む Description Parameter Query 売上を取得する日付(年月日) SELECT * FROM Sales WHERE 日付 = @date 予算を取得する日付(年月) SELECT * FROM Budget WHERE 日付 = @date LLM LLM 自然言語による質問テンプレート検索(RAG) クエリ実行 SQL DB (View) クエリ結果回答生成 View は安全な公開用スキーマ →ユーザーに見せたくない列を除外する検索・ベクトル検索・キーワード検索・スコア統合（RRF）パラメータ抽出・検証・パラメータ抽出質問から条件抽出・パラメータ検証必須有無型や範囲など Copyright© 2026, JAZUG All Rights Reserved. 判定・評価クエリ生成セキュリティ検証検索候補が質問に適合しているかを LLM で判定テンプレートのパラメータを埋め込む・SQL 構文チェック・インジェクション対策 16

Slide 17

Slide 17 text

“質問の意図を正しく解釈すること” が重要正解率は約70%に向上、セキュリティも担保できたが・・・精度向上の壁は、質問の意図を正しく解釈できていないことだった質問の意図を正しく解釈する →メモリエンジニアリング（コンテキストや会話履歴の参照） →ナレッジの拡充（業務用語の辞書など） →曖昧な質問の場合は聞き返す（対象や期間など） Azure Durable Functions チャットから質問を送信チャットに回答を返却 Orchestrator Activity Agent 選択 GetAgentToRun (Function Calling) AOAI NL2SQL Agent 実行 NL2SQL Agent AOAI SQL Query 実行 Execute SQL Agent 回答生成 SynthesizeAgentCallResults Durable Task Scheduler Copyright© 2026, JAZUG All Rights Reserved. Cosmos DB SQL Database AOAI SQL クエリの結果をもとに質問に回答する →クエリの結果が知りたいわけではない →求める回答を生成するナレッジの拡充 17

Slide 18

Slide 18 text

まとめ Azure Durable Functions により、Agent のワークフローを柔軟に構築できた RAG + SQL View により、NL2SQL の精度と安全性を向上できた重要なのは SQL を生成させる精度だけではなく、LLM が正しい情報にたどり着ける仕組みを設計することそして最後に残る課題は、質問の意図を正しく理解すること 18 Copyright© 2026, JAZUG All Rights Reserved.