20260804_Q4AzureUpdateBite_FabricDataAgentの精度を高める設計.pdf

Transcript

1. Fabric Data Agent の精度を高める設計 「Context Enrichment」 と 「Data Modeling」 の観点から考える 日本マイクロソフト株式会社 パートナーソリューションアーキテクト 又吉 佑樹
2. 本パートで伝えたいこと Part 1 Part 2 Context Enrichment Data Modeling • Data Agent はどのように回答を生成するのか • 各処理をどの設定で改善するか • データソースごとに意味をどう持たせるべきか • Semantic Model と Ontology の特徴 • それぞれのデータモデリング手法を理解する
3. 本パートで伝えたいこと Part 1 Part 2 Context Enrichment Data Modeling • Data Agent はどのように回答を生成するのか • 各処理をどの設定で改善するか • データソースごとに意味をどう持たせるべきか • Semantic Model と Ontology の特徴 • それぞれのデータモデリング手法を理解する
4. Data Agent はどのように回答を生成するのか Data Agent Orchestrater User Question 1. Source routing & Query rephrasing 2. Query Generation & Execution 3. Response Synthesis Agent Response Guardrails 処理段階 判断内容 主な設定 Routing どのデータソースで回答するか Agent instructions / Data source description etc. Query generation どのスキーマ・ロジックを使うか Data source Instructions / Example queries etc. Synthesis 結果をどの粒度・形式で説明するか Agent instructions Data Agent は質問を直接実行するのではなく、段階ごとに判断しながら回答を構成する。
5. Fabric Data Agent が扱えるデータソース一覧 対象アイテム クエリ言語 主なシナリオ Lakehouse, Werehouse, SQL DB, Mirrored DB T-SQL テーブル形式のデータを検索・集計する Eventhouse KQL ログ、イベント、IoT、時系列データを分析する Fabric Graph GQL データ間の関係や経路をたどる Semantic Model DAX 定義済みのメジャーや KPI を使って分析する Fabric Ontology Azure AI Search Ontology-native (GQL / KQL) 自然言語 + Search 業務概念や関係性を基に、複数データを横断して分析する PDF や文書などの非構造化データを検索する ※ １つの Data Agent で最大 5 つのデータソースを組み合わせて会話型分析を行うことが可能です。 Add a data source to Data Agent - Microsoft Fabric | Microsoft Learn
6. Query Processing Flow for Data Agent : Internal processing : Data Agent Configuration : Power BI Configuration Data Agent Orchestrator 1. Source routing & Query rephrasing User Question Agent Instructions Data source Name & Description Data source routing & Query rephrasing 3. Response Synthesis Agent Response Agent Instructions Visualization Format Results & Genarate Summary : Ontology Configuration 2. Query Generation & Execution Data source Instructions NL2SQL Lakehouse, Warehouse, SQL DB, Mirrored DB Selected Schema NL2KQL Eventhouse Example queries NL2GQL Fabric Graph Power BI’s PREP for AI NL2DAX Semantic Model Metadata for Ontology NL2Ontology Fabric Ontology Unstructured Data configurations NL2Search Azure AI Search Query + Results Guardrails
7. : Internal processing 1. Source routing & Query rephrasing : Data Agent Configuration : Power BI Configuration : Ontology Configuration Agent Instructions • エージェント全体の目的・役割を定義 • 優先して参照すべきデータソースを指定 • すべてのデータソースに対し共通のコンテキスト（業 務用語・略語・同義語）を補足 など Data source Description • データソースの内容を要約 • 回答可能な質問の種類を明確に • 他データソースとの違いを意識して説明する など Auto Context Enrichment データソース選定時、「データソースの説明」の他に、 「スキーマ」や「サンプルクエリ」などのメタデータも考慮
8. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration Data source Instructions • テーブル間の結合条件や集計ロジックを定義 • データソース固有の業務用語・同義語・値の 形式を補足 など ※ 新しい担当者でも正しいクエリを書ける粒度で記述。 テキストだけで複雑になる場合は Example queries に切り出す。 Selected Schema • 不要なテーブル・列を除外 ※ 利用できるデータをすべて接続するのではなく、 想定される質問への回答に必要なデータだけに絞る。 Example queries • 質問とクエリ例で複雑なロジックを定義 ※ データソース毎に最大 100 件登録可能。 ユーザーのクエリと関連度の高い上位 4 件のみが参照。
9. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration AI instructions • 業務用語、優先テーブル、集計粒度、比較 軸などを明確化 AI data schemas • 不要なテーブル・列・メジャーを除外 Verified answers • 質問文に対し、ビジュアルの構成情報（列、 メジャー、フィルター）を定義 Auto Context Enrichment • DAX 生成ツールは PREP for AI の他にも、 以下のメタデータを使用しクエリ生成精度を高めている • • • • スキーマ Synonym 数値の最小値・最大値 Report Visual Metadata など
10. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration 【設計時の注意事項】 AI instructions DAX 生成ツールは Data Agent レベルの側設定を反映しません。 そのため、エージェント設定レベルのスキーマ除外は無視されます！ • 業務用語、優先テーブル、集計粒度、比較 軸などを明確化 AI data schemas • 不要なテーブル・列・メジャーを除外 Verified answers • 質問文に対し、ビジュアルの構成情報（列、 メジャー、フィルター）を定義 Auto Context Enrichment エージェント設定レベルのスキーマ除外 PREP for AI の AI data schemas • DAX 生成ツールは PREP for AI の他にも、 以下のメタデータを使用しクエリ生成精度を高めている • • • • スキーマ Synonym 数値の最小値・最大値 Report Visual Metadata など
11. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration Ontology schema • Ontolory を構成するスキーマを定義 - Entity type、Property、Relationship Semantic Enrichment • Ontology schema にメタデータを付与し、 ビジネスコンテキストを追加 Note • 現時点で、Synonym は Entity のみ対応。 Description および Additional metadata はすべての Ontology schema に対応。 • 現時点で、Semantic Enrichment は質問とスキーマの 対応付けの精度を高める機能であり、クエリ生成そのも のに寄与する機能ではない。
12. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration 【Ontology schema の例】 エンティティ プロパティ ‣ aircraftId ‣ serialNumber Factory Ontology schema • Ontolory を構成するスキーマを定義 - Entity type、Property、Relationship ‣ model Passenger … Aircraft Semantic Enrichment • Ontology schema にメタデータを付与し、 ビジネスコンテキストを追加 Note • 現時点で、Synonym は Entity のみ対応。 Description および Additional metadata はすべての Ontology schema に対応。 • 現時点で、Semantic Enrichment は質問とスキーマの 対応付けの精度を高める機能であり、クエリ生成そのも のに寄与する機能ではない。
13. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration 【Ontology schema の例】 エンティティ プロパティ ‣ aircraftId ‣ serialNumber Factory Ontology schema • Ontolory を構成するスキーマを定義 - Entity type、Property、Relationship ‣ model Passenger 【Aircraft エンティティのメタデータ付与の例】 … Aircraft : Add Metadata Semantic Enrichment • Ontology schema にメタデータを付与し、 ビジネスコンテキストを追加 Note • 現時点で、Synonym は Entity のみ対応。 Description および Additional metadata はすべての Ontology schema に対応。 • 現時点で、Semantic Enrichment は質問とスキーマの 対応付けの精度を高める機能であり、クエリ生成そのも のに寄与する機能ではない。
14. : Internal processing 2. Query Generation & Execution : Data Agent Configuration : Power BI Configuration : Ontology Configuration Search Type • インデックスに対する検索方式を指定 ※ 例：キーワード検索、ベクトル検索、ハイブリッド検索など Number of Documents • 1 回の質問で取得するドキュメント数を指定 ※ 推奨範囲は 3〜20 件
15. : Internal processing 3. Response Synthesis : Data Agent Configuration : Power BI Configuration : Ontology Configuration Agent Instructions • 回答形式や粒度など、レスポンス方針を示す Auto Visualization • テキスト回答に加え、チャートやグラフを用いて視覚応答にも 対応。 【備考】 • 現時点で、Fabric ポータル上でのみ対応。 • 現時点で、タイトル、ラベル、色、フォントサイズは変更不可。
16. : Internal processing 3. Response Synthesis : Data Agent Configuration : Power BI Configuration : Ontology Configuration Fabric ポータル上で利用できるビジュアライズ機能 Agent Instructions • 回答形式や粒度など、レスポンス方針を示す Auto Visualization • テキスト回答に加え、チャートやグラフを用いて視覚応答にも 対応。 【備考】 • 現時点で、Fabric ポータル上でのみ対応。 • 現時点で、タイトル、ラベル、色、フォントサイズは変更不可。
17. : Internal processing Guardrails : Data Agent Configuration : Power BI Configuration ユーザー権限の継承 質問したユーザーまたは Service Principal の ID でアクセスする。 Data Agent 作成者の権限で代理 実行されるわけではない。 : Ontology Configuration 読み取り専用クエリ Data Agent は、SQL、DAX、KQL、 GQL などの参照クエリを生成・実行 し、データの追加・更新・削除は行わ ない。 出力サイズ制限 一度に返却できる行数・列数を制限 し、大量データの取得や過大な回答 を抑制する。 （現時点で最大 25 行 / 25 列） RLS・CLS の適用 Row-Level Security や ColumnLevel Security など、データソース側 の実効権限が適用される。 Purview ポリシー Microsoft Purview の DLP やアク セス制限ポリシーにより、機密データを 含むアセットへのアクセスや回答表示 を制御できる。 監査ログ Purview Audit や診断情報を通じ て、ユーザーの質問、回答、生成クエ リ、実行履歴などを確認できる。
18. Query Processing Flow for Data Agent : Internal processing : Data Agent Configuration : Power BI Configuration Data Agent Orchestrator 1. Source routing & Query rephrasing User Question Agent Instructions Data source Description Data source routing & Query rephrasing 3. Response Synthesis Agent Response Agent Instructions Visualization Format Results & Genarate Summary : Ontology Configuration 2. Query Generation & Execution Data source Instructions NL2SQL Lakehouse, Warehouse, SQL DB, Mirrored DB Selected Schema NL2KQL Eventhouse Example queries NL2GQL Fabric Graph Power BI’s PREP for AI NL2DAX Semantic Model Metadata for Ontology NL2Ontology Fabric Ontology Unstructured Data configurations NL2Search Azure AI Search Query + Results Guardrails
19. データソースごとに「意味の渡し方」が異なる 同じ Metadata 追加でも、効く場所と責任範囲は異なる。 SQL / KQL / GQL Semantic Model Ontology データソース指示とクエリ例で意味を補う BI モデルに意味を持たせる 業務概念と関係を構造化する • • • Data source instructions Example queries Schema selection 柔軟性が高い / 記述品質に依存 • • Model metadata PREP for AI 定義済み KPI と統制分析に強い • • Entity / Property / Relationship Semantic Enrichment 関係性・業務文脈に強い
20. 本パートで伝えたいこと Part 1 Part 2 Context Enrichment Data Modeling • Data Agent はどのように回答を生成するのか • 各処理をどの設定で改善するか • データソースごとに意味をどう持たせるべきか • Semantic Model と Ontology の特徴 • それぞれのデータモデリング手法を理解する
21. 2 つのデータモデリング手法 Semantic Model は定量分析を、Ontology は業務対象の関係探索を得意とします。 Semantic Model 分析を再現するモデル Ontology 業務を表現するモデル 構成 Tables / Columns / Measures / Relationships 構成 Entity types / Properties / Relationships 強み 集計・比較・ランキング 強み 関係探索・プロセス・依存・横断 Query DAX Query Ontology（Graph / KQL） Ontology は Semantic Model の上位互換でもなければ、競合するものでもありません！ それぞれ「解きたい問い」が異なります。
22. 答えたい問いによってデータモデルは変わる 同じデータでも、「答えたい問い」 に応じて論理モデルの構造を変えます。 【デモシナリオ】 Semantic Model 項目 設定 業態 小売チェーン 商品 冷凍・冷蔵を含む 16 商品 店舗網 日本全国 8 都市に展開 設備 各店舗に冷凍設備と空調設 備を 1 台ずつ、合計 16 設備 分析を再現するモデル 構成 Tables / Columns / Measures / Relationships 強み 集計・比較・ランキング Query DAX 【物理テーブル】 fact_sales 売上 fact_orders 注文 fact_incidents 事故 dim_store 店舗 dim_product 商品 dim_customer 顧客 sensor_telemetry センサー Ontology 業務を表現するモデル 構成 Entity types / Properties / Relationships 強み 関係探索・プロセス・依存・横断 Query Ontology（Graph / KQL） …
23. データモデル構造の比較 Semantic Model は Fact と Dimension を多対 1 の関係を基本として整理し、 Ontology は業務対象を Entity と Relationship で整理します。 Semantic Model Ontology Dimension → Fact Customer → Order → Sale → Product / Store … dim_customer dim_date dim_store dim_product 1 1 1 1 Customer places Order fulfilled_by Shipment delivered_to sold_at contains operates Sale Filter for_product * * * fact_sales fact_shipments fact_incidents Store Product Equipment experiences has_sensor それぞれに適した構造でモデリングを行うことで、その強みを最大限に引き出せます。 affects Incident Sensor
24. クエリ例：Semantic Model Semantic Model では、KPI 条件に該当する店舗を特定する Semantic Model Ontology Dimension → Fact Customer → Order → Sale → Product / Store … dim_customer dim_date dim_store dim_product 1 1 1 1 Customer places Order fulfilled_by Shipment delivered_to sold_at contains operates Sale Filter for_product * * * fact_sales fact_shipments fact_incidents Store Product Equipment experiences has_sensor affects Incident Sensor
25. クエリ例：Ontology Ontology では、店舗から設備・センサー・事故をたどる Ontology Semantic Model Dimension → Fact Store → Equipment → Sensor / Incident → Store dim_customer dim_date dim_store dim_product 1 1 1 1 Customer places Order fulfilled_by Shipment delivered_to sold_at contains operates Sale Filter for_product * * * fact_sales fact_shipments fact_incidents Store Product Equipment experiences has_sensor affects Incident Sensor
26. データモデル選定フロー 代表質問から、最適なデータモデルを選ぶ YES 代表質問を1つ選ぶ 統制された KPI・集計か？ Semantic Model NO YES 業務概念の関係・経路をたどるか？ Ontology NO YES 単純な検索・集計・ログ分析か？ Direct Source SQL / KQL / GQL
27. 本パートで伝えたいこと Part 1 Part 2 Context Enrichment Data Modeling • Data Agent はどのように回答を生成するのか • 各処理をどの設定で改善するか • データソースごとに意味をどう持たせるべきか • Semantic Model と Ontology の特徴 • それぞれのデータモデリング手法を理解する