GenieAgents 品質向上ワークショップ / Genie-Tuning-Workshop

本ワークショップでは、ビジネスユーザーが自然言語で質問した際に、Genieエージェントから正確で一貫した回答を得られるようにするための品質改善手法を学びます。

前半では、Genieエージェントの品質を高める基本的な考え方と、設定・評価の進め方を解説します。後半の演習では、メタデータ、ナレッジストア、SQL式、クエリ例、テキスト指示などを活用し、回答品質の評価と改善、再評価までを実践します。

ワークショップ終了後には、回答が不安定になる原因を切り分け、必要最小限の修正を加えて再評価する一連の手順を、自社データに対して実施できる状態を目指します。主に、データアナリストワークショップを受講済みの方や、Genieエージェントの運用・評価を担当する方を対象としています。

Transcript

1. Genieエージェント 品質向上ワークショップ Databricks Japan ©2025 Databricks Inc. — All rights reserved
2. GenieAgents 品質向上ワークショップ ビジネスユーザーが自然言語で質問しても、 正確で一貫した回答 が返るようGenieエージェントを整えます。一般 知識と現場の 専門用語のギャップ を、文書化したデータ、 SQL式、クエリの例、テキスト指示で埋めます。 主な対象者 • データアナリストワークショップ を受講した方 • Genieエージェント を現場で使い評価をされる方 ※ 未受講の方はデータアナリストワークショップの受講を推奨します ゴール • 同じ質問でも安定した答えを返す 設定ができる • 失敗の原因を切り分け、最小の修正で再評価 できる • 自社データでも同じ品質向上の手順 を実施できる アジェンダ 1. 品質向上の考え方 （20分） 2. 設定と評価の進め方 （40分） 3. 演習（約60分） ◦ メタデータ・ナレッジストア・クエリ例・再評価 事前準備 • 環境：お客様のDatabricks環境を利用 • データ： データアナリストワークショップと同じデータを利用 ※ 未作成なら前編のノートブックで準備。開催1週間前までを目安に事前打ち 合わせを実施します（30分〜1時間）
3. このワークショップでできるようになること 設定を増やすのではなく、原因に合った配置先を選べる状態を目指す 01 回答の仕組みを説明できる 回答に使う情報と 4つの設定領域を理解する 02 設定を正しく使い分けられる 用語・値・SQLパターン・全体ルールを正しく配置する 03 評価して改善できる 代表質問で検証し、原因を修正して再テストする Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 02
4. 本日のアジェンダ 品質向上の考え方から設定・評価・実践までを順に確認する 01 全体像 回答の仕組みと4つの設定領域 02 データソースとメタデータ 対象範囲・Unity Catalogメタデータ・共通指標 03 ナレッジストア 用語・値・結合関係・SQL式 04 SQLクエリの例 SQL・パラメーター・SQL関数 05 一般的な指示 全質問に共通するルール 06 評価と改善 ベンチマーク・原因診断・回帰テスト 07 ワークショップ Bricksmartのエージェントを同じ質問で改善 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 03
5. Genieエージェントはどう回答するか 設定されたコンテキストから SQLを生成・実行し、結果をもとに回答する Genieエージェント Unity Catalogメタ データ テーブル・列 ナレッジストア SQLクエリの例 一般的な指示 回答 ユーザー 今月の販売収入は？ 質問を解釈 結果を解釈し 回答を生成 SQLを生成 自然言語回答 結果テーブル 可視化 SQL SQLウェアハウス で実行 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 結果セット SQLは中間生成物 （応答UIにも表示） 04
6. 配置先の選び方 情報の性質に応じて選ぶ。一般的な指示には全質問共通のルールだけを書く 情報の性質 配置先 共有するデータ定義 → UCメタデータ／ビュー／メトリクスビュー エージェント固有の用語・値・結合・ SQL式 → ナレッジストア 特定質問の検証済み SQLパターン → SQLクエリの例／信頼できるアセット 全質問に適用するルール → 一般的な指示 特定の質問だけに関係する内容は、 SQLクエリの例またはメタデータへ置く。 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 05
7. エージェント設定画面の全体像 前ページで整理した情報を、概要・ソース・指示・例の各タブから設定する Genieエージェント 品質向上ワークショップ 06
8. 1｜データソースとメタデータ 正しいデータを選び、意味を理解できる状態にする ©2025 Databricks Inc. — All rights reserved 8
9. 対象データを絞る 最初に、エージェントが扱うトピック・対象ユーザー・データを限定する 特定のトピックと対象ユーザーに集中 適切な範囲 目的と対象ユーザーを先に定義 Bricksmart 購買分析 ユーザー・商品・取引・レビューに限定 必要なテーブルだけを選ぶ(目安5以下/上限30) 不要・重複・紛らわしい列を非表示 広すぎる範囲 部門をまたぐ全社データ 多い場合はビュー/メトリクスビューで事前結合 必要な列だけを残し、主キーと外部キーを定義したテーブルを使う。できない場合は、 目的・利用者・業務領域が混在 Genieエージェント側で列の非表示と結合関係を定義する 出典｜Databricks「効果的なGenieエージェントをキュレーションする」 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 08
10. Unity Catalogの説明を整える 複数のエージェントで共有する意味・関係を、 Unity Catalogに整備する 共有定義として記述 Bricksmartデータの記述例 テーブル 業務対象とデータの粒度 列名 transaction_price 列 意味・単位・値の解釈 説明 購入金額。数量×単価で計算 関係 主キー・外部キーを宣言 単位 円 補足 曖昧な名前を具体化 関連キー user_id / product_id 同義語やエージェント固有の説明は、ナレッジストアで追加する 出典｜Databricks「効果的な Genieエージェントをキュレーションする」「 Genieエージェントの品質を調整する」 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 09
11. 画面で確認する｜ Unity Catalogの説明 カタログエクスプローラーで、テーブル説明と列コメントを確認・編集する ① テーブルの説明 業務対象とデータの粒度を 記述 ② 列コメント 列の意味・単位・値の解釈を 記述 例｜transactions 画面｜カタログエクスプローラー Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 10
12. 定義の置き場所を使い分ける データモデルと業務ロジックを、共有範囲に応じて配置する 配置先 役割 共有範囲 ビュー 事前結合と列整理でデータを簡素化 組織で共有 例｜取引実績＋商品マスタ メトリクスビュー 指標・集計・分析軸を一元定義 組織で共有 例｜売上金額、購買点数 SQL式（ナレッジストア） 指標・条件・属性を構造化 単一エージェント内 例｜食料品カテゴリ、シニア層 基本｜組織で共有する定義は Unity Catalog、単一エージェントの補足はナレッジストア 出典｜Databricks「効果的な Genieエージェントをキュレーションする」「 Unity Catalogメトリクスビュー」 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 11
13. メトリクスビューの概要 組織共通の指標を一元管理し、 AI/BIダッシュボードや Genieから一貫して活用 セマンティックレイヤ 組織共通の指標を定義し、統合的に管理する。 正しいセマンティックを維持したまま、 AI/BIダッシュボード、 Genie、 Notebookからアクセス可能。 AI/BI Dashboards Metric views Modeling Performance 四半期売上の 計算ロジック 注文ステータスの値 Genie Governance Access Controls Certification Discovery Lineage SQL Clients/Notebooks ©2025 Databricks Inc. — All rights reserved
14. Metric Viewsの有無による出力の違い 一度定義してしまえば、誰がどこから問い合わせても同じ出力をする アクティブ顧客あたりの 売上は？ それぞれで定義する ため、出力がバラバ ラになりどれが正し いかわからない アクティブ顧客あたりの 売上は？ データ エンジニア ビジネス アナリスト アプリ 開発者 テーブル／ ビュー ダッシュボード 定義 プロンプト／ 関数 データ エンジニア ビジネス アナリスト アプリ 開発者 Metric Views 120 135 128 Revenue Active Customers Revenue / Active Customers 135 ©2025 Databricks Inc. — All rights reserved Metric Viewsで定義し ているため、どのツール を経由しても同じデータ を返すことができる
15. メトリクスビューの概要 組織共通の指標を一元管理し、 AI/BIダッシュボードや Genieから一貫して活用 # order_metrics source: YAMLでメトリクスビューを定義 table: orders filter: status != 'cancelled' dimensions: 要素 定義内容 例 Source どのテーブルをどう 使うか status=cancelを除外した ordersテーブル Dimension どの切り口で見るか 月 / ステータス / 優先度 Measure 何を計算するか 売上合計 / 注文件数 / 顧客 単価 - name: order_month expr: DATE_TRUNC('MONTH', order_date) - name: order_status expr: status - name: order_priority expr: SPLIT_PART(priority, '-', 2) measures: - name: total_revenue expr: SUM(price) - name: revenue_per_customer expr: SUM(price) / COUNT(DISTINCT ©2025 Databricks Inc. — All rights reservedcustkey) 一度定義すれば、ユーザーは Sourceに対して、 Dimension × Measure を自由に組み合わせてクエリできる → これが metric views の考え方
16. Unity Catalog の中の2つのメタデータ • • • • 基本メタデータ（辞書） メトリクスビュー（レシピ） このデータが「何か」を説明 業務指標を「どう計算するか」を定義 カラム amount = 取引金額（ JPY） カラム status = 注文ステータス テーブル間のリレーション AI生成コメント（自動化可） → データの意味を理解するための情報 • • • • 売上 = SUM(amount) WHERE status = '完了' アクティブ顧客数 = COUNT(DISTINCT user_id) LTV = 売上 / アクティブ顧客数 → 指標の計算ロジックを組織で一元管理 例：「2025年第4四半期の売上は？」とGenieに聞いたとき 基本メタデータだけだと AIが推測で計算 「キャンセルは引く？返品は？税込み？」 → 聞くたびに違う答え・会議で数字が合わない ©2025 Databricks Inc. — All rights reserved メトリクスビュー があると 定義通り計算 → 全員同じ答え ダッシュボード・Genie・BIツール、 どこから見ても一貫した数字を提供
17. 2｜ナレッジストア エージェント固有の用語・値・結合・ロジックを構造化する ©2025 Databricks Inc. — All rights reserved 17
18. ナレッジストアの 5つの構成要素 すべてこのGenieエージェントの中だけに効き、 Unity Catalogの定義は変更しない 01 エージェント固有メタデータ 説明・同義語 02 エージェント固有データ 列の表示／非表示 03 プロンプトの一致 形式・値・表記ゆれ 04 結合関係 結合条件・関係タイプ 05 SQL式 フィルター/メジャー/フィールド 上限 200スニペット｜テーブル説明・結合関係・SQL式の合計 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 17
19. エージェント固有メタデータ 構成 ＞ ソースで、説明・同義語・表示列をこのエージェント向けに調整する 画面｜構成 ＞ ソース ＞ テーブル 01 説明 テーブル・列の意味を具体化 02 同義語 利用者の言葉を列名へ対応づける 03 表示列 不要・重複・混乱を招く列を非表示 Unity Catalogのメタデータと権限は変更しない Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 18
20. エンティティの一致 列の実値リストへ質問中の言い方を照合する。同義語は手で書かない 列の実値 食料品 category に入っている値。他は 日用品 質問 食品 利用者が使う言い方。実値そのものではない 一致なし エンティティ一致あり category ILIKE '%食品%' category = '食料品' 実値にこの文字列はない 実値リストから選んで等値比較する 制限｜文字列列のみ／ 1列1,024値・127文字／全体 120列 行フィルターがあると対象外。値が変わったらプロンプト一致を更新する Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 19
21. エンティティの一致｜流れ 実値リストがコンテキストに載ると、言い方を列の値へ照合できる 01 実値をリスト化 category の実値（食料品 など）が最大1,024件リスト化され、エージェントのコンテキス トに載る 02 利用者の言い方 「食品の売上は？」と言う 03 リストが無いとき 言った文字列のまま ILIKE '%食品%' を作り、実値「食料品」に当たらない 04 リストがあるとき 「食品」に当たる候補として 食料品 を選び、= '食料品' にする Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 20
22. 設定画面｜エンティティの一致 対象列のAdvanced設定で、フォーマットアシスタンスを先に有効化する 画面｜列の編集 ＞ Advanced 01 対象列を開く 構成 ＞ ソース ＞ 対象テーブル ＞ 対象列の鉛筆 02 Advancedを開く 列の編集画面で詳細設定を展開 03 順番に有効化 ① フォーマットアシスタンス ② エンティティの一致 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved ① をONにすると、② を操作できる 設定対象｜実値を照合したい文字列列 21
23. 結合関係 左右のテーブル・結合条件・関係タイプを定義し、誤った JOINを防ぐ 画面｜構成 ＞ 例 ＞ 結合 01 結合条件 左右のテーブルとキーを指定 02 関係タイプ 多対一／一対多／一対一 03 同一テーブルへの複数結合 右側に別名が自動生成される 例｜transactions と products Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 22
24. SQL式｜フィルター 真偽を返す条件を名前付きで定義し、 WHERE条件として再利用する 使いどころ 画面｜構成 ＞ 例 ＞ フィルター 特定の行だけを対象にする条件 質問中の業務用語を SQL条件へ変換する 具体例 名前｜ 食料品 式 ｜ category = '食料品' 同義語｜ 食品、フード、食べ物 指示｜ 食料品カテゴリの実績だけを対象にする 質問例｜食品の売上を月別に見せて Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 入力｜名前とコードを設定する 同義語・指示で使い方を補足する 23
25. SQL式｜メジャー 複数行を集計する式を名前付きで定義し、集計ロジックの揺れを防ぐ 使いどころ 画面｜メジャーの入力例（保存前） SUM・COUNT・AVGなどの集計値 複数行を 1つの業務指標へまとめる 具体例 名前｜ 売上 式 ｜ SUM(transaction_price) 同義語｜ 売上高、販売金額、購入金額 指示｜ 売上合計を円単位で計算する 質問例｜カテゴリ別の売上は？ Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 入力｜名前とコードを設定する 同義語・指示で使い方を補足する 24
26. SQL式｜フィールド 既存列から行ごとの派生値を定義し、グループ化や表示に使う 使いどころ 画面｜フィールドの入力例（保存前） 日付の丸めやカテゴリ変換などの派生値 各行に対して新しい値を計算する 具体例 名前｜ 購入月 式 ｜ DATE_TRUNC('month', transaction_date) 同義語｜ 売上月、購入年月、月次 指示｜ 購入日を月単位に切り捨てる 質問例｜購入月ごとの売上を見せて Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 入力｜名前とコードを設定する 同義語・指示で使い方を補足する 25
27. SQLクエリの例 自然な質問タイトルと、検証済み SQLをセットで登録する 画面｜構成 ＞ 例 ＞ クエリ 01 質問タイトル 利用者が使う最も一般的な言い回し 02 SQL 自社固有の結合・集計・並べ替えを含める 03 利用ガイダンス この例を使う条件・使わない条件を補足 一致すれば直接利用し、類似質問では手掛かりにす る Genieエージェント 品質向上ワークショップ 26
28. パラメーター化された SQLクエリの例 質問から値を受け取り、検証済みの SQL構造へ実行時に挿入する ① SQL内でパラメーターを参照 01 構造を固定 JOIN・集計・並べ替えは 検証済みSQLのまま 02 値だけ差し 替え :start_date などを 質問から受け取る ② パラメーター名と値を確認 03 型と意味を 定義 日付・日時・数値などの型と コメントを設定 検証済み回答 正確なクエリテキストが使われた場合 Genieエージェント 品質向上ワークショップ 質問中の期間を値として実行時に挿入 27
29. SQL関数と信頼できるアセット 参照用の例と、検証済みの回答を提供する仕組みを区別する 参照・学習用 信頼できるアセット 静的SQLクエリの例 パラメーター化クエリ 代表質問とSQLの解き方を教える。 正確なクエリテキストを使い、検証済み回答を提供 類似質問への手掛かりになるが、 常に検証済み回答になるとは限らない。 Unity Catalog SQL関数 複雑・非公開のロジックを一元管理。利用にはEXECUTE 権限が必要 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 28
30. 一般的な指示｜書く内容・書かない内容 すべての質問へグローバルに適用するルールだけを記述する 画面｜構成 ＞ 指示 ＞ テキスト 書く 回答言語・表示形式 日付・金額・割合の表記 条件不足時の確認質問 対象外の質問への対応 書かない KPIやフィルターの計算式 JOINキー・列固有の説明 特定質問に対する完成SQL Genieエージェント 品質向上ワークショップ 29
31. ベンチマークで公開前に評価する 現実的な質問を、チャットモードとエージェントモードで評価する 画面｜ベンチマーク ＞ 質問 テストセット 頻出質問と2〜4種類の言い換え 最大500問。各質問は新しい会話として実行 チャットモード 生成した結果とSQL回答の結果を比較 エージェントモード LLMジャッジが回答を採点。評価ノートは任意 ベンチマークは評価専用。エージェントのコンテキストに載らない Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 30
32. 誤答の原因を診断する 症状を分類し、原因のある設定だけを修正する 症状 原因 修正先 誤ったテーブル・列 データソースとメタデータ 対象データ／Unity Catalogメタデータ 用語・値・JOINの誤り ナレッジストア 説明／同義語／結合関係／SQL式 SQLの解き方が不安定 SQLクエリの例 代表質問と検証済みSQL 形式・確認・対象外対応 一般的な指示 全質問共通ルール Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 31
33. 回帰テストと改善ループ 変更後は新しい質問ではなく、同じテストセットで副作用を確認する 01 02 03 04 モニタリング 原因特定 最小修正 ベンチマーク 利用傾向と 解釈・データ・ 原因のある設定 同じ質問で 問題のある質問 SQL・表示 だけを直す 変更前後を比較 修正したら同じベンチマークを再実行 この後｜モニタリング → 原因特定と最小修正 → ベンチマーク登録 → 評価確認 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 32
34. モニタリング｜傾向を見て対象を絞る 利用状況とフィルターで、レビューする質問を見つける 01 傾向を見る 質問数・利用者・評価 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 02 対象を絞る 日付・評価・ユーザー 03 質問をクリック 次のスライドで詳細を確認 33
35. モニタリング｜質問を開いて確認する 回答・結果・フィードバックを見て、直すべき設定を判断する 01 質問をクリック 一覧からレビュー対象を開く 02 回答と結果を見る 解釈・数値・グラフを確認 03 必要なら会話へ進む 生成SQLまでたどる 注意｜フィードバックだけでは Agentの動作は変わらない Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 34
36. 原因特定と最小修正｜生成 SQLを分解する 質問解釈・データ選択・ SQLロジック・表示を順に確認し、原因のある設定だけを直す 01 質問解釈 画面｜生成されたコードを表示（ Genie Codeで診断も利用可） 期間・粒度・対象指標は正しいか 02 データ選択 正しいテーブルと列を選んだか 03 SQL JOIN・条件・集計・並べ替えは正しいか 04 結果と表示 値・単位・表・グラフは質問に合うか 最小修正 原因のあるレイヤーだけを変更する Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved FROM / JOIN 対象 SELECT / GROUP BY 列・粒度 WHERE 条件・期間 35
37. ベンチマーク（ 1/2）｜質問と正解を登録する 代表質問・正解 SQL・評価ノートを定義し、変更前後で同じ質問を使う 画面｜ベンチマークを追加（保存前） 01 質問 頻出質問と2〜4種類の言い換えを用意 02 正解 Chatは正解SQL、Agentは評価ノート 03 実行 保存後、全件または選択した質問を実行 質問は新しい会話として実行する ベンチマークは評価専用 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 36
38. ベンチマーク（ 2/2）｜評価履歴と失敗理由を確認 評価ランを開き、精度・モデル出力・正解・不適切と判定された理由を確認する 01 評価一覧 画面｜ベンチマーク ＞ 評価 実行モード・ステータス・正確性を確認 02 ランを開く 評価名のタイムスタンプをクリック 03 失敗を確認 モデル出力と正解を比較し、理由を読む 04 再実行 修正後に失敗した質問だけを再実行 結果セットは 1週間表示される 生成SQLと正解SQLは残る Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 37
39. ワークショップ 同じ質問を修正前後で比較し、チューニングの効果を確認する ©2025 Databricks Inc. — All rights reserved 39
40. シナリオとベースライン質問 同じエージェントと同じ 3問を、修正前後で比較する Q1 指定期間の売上を 地域別・カテゴリ別に比較して Q2 月別の売上を 店舗別に比較して Q3 サブカテゴリ別の売上 ランキングを教えて Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 使用するエージェント Bricksmart 購買分析エージェント 対象｜ユーザー・商品・取引・レビュー まず生成 SQLと回答を記録。 まだ設定は変更しない。 39
41. 演習1｜データとメタデータ 構成 ＞ ソースで、Bricksmartデータの意味と対象範囲を整える 01 02 対象を確認 編集例 ユーザー・商品・取引・レビューのテーブルを確認 列｜category 列説明を追加 説明｜商品のカテゴリ category に「商品カテゴリ」と値の意味を記述 値｜食料品 / 日用品 同義語｜商品分類、品目区分 03 不要列を非表示 分析に使わない監査・更新列をエージェントから 隠す 完了条件｜日本語の説明が画面に表示される Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 40
42. 演習1｜解説 列の意味を書くと、「商品カテゴリ」が category に結びつく 確認すること 01 画面｜構成 ＞ ソース ＞ テーブル 対象を絞る 対象4テーブルだけがコンテキストに残る 02 意味を書く category が商品カテゴリだと分かる 03 ノイズを隠す 監査列が減り、誤った列を選びにくくなる JOINやKPIの計算式は、列説明に書かない Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 41
43. 演習2｜ナレッジストア 用語・値・結合関係を構造化し、曖昧な解釈を減らす 01 03 同義語 02 フィルター 売上｜売上高、販売金額 食料品｜category = '食料品' 構成 ＞ ソース 構成 ＞ 例 結合 04 値の一致 transactions と products product_id の対応を確認 「食品」→「食料品」 一致結果を確認 構成 ＞ 例 構成 ＞ ソース 確認質問｜食品の売上を月別に教えて Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 42
44. 演習2｜解説 用語・値・結合は、種類ごとに置く場所が違う 画面｜構成 ＞ 例 ＞ フィルター 配置の意味 01 同義語 売上などの言い方を、列の意味へ対応づけ る 02 フィルター 食料品を category = '食料品' に固定する 03 結合 transactions と products を product_id で つなぐ 確認｜ WHERE category = '食料品 ' になっているか Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 43
45. 演習3｜SQLクエリの例 代表質問と正解 SQLを登録し、同じ質問で利用を確認する 01 02 質問を登録 SQLの要点 指定期間の売上を 地域別・カテゴリ別に比較する WHERE transaction_date >= 値をパラメーター化 AND transaction_date <= start_date と end_date を設定 03 プレビューして保存 同じ質問で、使用されたSQLを確認 Genieエージェント 品質向上ワークショップ CAST(:start_date AS DATE) CAST(:end_date AS DATE) 変わる値だけをパラメーター化。 JOIN・GROUP BY・ORDER BYは 検証済み構造を保つ。 44
46. 演習3｜解説 代表質問には、検証済みの SQL構造をセットで渡す 効いている状態 01 画面｜構成 ＞ 例 ＞ クエリ 同じ質問 登録した質問に近い言い方で、例 SQLが使 われる 02 期間だけ変数 start_date と end_date 以外は固定する 03 構造は守る JOIN・GROUP BY・ORDER BY は検証済 みのまま JOINまでパラメーター化しない Genieエージェント 品質向上ワークショップ 45
47. 演習4｜一般的な指示 全質問に共通する回答ルールだけを追加する 追加する指示 入力例 回答は日本語 回答の言語 金額は円単位・3桁区切り 特に指定がない限り、日本語。 日付は YYYY-MM-DD 表示形式 期間・地域・カテゴリが不足する場合は確認する 金額は円・3桁区切り 日付は YYYY-MM-DD KPI式・JOIN・列説明はここに書かない 不明点 条件不足時は確認質問 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 46
48. 演習4｜解説 全質問共通のルールだけを書き、計算式は書かない 一般的な指示の範囲 01 画面｜構成 ＞ 指示 ＞ テキスト 効くこと 日本語、円の 3桁区切り、日付形式、条件不 足時の確認 02 効かないこと 使うテーブル、 JOIN、KPIの計算式は直らな い 03 増やす判断 表示だけ直って SQLが誤ったままなら、指 示を足さない 答え方のルールと、 SQLの正しさは別の設定 Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 47
49. 演習5｜同じ質問で再評価 最初に記録した 3問を、同じ文言でもう一度投げ、生成 SQLと回答を比較する 再実行する質問 比較の観点 Q1 指定期間の売上を 地域別・カテゴリ別に比較して 演習開始時にメモした 生成SQL・回答と並べる Q2 月別の売上を 店舗別に比較して テーブル / 結合 / 条件 集計 / 表示形式 Q3 サブカテゴリ別の売上 ランキングを教えて Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 直していない質問が悪化していないかも見る 48
50. 演習5｜解説 直した箇所と、直していない質問の両方を見る 生成SQLで見ること Q1 画面｜質問を開いて生成 SQLを確認 地域・カテゴリ 期間条件と 2つの切り口が揃っているか Q2 店舗別の推移 月と店舗の両方で分かれているか Q3 上位ランキング サブカテゴリ単位で並べ替えているか 直した原因は直り、他の質問は壊れていない Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 49
51. ワークショップ設定（ 1/2） 演習1〜2で入力する文言。枠内のテキストをコピーして貼り付ける 対象テーブル users / products / transactions / feedbacks 列説明｜ category 商品のカテゴリ 値｜食料品 / 日用品 同義語｜商品分類、品目区分 フィルター｜食料品 SQL｜products.category = '食料品' 同義語｜食品、フード、食べ物 売上の同義語 売上高、販売金額 結合関係 transactions.product_id = products.product_id transactions.user_id = users.user_id Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 50
52. ワークショップ設定（ 2/2） 演習3〜4で入力する文言。枠内のテキストをコピーして貼り付ける SQLクエリの例｜質問 指定期間の売上を地域別・カテゴリ別に比較して SQLクエリの例｜ SQL SELECT u.region, p.category, SUM(t.transaction_price) AS sales FROM hnishisaka_handson.bricksmart.transactions t JOIN hnishisaka_handson.bricksmart.users u ON t.user_id = u.user_id JOIN hnishisaka_handson.bricksmart.products p ON t.product_id = p.product_id WHERE t.transaction_date >= CAST(:start_date AS DATE) AND t.transaction_date <= CAST(:end_date AS DATE) GROUP BY u.region, p.category ORDER BY sales DESC Genieエージェント 品質向上ワークショップ ©2026 Databricks Inc. — All rights reserved 一般的な指示 特に指定がない限り、日本語で回答する。 金額は円単位で3桁区切りにする。 日付は YYYY-MM-DD 形式で表示する。 上位または下位を求められ、件数の指定がない場合は 10件を表示す る。 期間、地域、カテゴリなど、結果が大きく変わる条件が不足している場合 は確認質問をする。 51
53. まとめ 精度向上は、情報量を増やす作業ではなく、正しい場所へ知識を配置する作業 01 土台を整える 対象を絞り、メタデータと共通指標を明確にする 02 知識を正しく配置する 用語・値・結合・例・一般的な指示を使い分ける 03 同じ質問で検証する 原因だけを修正し、回帰テストで副作用を確認する Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved 52
54. 制限値と参考資料 上限は設計の目安。重複・矛盾のない少数の高品質な定義を優先する 対象 上限 カウント方法 テーブル 30 推奨は 5。1エージェント = 1トピックを優先 指示 100 SQLクエリの例・SQL関数・一般的な指示テキスト全体 ナレッジストア 200 テーブル説明・結合関係・SQL式で共有 エンティティ一致 120列 1列1,024値／文字列列のみ／各値127文字まで 公式ページ最終更新｜ 2026年7月14日 Genieエージェント 品質向上ワークショップ ©2025 Databricks Inc. — All rights reserved https://docs.databricks.com/gcp/ja/genie-agents/tune-quality 53
55. ©2025 Databricks Inc. — All rights reserved