初めてのDatabricks AI/BI Genie

こちらのもくもく会で使用する資料。

Databricks無料版で始めるGenieもくもく会 - connpass https://jedai.connpass.com/event/377689/

Transcript

1. ©2025 Databricks Inc. — All rights reserved Databricks AI/BI Genie 1 初めてのDatabricks AI/BI Genie 2025/12/23 Taka Yayoi
2. ご参加いただきありがとうございます。 まもなくセッションを開始します。 #jedai #databricksでつぶやこう！ 2
3. ©2024 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明 (やよい たかあき) シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 生成AI、データエンジニアリング、 アプリが専門領域です。 ▪ 前職はコンサル、総合電機メーカー にてデータ分析・Webサービス構築 などに従事。インド赴任経験あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 3 @taka_aki
4. はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 • もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 4
5. アジェンダ • Databricks AI/BIの概要 • Genieのベストプラクティス • もくもく会 5
6. Databricks AI/BI の概要 すべての人のための インテリジェント アナリティクス 6
7. 企業は、すべての従業員に データとAIを民主化したいと 考えています 7
8. AIアシスタントのインテリジェンスは限定的。 特定のダッシュボードやセマンティックモデルの知識 しか持っていません。 管理すべきシステムが複数存在します。 データセッ ト、セマンティクス、ガバナンスモデルの 同期を維持することが困難です。追加のBIライセンス の購入が必要です。 パフォーマンスとスケールのどちらかを選択する 必要があります。 データを抽出するか、ダイレクト クエリのレイテンシの問題に対処する必要があり ます。 BIプラットフォーム Databricksプラットフォーム Unity Catalog データウェア ハウス AIとML データエンジ ニアリング あなたのすべてのデータ データのサブセット BIガバナンス BIダッシュボード AIの知識 範囲が限定的 データとガバナンスポリシーのコピー 「レガシー」 BIの一般的なアーキテクチャ 8
9. ネイティブ BIには多くの利点があります 統合 統一されたBI、ガバナンス、セマン ティクスを備えた単一のプラットフォー ムからインサイトを取得。別途ライセン スを調達したり「シャドウデータウェア ハウス」を管理したり、KPIの不整合に 対処したりする必要がありません。 ボリュームや抽出レイテンシの制限な く、「Databricksスケール」のデータ セットを分析できます。 ライブクエリパフォーマンスパックを購 入する必要はありません。 データ資産、使用パターン、ビジネスコ ンセプトに関する深い知識を活用した AIが、カスタマイズされた正確な回答 を迅速に生成します。 スケーラブル インテリジェント 1 2 3 9
10. Introducing Databricks AI/BI すべての人のためのインテリジェントアナリティクス 10 Unity Catalogによる管理 | Databricks SQLを活用 ダッシュボード 組織全体に対応する高速で安全なビジュアルインサイト Genie 自然言語を使用してデータと対話 Databricks SQLに含まれています — 追加のライセンス料金は不要
11. ビジネスセマンティクス ディメンジョン メジャー リレーションシップモデリング パフォーマンスのために事前計算 LLMの指示 フォーマット (通貨JPYなど) 類義語 参照用クエリー ドメイン 認定 エージェント メタデータ メトリックビュー データプラットフォーム内でビジネスセマンティクス の単一セットを定義し維持します AI/BIダッシュボード、Genie、および任意のSQLク ライアントから活用できます 最高のパフォーマンスを実現するために メトリクスをマテリアライズし、レイテンシを削減する ために事前計算します 一元化されたガバナンスと認定を通じて信頼性と信 頼を確立します Unity Catalogビジネス セマンティクスとの連携 重要なKPIの信頼できる唯一の情報源 11
12. AI/BIダッシュボード 12
13. Databricks SQLに含まれています — 追加のライセンス料金は不要 AI/BIダッシュボード AI時代のデータビジュアライゼーション AIをコアに インテリジェントなアシスタンスがあらゆるス テップでデータビジュアライゼーション、トレンド 予測、主要因分析を容易に 超高速 シンプル化されたコンテンツモデルと ネイティブのパフォーマンス最適化で、 大規模でほぼ瞬時のインタラクティブ性を実現 します 配布に最適化 組織全体および信頼できる パートナーや顧客とインサイトを 安全に共有できます 13
14. クローズした案件 の金額はいくらで すか? 当社の販売量は 時間の経過ととも にどのように推移 していますか? 総収益のトレンド はどうなっていま すか? 合計でどのくらい のパイプライン が? 顧客セグメント別の 内訳はどうなってい ますか? リードタイプ別の 収益内訳は? しかし、優れたダッシュボード は多くの質問に回答しますが 14
15. クローズした案 件の金額はいく らですか? 当社の販売量は 時間の経過とと もにどのように 推移しています か? 総収益のトレン ドはどうなってい ますか? 合計でどのくら いのパイプライ ンか? 顧客セグメント別 の内訳はどうなっ ていますか ? リードタイプ別の 収益内訳はどう なっていますか ? あなたが予測できるのは ユーザーが尋ねる質問のほんの一部 上位のサプライヤーは誰 地域別のパイプラインはどのく らいありますか ? 年初来でどれくらいの ARRをク ローズしましたか ? 平均取引規模はどのくらいです か? セールスステージ別のパイプラ インはどのくらいありますか ? パイプラインカバレッジ率はど のくらいですか ? クローズ予定日を過ぎた案件 はどれですか ? 最もリスクの高い案件はどれで すか? 需要予測の精度はどのくらいで すか? 平均的なセールスサイクルは どのくらいですか ? 後半ステージにある案件は いくつありますか ? 営業担当者の活動は テリトリー別にどのように 分布していますか ? パイプラインが最も小さい 営業担当者は誰ですか ? 当社のセールスプレイはどの 程度効果的ですか ? サステナビリティ目標を達成し ていますか ? 最もリードタイムが長い顧客は どこですか ? ノルマを超過達成している 営業担当者は誰ですか ? ステージ別の受注率は どのくらいですか ? 営業効果を最も向上させたトレーニングは何ですか ? 15
16. データと会話できるとしたら どうしますか？ 16
17. AI/BI Genie 17
18. ビジネスに合わせた 会話型ア ナリティクス AIからのガバナンスが 効いた安全な 回答 どこからでもアクセス可能 な データインサイト AI/BI Genie データと対話 18
19. エンタープライズデータと直接 オー プンQ&Aで対話できます Genieは会話スレッドを記憶 する ため、中断したところから再開でき ます ユーザーは自然言語、データテー ブル、ビジュアライゼーション で回 答を受け取ります ダッシュボード の先へ 19
20. Query Agent Query Agent Genie AIエージェント 連携して動作する専門AIエージェントのアンサンブル 必要に応じて確認を求めます 文脈のためにローカルナレッジストアを活用します • Unity Catalogメタデータおよび関連する値 • Unity Catalogメトリクス • クエリ履歴(すべてのワークロード ) • 関連アセット(ダッシュボード、SQLクエリ、ノートブック) 記憶し学習します 質問してください… ナレッジ ストア Unity Catalog エージェントシステム がお客様固有のデータと セマンティクスを継続的に学習します 20
21. Unity Catalog内のメタ データとセマンティクス から学習します スペースレベルの指示と例によ る強化されたコンテキスト ユーザーがインタラクションして リアルタイムのフィードバックを 提供するにつれて 継続的に進化します お客様のGenieは お客様のデータとビジネスに合わせて カスタマイズされています 21
22. AI/BIダッシュボード AI/BI Genie 安全な回答を返却 企業データ アクセス ポリシー の適用 すべての質問をレビューするための ビルトイン モニタリング。将来の質問の精度を向上 させる ために高評価/低評価の評価を確認できます ガバナンスが効いた安全な AI生成インサイト アクセスポリシーを遵守し、 エンドユーザーには安全なデータの みが返されることを保証します 22
23. フローの中にとどまる 画面を離れてコンテキストを失うことなく、 表示されている内容に基づいて質問し、 回答を得ることができます。 「もし〜なら」と「なぜ」を解明 過去のトレンドに基づいて予測し、 観察された増減の主要因を特定。 フィードバックループを短縮 ダッシュボードのコンテンツの ギャップを自分で埋め、1回の セッションですべての分析を完了 できます Genieがダッシュボードをワ ンランクアップ 定型的な回答を超える 23
24. 複雑な「なぜ」の質問に対応 根本原因を探り、ビジネスの異常を説明す るためのマルチステップの調査計画を自動 的に生成します。 すべての回答を証拠で裏付け Genieは、裏付けデータを含む引用を 通じてインサイトの出典を正確に参照し、そ の作業過程を示します。 大規模での深い分析 熟練したアナリストが複雑なデータの 質問を調査する方法をエミュレートし、精度 を犠牲にすることなくインサイトを加速しま す。 Genie Research Agent ベータ版で利用可能！ 24
25. Genieスペースの ベストプラクティス 25
26. 目的に沿って必要なデータだけを選択する 26 選択されたデータセット 必要なデータセットのみに絞って予め選択することは、Genie が正確なSQLを生成する能力の鍵となる Unity Catalogメタデータを活用 テーブル/カラムの説明、主キー/外部キー関係、カラム統計 NEW!、サンプル値 NEW! 新機能！値のサンプリング Genieは誤った表現や代替プロンプト値を正しいデータ値に マッピングし、正確な結果を返します テーブルメタデータが最も効果的なコンテキストです
27. 次に、Genie SQLロジックを教える 27 サンプルSQLクエリ サンプルSQLは動的に適用され、関連する ユーザープロンプトに対してGenieを ガイド ビジネスユーザーが実際に尋ねるような 自然言語の質問を追加 新機能！データインテリジェンスプラット フォームがスペース作成者に人気クエリを提 案
28. 28 最後に、一般的な指示を追加してください ✅ Genieに確認が必要なタイミングを教える 必要なコンテキストが不足しているプロンプトをGenieが認 識できるようにする ✅ フォーマット指示を追加 数値結果の書式設定方法、応答言語、行数の指定方法を Genieに教える ✅ 簡潔かつ直接的 文は「ユーザーが…した場合は必ず…してください」「常に…を 含めてください」といった明確な指示として表現する ✅ リスト形式で整理 ダッシュ/アスタリスクを使用して指示を整理し、共同作業や Genieの理解を容易にする ❌ テキストを詰め込みすぎない テキストはプロンプトでフィルタリングされないため、コン テキスト領域を消費し、矛盾するコンテキストが発生しや すくなる ❌ 矛盾する指示を避ける 新規データアナリストに同じ質問への回答方法を 2つ教えるようなもの—LLMを混乱させる ❌ 列値を列挙しないでください コンテキストスペースを浪費します。値の サンプリングやサンプル値の方が効果的です ❌ SQLロジックをテキストで追加しない Genie SQLロジックを教えるには、サンプルSQLとSQLプ リミティブ（近日実装予定！ ）を優先する こと 推奨事項 避けるべきこと サンプルSQLやテーブルメタデータが不可能な場合にのみ追加すること
29. 権限不足 - ユーザーはしばしばテーブル メタデータの更新やマテリアライズドビューへの データ結合を行う権限を持っていなかった 指示の明確性 - ユーザーが矛盾した、冗長な テキスト指示を追加することが多く、Genieを混 乱させていた ローカルでのメタデータ編集 - ユーザーはGenieスペース内でテーブルメ タデータのローカル版を修正可能 新しい指示タイプ - 作成者向けの構造化 された詳細な指示フォーマット群 29 Genieのキュレーションが困難 だった理由として … ナレッジストアのご紹介 ナレッジストアのご紹介 新登場！
30. ナレッジストア：ローカルデータ準備 新機能！列の非表示 Genieから不要/競合する列を非表示に（新規マテリアライズド ビュー作成不要） 新機能！テーブルと列の説明をローカルで編集 ローカルテーブル/列の説明により、迅速な反復作業と 権限制限の回避が可能 新機能！列の別名追加 列名はしばしば難解です - 自然言語による参照によりGenie が理解しやすくなります 30
31. 主キー/外部キー定義を活用 GenieはUnityカタログアセットに定義された主キー/外 部キー関係を自動的に使用します 近日公開！ローカルでの結合定義 プライマリキー/外部キーを追加できない場合や、テーブ ル関係が複雑な場合は、Genie内で定義してください 近日公開！推奨される結合関係 過去のクエリやノートブックに基づき、 Genieが結合 関係を提案します ナレッジストア：テーブルのリレーション 31
32. ナレッジストア : SQL式 直感的な作成 構造化された入力により、作成者はより明確で完全 なコンテキストを追加できるようになります 高密度コンテキスト SQL式はビジネスコンテキストをより効率的に捕捉 し、コンテキストスペースを削減 GenieのRAGを強化 構造化された入力が一般的なテキストに取って代 わり、プロンプトごとに選択的なコンテキストを可能 にします 32
33. 推奨される手順 33
34. ベンチマークで評価する 34 ベンチマーク問題とその標準的な SQL解答を追加する 評価ではGenieの結果を標準SQLと 比較 改善を進める中で、継続的にGenie スペースを評価する
35. 10～20の主要なビジネス上の質問を 特定し、Genieがそれらに正確に回答 できるよう指導する 必要に応じてアドホックな質問を自ら Genieにテストし、指示を調整する Genie導入計画 自己検証 段階的導入 継続的改善 信頼できる少数のユーザーグループ に段階的に展開し、徐々に拡大する ユーザーに質問すべき内容をガイド （ダッシュボード、スターター質問、ガイ ドと連動）。APIベストプラクティスに従 う。 モニタリングタブとGenie監査ログで ユーザープロンプトとフィードバックを 追跡 ベンチマークに質問を追加し、Genie のコンテキストを改善、ベンチマークを 再実行、繰り返し 35
36. ユーザーフィードバックの管理 36 監視タブ 使用状況とフィードバックを追跡し、改善の指針としま す。高評価/低評価はスペースを自動更新せず、作成者 が最初に確認します。 Genie 監査ログ 特定のアクション（レビュー依頼、親指ダウンなど）でメー ル通知をトリガーするアラートを設定 継続的改善 ベンチマークに新規質問を追加、Genieのコンテキスト を改善、ベンチマークを再実行、繰り返し
37. もくもく会 37
38. もくもく会 • 以下の記事に手順をまとめています。 ◦ Databricks無料版で始めるGenie入門 〜自然言語でデータ分析を体験しよう〜 #Databricks_AI_BI - Qiita • ご自身のデータでいろいろ試していただいてもOKです。 38
39. ©2025 Databricks Inc. — All rights reserved 39