Share
Embed
Transcript
39 slides
-
©2025 Databricks Inc. — All rights reserved Databricks AI/BI Genie
1 初めてのDatabricks AI/BI Genie 2025/12/23 Taka Yayoi -
©2024 Databricks Inc. — All rights reserved 自己紹介 弥生 隆明
(やよい たかあき) シニア スペシャリスト ソリューションアーキテクト ▪ 2020年からデータブリックス ジャパンにお いて、プレセールス、POCに従事 ▪ 生成AI、データエンジニアリング、 アプリが専門領域です。 ▪ 前職はコンサル、総合電機メーカー にてデータ分析・Webサービス構築 などに従事。インド赴任経験あり。 ▪ Databricks Certified (Data Engineer | Machine Learning) Professional, Generative AI Engineer Associate ▪ Qiitaでいろいろ書いています。 3 @taka_aki -
はじめる前に • もくもく会なので基本的には皆様に「もくもく」とDatabricksに触って いただきます。途中退出、途中入場は自由です。 • 途中の質問はZoomのチャットにお願いします。 • 会の様子を録画させていただきます。後ほど参照できるようにYoutubeに アップロードする予定です。 •
もくもく会の後の質問はDiscordでお願いします。 ◦ https://discord.gg/WHk2Nssq 4 -
AIアシスタントのインテリジェンスは限定的。 特定のダッシュボードやセマンティックモデルの知識 しか持っていません。 管理すべきシステムが複数存在します。 データセッ ト、セマンティクス、ガバナンスモデルの 同期を維持することが困難です。追加のBIライセンス の購入が必要です。 パフォーマンスとスケールのどちらかを選択する 必要があります。
データを抽出するか、ダイレクト クエリのレイテンシの問題に対処する必要があり ます。 BIプラットフォーム Databricksプラットフォーム Unity Catalog データウェア ハウス AIとML データエンジ ニアリング あなたのすべてのデータ データのサブセット BIガバナンス BIダッシュボード AIの知識 範囲が限定的 データとガバナンスポリシーのコピー 「レガシー」 BIの一般的なアーキテクチャ 8 -
ネイティブ BIには多くの利点があります 統合 統一されたBI、ガバナンス、セマン ティクスを備えた単一のプラットフォー ムからインサイトを取得。別途ライセン スを調達したり「シャドウデータウェア ハウス」を管理したり、KPIの不整合に 対処したりする必要がありません。 ボリュームや抽出レイテンシの制限な
く、「Databricksスケール」のデータ セットを分析できます。 ライブクエリパフォーマンスパックを購 入する必要はありません。 データ資産、使用パターン、ビジネスコ ンセプトに関する深い知識を活用した AIが、カスタマイズされた正確な回答 を迅速に生成します。 スケーラブル インテリジェント 1 2 3 9 -
Introducing Databricks AI/BI すべての人のためのインテリジェントアナリティクス 10 Unity Catalogによる管理 | Databricks SQLを活用
ダッシュボード 組織全体に対応する高速で安全なビジュアルインサイト Genie 自然言語を使用してデータと対話 Databricks SQLに含まれています — 追加のライセンス料金は不要 -
ビジネスセマンティクス ディメンジョン メジャー リレーションシップモデリング パフォーマンスのために事前計算 LLMの指示 フォーマット (通貨JPYなど) 類義語 参照用クエリー
ドメイン 認定 エージェント メタデータ メトリックビュー データプラットフォーム内でビジネスセマンティクス の単一セットを定義し維持します AI/BIダッシュボード、Genie、および任意のSQLク ライアントから活用できます 最高のパフォーマンスを実現するために メトリクスをマテリアライズし、レイテンシを削減する ために事前計算します 一元化されたガバナンスと認定を通じて信頼性と信 頼を確立します Unity Catalogビジネス セマンティクスとの連携 重要なKPIの信頼できる唯一の情報源 11 -
Databricks SQLに含まれています — 追加のライセンス料金は不要 AI/BIダッシュボード AI時代のデータビジュアライゼーション AIをコアに インテリジェントなアシスタンスがあらゆるス テップでデータビジュアライゼーション、トレンド 予測、主要因分析を容易に
超高速 シンプル化されたコンテンツモデルと ネイティブのパフォーマンス最適化で、 大規模でほぼ瞬時のインタラクティブ性を実現 します 配布に最適化 組織全体および信頼できる パートナーや顧客とインサイトを 安全に共有できます 13 -
クローズした案件 の金額はいくらで すか? 当社の販売量は 時間の経過ととも にどのように推移 していますか? 総収益のトレンド はどうなっていま すか?
合計でどのくらい のパイプライン が? 顧客セグメント別の 内訳はどうなってい ますか? リードタイプ別の 収益内訳は? しかし、優れたダッシュボード は多くの質問に回答しますが 14 -
クローズした案 件の金額はいく らですか? 当社の販売量は 時間の経過とと もにどのように 推移しています か? 総収益のトレン ドはどうなってい
ますか? 合計でどのくら いのパイプライ ンか? 顧客セグメント別 の内訳はどうなっ ていますか ? リードタイプ別の 収益内訳はどう なっていますか ? あなたが予測できるのは ユーザーが尋ねる質問のほんの一部 上位のサプライヤーは誰 地域別のパイプラインはどのく らいありますか ? 年初来でどれくらいの ARRをク ローズしましたか ? 平均取引規模はどのくらいです か? セールスステージ別のパイプラ インはどのくらいありますか ? パイプラインカバレッジ率はど のくらいですか ? クローズ予定日を過ぎた案件 はどれですか ? 最もリスクの高い案件はどれで すか? 需要予測の精度はどのくらいで すか? 平均的なセールスサイクルは どのくらいですか ? 後半ステージにある案件は いくつありますか ? 営業担当者の活動は テリトリー別にどのように 分布していますか ? パイプラインが最も小さい 営業担当者は誰ですか ? 当社のセールスプレイはどの 程度効果的ですか ? サステナビリティ目標を達成し ていますか ? 最もリードタイムが長い顧客は どこですか ? ノルマを超過達成している 営業担当者は誰ですか ? ステージ別の受注率は どのくらいですか ? 営業効果を最も向上させたトレーニングは何ですか ? 15 -
Query Agent Query Agent Genie AIエージェント 連携して動作する専門AIエージェントのアンサンブル 必要に応じて確認を求めます 文脈のためにローカルナレッジストアを活用します •
Unity Catalogメタデータおよび関連する値 • Unity Catalogメトリクス • クエリ履歴(すべてのワークロード ) • 関連アセット(ダッシュボード、SQLクエリ、ノートブック) 記憶し学習します 質問してください… ナレッジ ストア Unity Catalog エージェントシステム がお客様固有のデータと セマンティクスを継続的に学習します 20 -
Unity Catalog内のメタ データとセマンティクス から学習します スペースレベルの指示と例によ る強化されたコンテキスト ユーザーがインタラクションして リアルタイムのフィードバックを 提供するにつれて 継続的に進化します
お客様のGenieは お客様のデータとビジネスに合わせて カスタマイズされています 21 -
AI/BIダッシュボード AI/BI Genie 安全な回答を返却 企業データ アクセス ポリシー の適用 すべての質問をレビューするための ビルトイン
モニタリング。将来の質問の精度を向上 させる ために高評価/低評価の評価を確認できます ガバナンスが効いた安全な AI生成インサイト アクセスポリシーを遵守し、 エンドユーザーには安全なデータの みが返されることを保証します 22 -
フローの中にとどまる 画面を離れてコンテキストを失うことなく、 表示されている内容に基づいて質問し、 回答を得ることができます。 「もし〜なら」と「なぜ」を解明 過去のトレンドに基づいて予測し、 観察された増減の主要因を特定。 フィードバックループを短縮 ダッシュボードのコンテンツの ギャップを自分で埋め、1回の
セッションですべての分析を完了 できます Genieがダッシュボードをワ ンランクアップ 定型的な回答を超える 23 -
複雑な「なぜ」の質問に対応 根本原因を探り、ビジネスの異常を説明す るためのマルチステップの調査計画を自動 的に生成します。 すべての回答を証拠で裏付け Genieは、裏付けデータを含む引用を 通じてインサイトの出典を正確に参照し、そ の作業過程を示します。 大規模での深い分析 熟練したアナリストが複雑なデータの
質問を調査する方法をエミュレートし、精度 を犠牲にすることなくインサイトを加速しま す。 Genie Research Agent ベータ版で利用可能! 24 -
目的に沿って必要なデータだけを選択する 26 選択されたデータセット 必要なデータセットのみに絞って予め選択することは、Genie が正確なSQLを生成する能力の鍵となる Unity Catalogメタデータを活用 テーブル/カラムの説明、主キー/外部キー関係、カラム統計 NEW!、サンプル値 NEW!
新機能!値のサンプリング Genieは誤った表現や代替プロンプト値を正しいデータ値に マッピングし、正確な結果を返します テーブルメタデータが最も効果的なコンテキストです -
28 最後に、一般的な指示を追加してください ✅ Genieに確認が必要なタイミングを教える 必要なコンテキストが不足しているプロンプトをGenieが認 識できるようにする ✅ フォーマット指示を追加 数値結果の書式設定方法、応答言語、行数の指定方法を Genieに教える
✅ 簡潔かつ直接的 文は「ユーザーが…した場合は必ず…してください」「常に…を 含めてください」といった明確な指示として表現する ✅ リスト形式で整理 ダッシュ/アスタリスクを使用して指示を整理し、共同作業や Genieの理解を容易にする ❌ テキストを詰め込みすぎない テキストはプロンプトでフィルタリングされないため、コン テキスト領域を消費し、矛盾するコンテキストが発生しや すくなる ❌ 矛盾する指示を避ける 新規データアナリストに同じ質問への回答方法を 2つ教えるようなもの—LLMを混乱させる ❌ 列値を列挙しないでください コンテキストスペースを浪費します。値の サンプリングやサンプル値の方が効果的です ❌ SQLロジックをテキストで追加しない Genie SQLロジックを教えるには、サンプルSQLとSQLプ リミティブ(近日実装予定! )を優先する こと 推奨事項 避けるべきこと サンプルSQLやテーブルメタデータが不可能な場合にのみ追加すること -
権限不足 - ユーザーはしばしばテーブル メタデータの更新やマテリアライズドビューへの データ結合を行う権限を持っていなかった 指示の明確性 - ユーザーが矛盾した、冗長な テキスト指示を追加することが多く、Genieを混 乱させていた
ローカルでのメタデータ編集 - ユーザーはGenieスペース内でテーブルメ タデータのローカル版を修正可能 新しい指示タイプ - 作成者向けの構造化 された詳細な指示フォーマット群 29 Genieのキュレーションが困難 だった理由として … ナレッジストアのご紹介 ナレッジストアのご紹介 新登場! -
ナレッジストア : SQL式 直感的な作成 構造化された入力により、作成者はより明確で完全 なコンテキストを追加できるようになります 高密度コンテキスト SQL式はビジネスコンテキストをより効率的に捕捉 し、コンテキストスペースを削減 GenieのRAGを強化
構造化された入力が一般的なテキストに取って代 わり、プロンプトごとに選択的なコンテキストを可能 にします 32 -
10~20の主要なビジネス上の質問を 特定し、Genieがそれらに正確に回答 できるよう指導する 必要に応じてアドホックな質問を自ら Genieにテストし、指示を調整する Genie導入計画 自己検証 段階的導入 継続的改善 信頼できる少数のユーザーグループ
に段階的に展開し、徐々に拡大する ユーザーに質問すべき内容をガイド (ダッシュボード、スターター質問、ガイ ドと連動)。APIベストプラクティスに従 う。 モニタリングタブとGenie監査ログで ユーザープロンプトとフィードバックを 追跡 ベンチマークに質問を追加し、Genie のコンテキストを改善、ベンチマークを 再実行、繰り返し 35 -
ユーザーフィードバックの管理 36 監視タブ 使用状況とフィードバックを追跡し、改善の指針としま す。高評価/低評価はスペースを自動更新せず、作成者 が最初に確認します。 Genie 監査ログ 特定のアクション(レビュー依頼、親指ダウンなど)でメー ル通知をトリガーするアラートを設定
継続的改善 ベンチマークに新規質問を追加、Genieのコンテキスト を改善、ベンチマークを再実行、繰り返し -
もくもく会 • 以下の記事に手順をまとめています。 ◦ Databricks無料版で始めるGenie入門 〜自然言語でデータ分析を体験しよう〜 #Databricks_AI_BI - Qiita •
ご自身のデータでいろいろ試していただいてもOKです。 38