Slide 1

Slide 1 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary AIガバナンス 1

Slide 2

Slide 2 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary Unity Catalog ❤ AI

Slide 3

Slide 3 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です ● 断片化したアセットのビュー ● セキュリティ、品質、 観察可能性ごとに分断 されたツール ● 環境横断でアクセス できるように複製されるデー タ ● 堅苦しいコラボレーション ビジネス ステークホルダー

Slide 4

Slide 4 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 ● 構造化データの発見 & 特徴量への 変換 ● 非構造化データのチャンク & エンべディングの作成 ● アルゴリズムの訓練、テスト ● モデルのファインチューン & プロンプトエンジニアリング ● GenAIエージェント & ツールの 作成 ● アセットのチェーン ● エクスペリメントの評価 ● 低レーテンシーモデルサービング ● モデルのリクエスト/レスポンスの 記録 ● モデルの精度、品質の評価 ● モデル品質を維持するための監視 と再トレーニング ● モデルのビジネスKPIインパクトの理 解 データのサーブ ● 低レーテンシーの特徴量 サービング & 特徴量変換 ● Vector DBのエンべディング検索 AIガバナンス & リネージ ● セキュリティ & 権限の管理 ● モデルリネージの追跡 ● 開発環境、本番環境間のコード、データ、モデルの移動 ● モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ

Slide 5

Slide 5 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう ● すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) ● チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める ● リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 ● PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 ● データをさらに理解するためにLakehouse IQ知識エンジンを活用

Slide 6

Slide 6 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ

Slide 7

Slide 7 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索

Slide 8

Slide 8 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析

Slide 9

Slide 9 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知

Slide 10

Slide 10 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用

Slide 11

Slide 11 text

©2023 Databricks Inc. — All rights reserved | Confidential and proprietary キーコンポーネントのまとめ ● Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ○ Public Preview (FY24-Q2) ● Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ○ Public Preview (FY24-Q3) ○ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) ● Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ○ Public Preview (FY24-Q3) ● Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ○ Public Preview (August 2023) ● Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ○ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう

Slide 12

Slide 12 text

©2023 Databricks Inc. — All rights reserved Confidential and Proprietary