Unity CatalogでAIガバナンスを担保する

Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。

Transcript

1. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary AIガバナンス 1
2. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary Unity Catalog ❤ AI
3. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
4. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
5. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
6. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
7. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
8. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
9. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
10. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
11. ©2023 Databricks Inc. — All rights reserved | Confidential and proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
12. ©2023 Databricks Inc. — All rights reserved Confidential and Proprietary