Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity CatalogでAIガバナンスを担保する
Search
Databricks Japan
April 13, 2024
Technology
0
19
Unity CatalogでAIガバナンスを担保する
Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
180
Databricks アシスタントとは?
databricksjapan
0
50
DatabricksによるRAGアーキテクチャー
databricksjapan
0
18
Databricksの課金体系
databricksjapan
0
19
オープンLLM DBRXについて
databricksjapan
0
19
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
97
45億!増え続けるデータセットと基盤と私
databricksjapan
2
280
Databricks における 『MLOps』
databricksjapan
3
220
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
74
Other Decks in Technology
See All in Technology
AI JIMY - 登壇(インストール編)
hanacchi
0
140
TanStack Routerで型安全かつ効率的なルーティングを実現
ytaisei
4
750
パスワードを保存しますか?
hanacchi
0
240
技術力の伸ばし方を考える
khirata
0
130
データ分析力を高めるSQL研修サービス『SQL Everyone』
hikarut
1
360
OPENLOGI Company Profile
hr01
0
45k
Zero Data Loss Autonomous Recovery Service サービス概要
oracle4engineer
PRO
0
2k
Deno で作る快適な “as Code” プラットフォーム – TSKaigi 2024
pizzacat83
4
280
ハードウェアを動かすTypeScriptの世界
9wick
3
1.1k
Secrets of a PowerShell "Guru"
guyrleech
1
120
Shinagile 2024
kawaguti
PRO
2
110
Google Cloud Next '24 Recap in ZOZO AIにより変わる開発 運用/Development and operation changed by AI
gachimuchiengineer
0
150
Featured
See All Featured
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
8
3.5k
Web Components: a chance to create the future
zenorocha
306
41k
Designing with Data
zakiwarfel
96
4.8k
Designing Experiences People Love
moore
136
23k
Build your cross-platform service in a week with App Engine
jlugia
226
17k
RailsConf 2023
tenderlove
9
580
KATA
mclloyd
16
12k
Gamification - CAS2011
davidbonilla
77
4.6k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
67
14k
Build The Right Thing And Hit Your Dates
maggiecrowley
25
2k
Building Your Own Lightsaber
phodgson
100
5.7k
Debugging Ruby Performance
tmm1
70
11k
Transcript
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIガバナンス 1
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity Catalog ❤ AI
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
©2023 Databricks Inc. — All rights reserved Confidential and Proprietary