Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity CatalogでAIガバナンスを担保する
Search
Databricks Japan
April 13, 2024
Technology
0
20
Unity CatalogでAIガバナンスを担保する
Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
パフォーマンス最適化のベストプラクティス
databricksjapan
0
220
Databricks アシスタントとは?
databricksjapan
0
70
DatabricksによるRAGアーキテクチャー
databricksjapan
0
27
Databricksの課金体系
databricksjapan
0
29
オープンLLM DBRXについて
databricksjapan
0
27
これが知りたいDatabricks!よくある質問に答えます!?
databricksjapan
1
110
45億!増え続けるデータセットと基盤と私
databricksjapan
2
300
Databricks における 『MLOps』
databricksjapan
3
230
[2023年11月版] Databricksを用いた『生成AIアプローチ』
databricksjapan
0
75
Other Decks in Technology
See All in Technology
5分で分かる(かもしれない) Vector engine for OpenSearch Serverless
tsukuboshi
1
440
エムスリーマルチデバイスチーム紹介資料 / Introduction of M3 Multi Device Team
m3_engineering
1
180
TDD - Test Driven Drupal
opdavies
0
3k
Qiitaアクセシビリティ史 ~ Qiitaの歩んできた道 ~
degudegu2510
0
120
AWSの生成AI入門書を執筆しました🎉
minorun365
PRO
0
160
[PyconUS 2024] Having fun with Pydantic and pattern matching
enforcerpl
0
200
Deno Queue を使って OGP画像の遅延作成をやってみる
toranoana
1
100
生成AIと産業向けソフトウェアの自動生成 〜 ハノーバーメッセ2024より〜
kioto
2
450
RubyKaigi 2024 - Make Your Own Regex Engine!
makenowjust
1
190
試作とデモンストレーション / Prototyping and Demonstrations
ks91
PRO
0
180
複雑なビジネスルールに挑む:正確性と効率性を両立するfp-tsのチーム活用術 / Strike a balance between correctness and efficiency with fp-ts
kakehashi
5
3.7k
日本が誇るイタリアのダンスミュージック!? ユーロビートって何??
minorun365
PRO
2
240
Featured
See All Featured
How to Ace a Technical Interview
jacobian
273
22k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
660
120k
The Cost Of JavaScript in 2023
addyosmani
21
4k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Navigating Team Friction
lara
179
13k
RailsConf 2023
tenderlove
9
590
Designing Experiences People Love
moore
136
23k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Become a Pro
speakerdeck
PRO
13
4.6k
Designing for Performance
lara
601
67k
It's Worth the Effort
3n
180
27k
Transcript
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIガバナンス 1
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity Catalog ❤ AI
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
©2023 Databricks Inc. — All rights reserved Confidential and Proprietary