Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Unity CatalogでAIガバナンスを担保する
Search
Databricks Japan
April 13, 2024
Technology
0
130
Unity CatalogでAIガバナンスを担保する
Unity CatalogによってどうやってAIガバナンスを担保するのか説明します。
Databricks Japan
April 13, 2024
Tweet
Share
More Decks by Databricks Japan
See All by Databricks Japan
Databricks連携で実現する DWHモダナイゼーション
databricksjapan
0
19
[2025年7月版] AI/BI 最新機能アップデート / AIBI update on July
databricksjapan
0
57
AIもデータも、もっと身近に。Databricksで広がる金融業界の可能性 / FDUA-Study
databricksjapan
0
150
OTFSG勉強会 / Introduction to the History of Delta Lake + Iceberg
databricksjapan
0
210
[2025年5月版] Azure Databricks最新機能アップデート / 202505 Azure Databricks Latest Updates
databricksjapan
0
240
DatabricksとPower BIの連携メリット / Databricks PowerBI Integration Merits
databricksjapan
1
280
[2025年4月版] Databricks Academy ラボ環境 利用開始手順 / Databricks Academy Labs Onboarding
databricksjapan
2
500
Lakeflow Connectのご紹介
databricksjapan
1
290
MLflowの現在と未来 / MLflow Present and Future
databricksjapan
1
780
Other Decks in Technology
See All in Technology
猫でもわかるQ_CLI(CDK開発編)+ちょっとだけKiro
kentapapa
0
3.5k
LLM 機能を支える Langfuse / ClickHouse のサーバレス化
yuu26
9
2.2k
バクラクによるコーポレート業務の自動運転 #BetAIDay
layerx
PRO
1
950
AI関数が早くなったので試してみよう
kumakura
0
290
Intro to Software Startups: Spring 2025
arnabdotorg
0
260
全員が手を動かす組織へ - 生成AIが変えるTVerの開発現場 / everyone-codes-genai-transforms-tver-development
tohae
0
190
はじめての転職講座/The Guide of First Career Change
kwappa
4
3.8k
Jamf Connect ZTNAとMDMで実現! 金融ベンチャーにおける「デバイストラスト」実例と軌跡 / Kyash Device Trust
rela1470
1
200
AIエージェントを現場で使う / 2025.08.07 著者陣に聞く!現場で活用するためのAIエージェント実践入門(Findyランチセッション)
smiyawaki0820
6
1.1k
ロールが細分化された組織でSREと協働するインフラエンジニアは何をするか? / SRE Lounge #18
kossykinto
0
220
S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena
emiki
0
220
結局QUICで通信は速くなるの?
kota_yata
6
6k
Featured
See All Featured
Become a Pro
speakerdeck
PRO
29
5.5k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Facilitating Awesome Meetings
lara
54
6.5k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
46
7.6k
How GitHub (no longer) Works
holman
314
140k
Writing Fast Ruby
sferik
628
62k
The Cost Of JavaScript in 2023
addyosmani
51
8.8k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Automating Front-end Workflow
addyosmani
1370
200k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Side Projects
sachag
455
43k
The Pragmatic Product Professional
lauravandoore
36
6.8k
Transcript
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIガバナンス 1
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity Catalog ❤ AI
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データレイク データウェアハウス MLモデル BIダッシュボード MLエンジニア データエンジニア データアナリスト データとAIのガバナンスは複雑です • 断片化したアセットのビュー • セキュリティ、品質、 観察可能性ごとに分断 されたツール • 環境横断でアクセス できるように複製されるデー タ • 堅苦しいコラボレーション ビジネス ステークホルダー
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary AIのサーブ AIのデータ準備 MLOps + LLMOps AIの開発 & 評価 AIの監視 • 構造化データの発見 & 特徴量への 変換 • 非構造化データのチャンク & エンべディングの作成 • アルゴリズムの訓練、テスト • モデルのファインチューン & プロンプトエンジニアリング • GenAIエージェント & ツールの 作成 • アセットのチェーン • エクスペリメントの評価 • 低レーテンシーモデルサービング • モデルのリクエスト/レスポンスの 記録 • モデルの精度、品質の評価 • モデル品質を維持するための監視 と再トレーニング • モデルのビジネスKPIインパクトの理 解 データのサーブ • 低レーテンシーの特徴量 サービング & 特徴量変換 • Vector DBのエンべディング検索 AIガバナンス & リネージ • セキュリティ & 権限の管理 • モデルリネージの追跡 • 開発環境、本番環境間のコード、データ、モデルの移動 • モデル、特徴量、エクスペリメントの管理 これらの問題に取り組むには、データとAIの能力を 連携する必要があります Data データプラットフォーム データモニタリング データオーケストレーション データストリーミング データガバナンス & リネージ データ データストレージ データ データ データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary Unity CatalogのAIガバナンス Lakehouse AIであなたのチームの生産性を解放し、プロセスのボトルネックを排除 しましょう • すべてのデータとAI資産に対する集中管理のガバナンス (“ワンストップショッ プ”) • チームメートを見つけ出し知見を得、マーケットプレースでクイックに モデル/データを使い始める • リネージとレイクハウスモニタリングを通じた影響分析、品質追跡、 根本原因分析によってデバッグの効率性を改善 • PII検知やUCの高信頼インデックスでどの資産が目的に合致しているのかを知 ることで、ガードレールのあるセルフサービス体験 • データをさらに理解するためにLakehouse IQ知識エンジンを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary データとAIのガバナンスを統合 簡素化されたガバナンス & MLOpsのためにデータとAIのワークスペース横断アクセスを提供 Feature Store 特徴量 特徴量 特徴量 モデル レジストリ モデル モデル モデル Unity Catalog 特徴量 特徴量 特徴量 モデル モデル モデル データ データ データ
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary 資産の集中管理によってコラボレーションを加速 チームメイトがどのようにモデルをトレーニングし、どのようなデータでトレーニングしたのかを理解 監査、再現性のためにリネージを活用 使用するデータやAI資産を検索
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary リネージと品質でも効率的に問題をデバッグ UCによるインパクト分析、品質追跡、根本原因分析の実施 レイクハウスモニタリング & リネージによる根本原因分析 人気度によるインパクト分析
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary プロセスのボトルネックを排除するためのセルフサービス体験 品質と機微データに対するガードレールを強制することでデータ取り込みを民主化 テーブル利用の安全性を知るための信頼性インデックス 自動マスキングポリシーによるカタログでの PII検知
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary あなたのビジネスを理解するAI強化の知識エンジン Lakehouse IQはあなたのビジネス上の質問に回答するために、最も適切なデータを特定するため に、Unity Catalogの豊富なメタデータを活用
©2023 Databricks Inc. — All rights reserved | Confidential and
proprietary キーコンポーネントのまとめ • Models in UC: ワークスペース横断のモデルアクセス、エンドツーエンドのリネージの提供 ◦ Public Preview (FY24-Q2) • Feature engineering in UC: ワークスペース横断の特徴量アクセス、エンドツーエンドの リネージの提供 ◦ Public Preview (FY24-Q3) ◦ Databricksアカウントでのオンライン特徴量検索 - Private Preview (FY24-Q3) • Marketplaceおよびmodel zoo: プロジェクトをジャンプスタートするためにサードパーティのモデルと データにアクセス ◦ Public Preview (FY24-Q3) • Lakehouse Monitoring/classification: 任意のデータ、モデル資産の品質の経年変化の追跡 ◦ Public Preview (August 2023) • Lakehouse IQ: ビジネスデータ理解の助けとなる AI強化知識エンジン ◦ Private Preview Big Book of MLOps V2 (October 2023に公開)を通じてUnity Catalogにおける MLOpsアーキテクチャのベストプラクティスを学びましょう
©2023 Databricks Inc. — All rights reserved Confidential and Proprietary