Databricksでやろう、メタデータ管理

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

©2024 Databricks Inc. — All rights reserved なぜメタデータ管理が必要なのか 3 せっかく作ったデータから価値を生み出すために欠かせないものデータの活用を促進するためメタデータが管理されていないデータは、作っても活用することができませんメタデータが無いと・・・データが探せないデータの意味が分からないデータが最新か、正しいか、も分からないまだまだある、メタデータが無いと困ること障害や改修の影響が分からない

Slide 4

Slide 4 text

Slide 5

Slide 5 text

©2024 Databricks Inc. — All rights reserved それぞれのメタデータの例 5 • 以下はDMBOKで例示されているメタデータのほんの一部（ 4分の1程度） • しかし、全ての組織がDMBOKにあるようなメタデータの全てを管理する必要は無い • 自組織のデータマネジメントの要件に応じて必要なものを取捨選択（その結果、独自のメタデータが必要な場合も）メタデータはデータマネジメントの要件に応じて無数に存在するカテゴリメタデータ収集方法静的 / 動的ビジネスメタデータテーブル・カラムのビジネス的・業務的な意味の説明人が入力静的データ品質の測定ルールとその測定結果人 + システム静的 + 動的データの更新サイクル人が入力静的データオーナー人が入力静的テクニカルメタデータテーブルの構造（物理的なテーブル名、カラム名、データ型）システムが収集静的アクセス権限設定システムが収集静的データを作成・更新するクエリやコードシステムが収集静的データを作成・更新するジョブ定義システムが収集静的データリネージュ人 or システム静的オペレーショナルメタデータデータを作成・更新するジョブの実行履歴システムが収集動的エラーログシステムが収集動的データへのアクセスパターン（主な利用者、クエリ、利用頻度等）システムが収集動的

Slide 6

Slide 6 text

©2024 Databricks Inc. — All rights reserved メタデータ管理の現実 • テーブル構造が変わったのにドキュメントは古いまま • 複雑なデータリネージュを資料で表現、更新しきれず破綻　等々 6 多くの組織で抱えている課題の例　ビジネスメタデータが入力されていない、説明不足である　テクニカルメタデータが設計資料等でマニュアル管理されており、破綻している　オペレーショナルメタデータがデータとリンクしていない • テーブルやカラムの意味をデータオーナーには提供してもらえず、データ探しが職人技化 • データ品質はそもそも管理していない　等々 • ジョブやユーザークエリの実行履歴を単体で取得することはできるが、中身のコードを読まないとどのデータが関連しているか分からず、分析が困難　等々

Slide 7

Slide 7 text

©2024 Databricks Inc. — All rights reserved メタデータ管理を今度こそ実現するために 7 最小限の努力で最大限の効果を • 自動的に収集、可視化され、最新の状態がリアルタイムに確認できることを目指す • 収集、加工したりするためのコードやバッチ処理を開発・運用を最小限にするビジネスメタデータ主にデータのビジネス上の意味を表現テクニカルメタデータ主にデータの物理的な構造を表現オペレーショナルメタデータデータの更新や活用の状況を表現 • ジョブやユーザークエリの履歴も広い意味でデータリネージュの一環と捉え、対象データとリンクさせて関係を可視化する • 人による整備がどうしても必要な部分であるため、各データオーナーが責任を持って入力してもらえるよう役割分担で合意 • そのために、データオーナー自身が直接アクセスし、容易に編集できる GUIを提供する • 多様なメタデータを入力できる柔軟性も考慮する • 複雑なデータリネージュでも人の手を介さず、可視化までを自動で行えるようにする • (必要な範囲で) 網羅的に情報を収集できるようにする • ユーザーが可能な限り全てのメタデータに対して 1つのインタフェースからアクセスできるようにする • テーブルのみではなく、任意のファイルや機械学習モデルもメタデータ管理の対象とする

Slide 8

Slide 8 text

©2024 Databricks Inc. — All rights reserved メリット • 異なるデータ基盤に跨ったメタデータ管理が得意 • GUIがリッチな傾向デメリット • データ基盤からメタデータを取得するためのインテグレーションと追加の運用 • リアルタイム性を犠牲にする • コストは一体型よりも高くなる傾向メタデータ管理製品のトレードオフメタデータ管理専用の独立した製品データ基盤と一体型の製品 8 それぞれのメリット・デメリットメタデータ管理製品データ基盤データ加工データ分析メタデータ管理製品データ基盤データ加工データ分析データ基盤データ加工データ分析メリット • インテグレーションが不要、運用も最小限 • データの変化に追随してリアルタイムにメタデータも更新される • 追加のコストがかからない、または安価に済むデメリット • 異なるデータ基盤のメタデータは基本的に扱えない • GUIはシンプルな傾向 Databricks Unity Catalog はこちらのタイプだが、異なるデータ基盤のメタデータも一部管理可能

Slide 9

Slide 9 text

©2024 Databricks Inc. — All rights reserved Unity Catalog のメタデータ管理範囲 9 テーブル以外のデータや外部DWH/DB含めたメタデータ管理 Databricks Databricks Unity Catalog テーブル非構造化データ機械学習モデルテーブル外部 DWH / DB ビジネスメタデータ管理直感的なGUIやコードで編集する説明 & タグ、自動化 & カスタマイズ可能なデータプロファイルデータがある場所テクニカルメタデータ管理基本的なメタデータから、複雑なデータリネージュまで全自動で収集・可視化データの種類オペレーショナルメタデータ管理ジョブやユーザークエリの履歴がデータとリンクし、処理の状態や利用状況の分析が容易 ※ 外部 DWH / DB 上のテーブルでは、 Unity Catalogで管理できないメタデータもあります

Slide 10

Slide 10 text

©2024 Databricks Inc. — All rights reserved メタデータ管理の中心となるデータカタログ 10 ほぼ全てのメタデータへのアクセスのポータルとして機能テーブル構造・説明列名、データ型、ビジネスメタデータ等その他基本情報作成/最終更新の日時、ユーザー、ストレージの場所、テーブルプロパティ等履歴いつ、誰が、どのコードやジョブでどんな処理をしたか、等を一覧表示アクセス権限アクセスできるユーザーや権限の種類データリネージュ他のデータとの依存関係の可視化、ジョブやMLモデル、コードとの関連も表示利用状況このテーブルを使用している主なユーザー、クエリやコード、利用頻度等を可視化データプロファイルデータの中身に関する様々な統計、データ品質のダッシュボード

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

©2024 Databricks Inc. — All rights reserved データリネージュは自動で可視化 13 いつも通りのコードやクエリでデータ加工をするだけで、自動的に可視化このテーブルはどんなデータから作られているのか？このカラムはどこから来ているか？このデータを使用している後続のデータは？ CREATE TABLE silver AS SELECT . . . FROM bronze_a JOIN bronze_b . . . リネージュ情報を同期するための事前セットアップ等は一切不要で、通常通りSQLやPythonのコードでデータ加工を行うと、自動でリネージュグラフが可視化 spark.read .table(silver) .withColumn(“new”, xxxx) . . . .write .saveAsTable(“gold”) 自動で実行ログ解析、リネージュグラフ構築データリネージュ

Slide 14

Slide 14 text

©2024 Databricks Inc. — All rights reserved ノートブック(コード)、ワークフロー(ジョブ)、ダッシュボード、クエリ、モデル等、様々な処理やオブジェクトとのリネージュを記録オペレーショナルメタデータの管理も 14 データを起点に関連するジョブやクエリの詳細にドリルダウンそれぞれがリンクになっており、ジョブやクエリの詳細へドリルダウンできるジョブやクエリの中身や実行履歴等の詳細を確認データリネージュ

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

©2024 Databricks Inc. — All rights reserved まとめ 17 無理なく自組織に合ったメタデータ管理を実現するためにメタデータ管理の重要性メタデータの取捨選択メタデータ管理の方向性 Unity Catalog メタデータが管理されていないデータは、あっても活用できないメタデータは無数に存在するので、自組織のデータマネジメント要件から必要なものを選定するビジネスメタデータはデータオーナーから入力してもらいやすい仕組み作りで整備を促進、テクニカルメタデータとオペレーショナルメタデータは収集から可視化までを最小限の労力で自動化データ加工/分析をDatabricks中心の基盤(完全に統合まで出来なくても)にするのであれば、Unity Catalogは上記の方向性に合う解になる

Slide 18

Slide 18 text

Slide 19

Slide 19 text

©2024 Databricks Inc. — All rights reserved 宣伝もう1つ！ GPT3.5越えのOSS LLM “DBRX” 19 メタデータ管理から話が飛んでしまい、ごめんなさい https://huggingface.co/databricks https://www.databricks.com/jp/blog/announcing-dbrx-new-s tandard-efﬁcient-open-source-customizable-llms