Purview セルフサービス分析機能を使ってみた~データの品質をFabricで可視化してみよう~

Microsoft Data Analytics Day(Online) 勉強会_20251210発表資料

最近GAされたセルフサービス分析機能を使ってMicrosoft Purview のメタデータをFabric に連携してユーザーが見やすいシンプルなデータ品質レポートを作ってみました！

▽勉強会URL
https://sqlserver.connpass.com/event/375289/

Transcript

1. Purview セルフサービス 分析機能を使ってみた ~データの品質をFabricで可視化してみよう~ Author : Ryusei Iida Date : 2025.12.10
2. 目次 00 Purviewのデータガバナンスについて セルフサービス分析機能でFabricと連携する 1. セルフサービス分析機能とは 2. 設定方法 3. 連携可能なメタデータの範囲 データ品質をFabricと連携してレポートにしてみる 1. データ品質とは 2. データ品質の評価軸 3. Purviewでのデータ品質に関する機能紹介 4. データ品質のスコア仕様 5. 標準機能を使ってスコアレポートを見る 6. セルフサービス分析機能を使ったレポートサンプル 7. 補足 標準機能のレポートとの比較
3. Purviewの データガバナンスについて 01 Purviewのデータガバナンスは2つのソリューションから 構成されている データマップ データ資産のスキャン・詳細なメタデータの付与を行い、組織全体の データ資産を管理する 統合カタログ データ資産をビジネスの文脈で整理・管理し、 利用価値を生み出す オンプレミス マルチクラウド SaaS アプリケーション Microsoft Purview データガバナンス メタデータのアクティベート メタデータの収集 データアセットにアクセス、 ビジネスメタデータの付与と表 示をするためのインターフェース データアセットを収集・蓄積し、 テクニカルメタデータの充実と アセット個々に対する細かい アクセス制御層を提供する 組織全体でのRBACや SaaSとしての設定を構成する
4. Purviewの データガバナンスについて 01 Purviewはデータメッシュという考えをベースに基盤を構築する ことでデータの統制が可能 Data Mesh Principles and Logical Architecture (martinfowler.com) ドメインA ドメインB ドメインC ドメインD ドメインE ドメインG データ製品の生成 データガバナンス基盤 セルフサービスデータ基盤 データ製品の文書化 ドメイン全体で横断した統制 ドメイン個々でのデータ処理 Microsoft Fabric Microsoft Purview
5. セルフサービス分析機能で Fabricと連携する 02 Fabricのデータカタログ(OneLakeカタログ)があれば良い？ それぞれ役割が異なっているのでユースケース次第となる Purviewで管理するメタデータをFabricに連携することで、 両方を組み合わせることも可能 OneLakeカタログ セルフサービス分析機能 Fabricの中にある 技術的 メタデータを管理し、 データの 探索やガバナンスを行う 資産の利用申請プロセスやデータ の品質、 ビジネス上で活用する メタデータを管理し、 広い カタログ範囲でデータの発見や ガバナンスを行う
6. セルフサービス分析機能で Fabricと連携する 02 セルフサービス分析機能 メタデータをレイクハウスに連携できる よりニーズに合わせたレポートをセルフサービスで作ることができる Microsoft Purview Microsoft Fabric OneLake データマップ Fabric ワークスペース 統合カタログ Power BI レポート コレクション、アセット etc.. データ製品、データ品質 etc..
7. セルフサービス分析機能で Fabricと連携する 02 設定方法(要データガバナンス管理者ロール) Microsoft Purview ポータルで、 [設定] ＞[統合カタログ] ＞[セルフサービス分析 (プレビュー)] から設定が可能
8. セルフサービス分析機能で Fabricと連携する 02 統合カタログソリューションのメタデータほぼ全てが連携可能 統合カタログ データ資産正常性 データマップ Microsoft Purview データガバナンス ガバナンスドメイン 正常性コントロール ドメインと サブコレクション ソース管理 注釈管理 データ品質 アクセスポリシー ビジネス用語集 OKR カスタム属性 重要データ データ製品 正常性アクション メタデータ品質 レポート 監視 キュレーション （編纂）、表示 ビジネスメタデータ付与 Microsoft Fabric データ連携 REST APIを 用いて連携可能
9. データ品質をFabricと連携して レポートにしてみる 03 連携可能なメタデータ全部を紹介しきれないので⋯⋯ 今回はデータ品質に焦点を当てて紹介する 統合カタログ データ資産正常性 データマップ Microsoft Purview データガバナンス ガバナンスドメイン 正常性コントロール ドメインと サブコレクション ソース管理 注釈管理 データ品質 アクセスポリシー ビジネス用語集 OKR カスタム属性 重要データ データ製品 正常性アクション メタデータ品質 レポート 監視 キュレーション （編纂）、表示 ビジネスメタデータ付与 ココ
10. データ品質をFabricと連携して レポートにしてみる 03 “データ品質”はデータを利活用する視点で重要な要素 例えばデータの鮮度やデータが正しくアクセスできるか等がある データの品質が低いと、そのデータを用いるモノ(AI等)の品質にも影響してしまう データソース 公開サービス (エージェントなど) データの鮮度：× データの一貫性：◦ 〜について教えて ◦◦です (古い情報を参照 している) 参照 ⋯
11. データ品質をFabricと連携して レポートにしてみる 03 ただし、データ品質の評価軸は目的によって左右される 例1) 行政が個人情報を扱うようなシステムなら⋯⋯ データが改ざんされていないか データセット内やデータセット間で矛盾がないか 営業時間内にいつでもデータにアクセスできるか Etc... 例2) AIが回答を作るために使用するデータソースなら⋯⋯ 参照するデータが常に最新のものか データの書式が指定のものに準拠しているか データの出典元が明確か Etc... 主な評価軸 主な評価軸 データを正確・確実に 取得できること 最新のデータをAIが 正確に解釈できること
12. データ品質をFabricと連携して レポートにしてみる 03 Microsoft Purviewではテーブルごとにデータ品質を測定・監視可能
13. データ品質をFabricと連携して レポートにしてみる 03 Purviewで実現可能な評価軸 補足 検査内容 # 設定できる期間は最短で1時間、 最大で99か月 テーブル最終更新日からの間隔が指定した 期間内か 1 2つ以上の列で値が一致するレコード 2 指定した列内の空白またはNULLであるレコード 3 NULL値についても検査を行う場合、 #3のルールも同時に設定を行う必要が ある 指定した列の値が一意であるか 4 レコードの値が指定したデータ型に従っているか 5 テキスト型の列内のレコードが指定した正規表現 ・LIKEパターン・指定パターンに従っているか 6 基準とするテーブルは同じガバナンス ドメインに属している必要がある 指定した列の値が、別のテーブルの特定の列に存在 しているか(外部キーが正常に機能しているか) 7 テーブル及び列が設定したビジュアル式もしくは SQLに従っているか 8
14. データ品質をFabricと連携して レポートにしてみる 03 スキャンを行うとデータ品質がスコアとして評価される スコアに応じてアラートも設定可能
15. スコアは基本的には以下の式に準じる つまり、レコード全体のどの程度が条件を満たしているかの割合 ※データの更新頻度など、テーブルレベルで評価されるものはスコアは 0または100で表される データ品質をFabricと連携して レポートにしてみる 03 データ品質スコア = 評価に合格したレコードの数 レコードの合計数 ൈ ଵ଴଴ = 評価に合格したレコードの数 ( 評価に合格したレコードの数 + 不合格のレコードの数 + データ型不⼀致のレコードの数 + NULL または空⽩のレコードの数 ) ൈ 100
16. データ品質をFabricと連携して レポートにしてみる 03 データ品質のスコアはPurviewポータルからも閲覧は可能 だけど正直見づらい⋯⋯
17. データ品質をFabricと連携して レポートにしてみる 03 セルフサービス分析機能を設定してレポート閲覧までやってみる Microsoft Purview Microsoft Fabric OneLake データマップ Fabric ワークスペース 統合カタログ Power BI レポート コレクション、アセット etc.. データ製品、データ品質 etc.. ！ メタデータ連携 レポート化 閲覧
18. データ品質をFabricと連携して レポートにしてみる 03 今回使用したテーブル(組み合わせてビュー化)とリレーション vw_DataAsset • DataAsset • BusinessDomain • DataProduct • DataProductBusinessDomainAssignment • DataProductAssetAssignment vw_DataQualityRule • DataQualityRule vw_DataQualityRuleExecutionSummary • DataQualityJobExecution • DataQualityAssetRuleExecution • DataQualityRuleColumnExecution
19. データ品質をFabricと連携して レポートにしてみる 03 セルフサービス分析機能を使ってデータ品質を レポートにした一例 項目名を日本語にして ユーザーに分かりやすく 品質スコアの推移を データ品質の区分 ごとで見る 条件付き書式で スコアを視覚的に 把握
20. データ品質をFabricと連携して レポートにしてみる 03 データ品質に限らず様々なメタデータが利用可能 アクセスポリシー 関連 メタデータ 関連 データ資産 関連 ガバナンスドメイン ・データ製品関連 データ品質 関連
21. データ品質をFabricと連携して レポートにしてみる 03 応用編 最近のアップデートで DataMapDataAssetIdが連携される ようになったので、データマップ ソリューションで管理するメタデータ との連携が容易になった ただし、列レベルのアセットについては データマップソリューションのアセットと 連携できる情報が無いため、現時点では 連携ができない
22. 標準機能のレポートとの比較 04 標準機能との比較 ユースケースに合わせて使い分けるのが良さそう セルフサービス分析機能レポート 標準機能レポート # ・ユーザーのニーズに合わせた レポートが作成できる。 ・ユーザー視点ではプラットフォーム がFabricで統一される。 ・Purviewのロールに応じた行レベル セキュリティが標準実装されてい る。 ・開発工数が一切かからない。 メリット ・行レベルセキュリティが必要な 場合は別途開発が必要。 ・レポートの項目名などは英語。 ・UIはユーザーごとに最適化されて いない デメリット
23. 参考資料 Purview概要 Microsoft Purview の詳細 | Microsoft Learn Microsoft Purview Data Governance について - Speaker Deck セルフサービス分析機能 Self-Serve Analytics in 統合カタログ | Microsoft Learn データ品質 Microsoft Purview 統合カタログのデータ品質 | Microsoft Learn 統合カタログのデータ品質スコア | Microsoft Learn 統合カタログのデータ品質正常性レポート | Microsoft Learn