データマネジメント試験対策教材３〜データ要件定義と整備〜

2027年秋に開催されるとされるデータマネジメント試験の対策教材です。
3回目はデータ要件定義と整備について説明をします。

Transcript

1. 第3章 データ要件定義と整備 【データマネジメント試験】対策資料
2. 導入 この資料の対象者とゴール 対象となる方 データ要件定義の具体的な進め方を学びたい実務担当者 品質管理やメタデータ、マスタ管理の実務を知りたい方 この資料のゴール ビジネス要件を構造化するモデリングの基礎を理解する 品質維持やメタデータ管理、AI向け整備戦略を習得する 第３章 データ要件定義と整備 2
3. 目次 アジェンダ 前編 3.1 データ基盤アーキテクチャ技術との関係性 3.2 データモデリングと3つの設計段階 3.3 データ品質管理のプロセスと指標 3.4 メタデータ管理とデータカタログの運用 3.5 マスタデータ管理とリファレンスデータ 第３章 データ要件定義と整備 3
4. 目次 アジェンダ 後編 3.6 データ収集と加工実務 3.7 データ統合と外部データ連携 3.8 データ分析と可視化の基礎 3.9 非構造化データの管理と蓄積 3.10 AI向けデータの整備実務 第３章 データ要件定義と整備 4
5. 3.1 アーキテクチャ技術との関係 前編 第３章 データ要件定義と整備 データの価値を高める整備のライフサイクル データ基盤: データを蓄積・流通させる技術インフラの提供 データ整備: データの品質を高めてビジネス価値を付与する活動 収集時・加工時の整備: 暗号化転送や表記揺れ・重複データのクレンジング 💡 ポイント解説 データ整備は各技術フェーズで段階的に行われます。基盤導入と中身の品質管理を両立させましょう。 5
6. 3.1 アーキテクチャ技術との関係 後編 第３章 データ要件定義と整備 データを安全に管理し利活用へ繋げる 蓄積時の整備: メタデータ付与とデータカタログへの登録 提供時の整備: データマート構築とBIツールへの安全な連携 ガバナンス連携: 品質チェック自動化と管理ルールの徹底 💡 ポイント解説 技術運用とデータ中身の品質維持が連携して初めて、組織全体のデータ活用力が高まります。 6
7. Q1 確認問題 第３章 データ要件定義と整備 【問題】 「データ基盤」と「データ整備」の役割の違いを説明したものとして適切なものはどれか。 ア. データ基盤は表データ、データ整備は画像データのみを処理する イ. データ基盤は蓄積・流通のインフラであり、データ整備はその中のデータ品質を高める活動である ウ. データ基盤があれば自動でクレンジングされるため整備は不要である エ. データ整備はIT部門のみが担当しビジネス部門は関与しない 7
8. Q1 解答と解説 【正解】 イ 【解説】 インフラであるデータ基盤に対し、中身の品質を高めるプロセスがデータ整備です。 ・アはデータ形式の分類ではないため誤りです。 ・ウは基盤の構築だけでは表記揺れなどは解消しないため誤りです。 ・エは業務ルールに基づくクレンジング等でビジネス部門の協力が必須です。 第３章 データ要件定義と整備 8
9. 3.2 データモデリング 概念と論理 第３章 データ要件定義と整備 ビジネス構造から論理的な設計へ 概念データモデル: ビジネス概念と関係性を抽象的に定義し合意する設計 論理データモデル: 属性や主キーを定義し重複を排除する正規化設計 💡 ポイント解説 要件をデータ構造に整理する第一段階が概念モデルで、それをテーブル構造へ具体化する段階が論理モデルで す。 9
10. 3.2 データモデリング 物理モデル 第３章 データ要件定義と整備 システムへの実装と性能の最適化 物理データモデル: DB特性に合わせデータ型や長さを決定する設計 物理配置の定義: インデックス設定やパーティショニングの実施 非正規化の検討: 検索性能を高めるため、あえて重複を許容する設計 💡 ポイント解説 データベース製品の特性に合わせた物理設定やチューニングを行う工程を物理データモデリングと呼びます。 10
11. 3.2 モデリング実務と正規化 第３章 データ要件定義と整備 データの整合性を保つテーブル設計 ER図による記述: 実体（エンティティ）と関連度（リレーション）を定義 第1〜第3正規化: 繰り返し項目や関数従属を段階的に排除し矛盾を防止 💡 ポイント解説 整合性を維持し更新矛盾を防ぐため、段階的に重複を排除してテーブルを分割する手法を正規化と呼びます。 11
12. 3.2 分析用の設計とスキーマ 第３章 データ要件定義と整備 意思決定の集計処理を高速化する ファクトテーブル: 売上額や数量など分析対象の数値を格納する表 ディメンションテーブル: 時間や店舗など分析の切り口を格納する表 スタースキーマ: ファクトを中心にディメンションを配置する非正規化設計 💡 ポイント解説 分析系システムでは、結合処理を減らしてクエリを高速化するため、スタースキーマが用いられます。 12
13. Q2 確認問題 第３章 データ要件定義と整備 【問題】 DWH等で数値格納用の「ファクト」と切り口格納用の「ディメンション」を結合し、クエリの高速化を図る 設計はどれか。 ア. 概念データモデル イ. スタースキーマ ウ. 第3正規形テーブル エ. メダリオンアーキテクチャ 13
14. Q2 解答と解説 【正解】 イ 【解説】 分析集計を高速化するファクトとディメンションを用いた設計はスタースキーマです。 ・アは要件整理段階の抽象的なモデルです。 ・ウは重複を排したRDB用設計で、結合コストが高くなり分析には不向きです。 ・エはデータ加工プロセス（Bronze/Silver/Gold）の段階設計です。 第３章 データ要件定義と整備 14
15. 3.3 データ品質管理 指標 第３章 データ要件定義と整備 データの信頼性を測る基準 正確性: 登録値が業務上の事実と正しく一致している状態 完全性: 必要なデータ項目が欠損せず網羅されている状態 一貫性: 複数DB間で同一データに矛盾がない状態 適時性: 意思決定に必要なタイミングで更新されている状態 💡 ポイント解説 正確性、完全性、一貫性、適時性などの評価軸を定め、ビジネス要件に応じた目標値を設定します。 15
16. 3.3 品質向上の実務プロセス 第３章 データ要件定義と整備 現状把握から標準化までの活動 プロファイリング: データの特性やパターンを統計分析し現状把握 クレンジング: 誤り検出、欠損値補完、重複排除を行う処理 データ標準化: 表記揺れやコード体系を全社ルールで統一する処理 💡 ポイント解説 品質改善の第一歩はプロファイリングによる現状把握です。課題を見つけクレンジングや標準化を推進しま す。 16
17. Q3 確認問題 第３章 データ要件定義と整備 【問題】 データ品質管理において、クレンジング前にヌル値割合や値の範囲等の統計情報を収集し、現状のデータ品質 を客観的に把握する工程はどれか。 ア. データリネージ イ. データプロファイリング ウ. データモデリング エ. エンティティレゾリューション 17
18. Q3 解答と解説 【正解】 イ 【解説】 現状把握のために統計情報を収集する工程はデータプロファイリングです。 ・アはデータの来歴を可視化する仕組みです。 ・ウはデータ構造を設計するアプローチです。 ・エは同一実体を識別する名寄せ技術です。 第３章 データ要件定義と整備 18
19. 3.4 メタデータ管理の分類 第３章 データ要件定義と整備 データに関する定義情報を整理する テクニカル: テーブル構造、データ型、物理列名、アクセス権限 ビジネス: 用語定義、ビジネスルール、所管部門情報 オペレーショナル: 実行ログ、更新時間、処理行数などの履歴情報 💡 ポイント解説 構造を示すテクニカル、意味を示すビジネス、履歴を示すオペレーショナルの3つのメタデータを管理しま す。 19
20. 3.4 カタログとリネージ 第３章 データ要件定義と整備 データの探索と追跡を容易にする データリネージ: 発生源から最終レポートまでの来歴・変化を可視化 データカタログ: メタデータを検索し、必要なデータを迅速に発見する仕組み 💡 ポイント解説 データの信頼性を裏付ける来歴管理がリネージであり、ユーザーがデータを探すポータルがデータカタログで す。 20
21. Q4 確認問題 第３章 データ要件定義と整備 【問題】 データの発生源から加工プロセス、最終レポートに至る処理フローと来歴を可視化し、影響範囲特定や信頼性 検証を行う仕組みはどれか。 ア. データカタログ イ. データプロファイリング ウ. データリネージ エ. 正規化 21
22. Q4 解答と解説 【正解】 ウ 【解説】 データの流れと生成の来歴を可視化する仕組みはデータリネージです。 ・アはメタデータを検索して探索を容易にする仕組みです。 ・イはデータの状態を統計調査して品質を測る手法です。 ・エは重複を排除して一貫性を高めるDB設計手法です。 第３章 データ要件定義と整備 22
23. 3.5 マスタデータ管理 前編 第３章 データ要件定義と整備 組織で共有する基本データの定義 マスタデータ: 顧客や商品など、業務の核として長期共有される基本データ ライフサイクル管理: 生成から利用、更新、廃棄までを統合管理 SSOTの確立: 全社で信頼できる唯一の情報源（Single Source of Truth）を共有 💡 ポイント解説 マスタデータは全社の共通言語です。散在する基本情報を整理し一貫したライフサイクルで管理します。 23
24. 3.5 マスタデータ管理 後編 第３章 データ要件定義と整備 マスタの統合とコードの標準化 名寄せとID統合: 複数システムに散在する同一実体を一つのコードに紐づける リファレンスデータ: 国コードや区分など、データを分類定義する参照用コード 💡 ポイント解説 マスタ統合の鍵は表記揺れを解消する名寄せやID統合です。分類用の参照データ（コード）の標準化も不可欠 です。 24
25. Q5 確認問題 第３章 データ要件定義と整備 【問題】 複数システムに散在するマスタを名寄せ・統合し、組織全体で共有する「信頼できる唯一の情報源」を確立し た状態を示す概念はどれか。 ア. データカタログ イ. データリネージ ウ. データスペース エ. SSOT 25
26. Q5 解答と解説 【正解】 エ 【解説】 全社で共有される唯一の正しいデータ源を示す概念はSSOTです。 ・アはメタデータを検索するシステムです。 ・イは処理フローと来歴の追跡情報です。 ・ウは組織間で安全にデータを流通・共有する枠組みです。 第３章 データ要件定義と整備 26
27. 3.6 データ収集と加工実務 第３章 データ要件定義と整備 利用目的に応じた加工処理 探索と抽出: ソースシステムからAPIや差分検知技術を用いて安全に取得 標準化とマスキング: 表記揺れの統一や個人情報の秘匿化処理 データマート構築: 特定の分析用途や部門に合わせて最適化されたDB層 💡 ポイント解説 全社基盤から、特定の業務やダッシュボード用に必要なデータだけを事前集計・抽出した層がデータマートで す。 27
28. Q6 確認問題 第３章 データ要件定義と整備 【問題】 全社基盤から特定部門や分析要件に合わせて必要なデータを取り出し、事前集計や加工を施して構築するデー タベース層はどれか。 ア. メタデータ イ. データマート ウ. データスペース エ. 概念データモデル 28
29. Q6 解答と解説 【正解】 イ 【解説】 特定用途・部門に特化させて構築されるデータベース層はデータマートです。 ・アはデータの定義や所在を表す付帯情報です。 ・ウは企業間でデータを安全に共有・流通させるプラットフォームです。 ・エは要件整理の初期に用いる抽象的なモデリングです。 第３章 データ要件定義と整備 29
30. 3.7 データ統合と外部データ連携 第３章 データ要件定義と整備 組織やシステムの枠を超えた統合 システム間連携: バッチ転送やAPIを用いたリアルタイム同期 外部データの取得: オープンデータや外部有料データの統合 データスペース: 主権を維持したまま安全に相互流通を行う共同インフラ 💡 ポイント解説 自社データだけでなく、外部データや他組織のデータと安全につなぎ込む統合設計が分析価値を高めます。 30
31. Q7 確認問題 第３章 データ要件定義と整備 【問題】 社外のオープンデータや他社データを自社データと統合する際、データ提供側の主権を守りつつ安全に流通・ 共有するための連携インフラ概念はどれか。 ア. データカタログ イ. データスペース ウ. セルフサービスBI エ. データレイクハウス 31
32. Q7 解答と解説 第３章 データ要件定義と整備 【正解】 イ 【解説】 企業間で安全にデータを相互共有・流通させるための共同インフラはデータスペースです。 ・アは自社データ資産を検索・探索するためのシステムです。 ・ウは現場ユーザーが自律的にデータ分析を行う取り組みです。 ・エはデータレイクとDWHを統合した技術ストレージの設計です。 32
33. 3.8 データ分析と可視化の基礎 第３章 データ要件定義と整備 ビジネスの意思決定に活かす 記述的・予測的分析: 過去の実績可視化と将来の需要・解約率の統計的予測 重要指標の優先配置: 意思決定に必要な主要KPIをダッシュボード上部に配置 配色の制限: 不要な装飾や多色使いを避け、誤認を防ぐシンプルな設計 💡 ポイント解説 ダッシュボード設計では、過度な装飾を排除し、重要KPIの推移を一目で捉えられるシンプルな構成を目指し ます。 33
34. Q8 確認問題 第３章 データ要件定義と整備 【問題】 意思決定を支援するダッシュボード画面を設計するためのガイドラインとして適切なものはどれか。 ア. 重要な指標は最下部にまとめ、上部にはロゴやデザイン画像を配置する イ. 視覚的インパクトを重視し、グラフごとに10色以上のカラーを使用する ウ. 過度な色彩を排除し、最も注目すべき重要KPIを画面上部に優先配置する エ. 1つの画面の中に30以上のグラフや表をできる限り詰め込む 34
35. Q8 解答と解説 第３章 データ要件定義と整備 【正解】 ウ 【解説】 ダッシュボード設計の基本は認知負荷を下げ、重要KPIを上部に配置しシンプルな配色に制限することです。 ・アは重要指標が目に入りにくくなるため不適切です。 ・イは多色使いにより優先順位が判断しにくくなるため不適切です。 ・エは情報過多により意思決定の妨げとなるため不適切です。 35
36. 3.9 非構造化データの管理 第３章 データ要件定義と整備 テキストや画像ファイルの価値向上 非構造化データ: PDF、画像、動画などRDBの表形式に収まらないデータ メタデータの付与: 日付や要約タグ等を付加して検索・活用を可能にする オブジェクトストレージ: 大容量ファイルを安価に蓄積するストレージ 💡 ポイント解説 非構造化データ管理では、属性や要約等のメタデータ付与とオブジェクトストレージへの蓄積が基本です。 36
37. Q9 確認問題 第３章 データ要件定義と整備 【問題】 PDF、画像、音声などの非構造化データを適切に管理・検索可能にする初期アプローチとして最も適切なもの はどれか。 ア. 非構造化データをすべて無理やりSQLのテーブルへ流し込む イ. ファイルごとに作成日、用語、要約等をメタデータとして付与して整理する ウ. 検索をあきらめデータレイクに未整理のまま放置する エ. 自動でスタースキーマに変換して格納する 37
38. Q9 解答と解説 第３章 データ要件定義と整備 【正解】 イ 【解説】 非構造化データを検索・分類できるようにするには、属性や要約などのメタデータを付与して整理します。 ・アは画像や音声には適用できないため不適切です。 ・ウはデータスワンプとなり検索不能になるため不適切です。 ・エはスタースキーマは構造化データ用であるため不適切です。 38
39. 3.10 AI向けデータの整備 前編 第３章 データ要件定義と整備 大規模言語モデルに適した入力を作る トランスフォーマー: 注意機構（Attention）をベースにした自然言語処理モデル コンテキスト境界: AIが一度に読み込めるテキスト量の物理的上限 チャンク分割: 上限内に収めるため長文テキストを小さな塊に分割する処理 💡 ポイント解説 AIが解釈できるトークン数には上限があります。長文情報を正しく入力するため事前分割（チャンク化）が必 要です。 39
40. 3.10 AI向けデータの整備 中編 第３章 データ要件定義と整備 意味の数値化と類似度による探索 埋め込み処理: 文章の意味を多次元の数値ベクトルに変換する技術 ベクトル検索: 意味の類似度に基づき関連データを高速探索する手法 ハイブリッド検索: ベクトル検索とキーワード検索を併用し検索精度向上 💡 ポイント解説 質問の意味を解釈して関連情報を引き出すには、テキストをベクトル化して格納・検索する仕組みが不可欠で す。 40
41. 3.10 AI向けデータの整備 後編 第３章 データ要件定義と整備 AI Ready Data の応用と品質評価 RAGの構成: 検索した外部知識を提示し生成AIの回答精度を高める仕組み GraphRAG: データの関係性を知識グラフ化し複雑な問いに対応 合成データ: 個人情報を保護し安全にテストを行うための人工疑似データ 💡 ポイント解説 個人情報漏洩を避け安全に検証を進める手法として合成データが用いられます。ハルシネーション抑制の評価 も重要です。 41
42. Q10 確認問題 第３章 データ要件定義と整備 【問題】 個人情報を含まない安全なテスト環境の構築や学習データの補強のために人工的に生成された模擬的データは どれか。 ア. 埋め込みデータ イ. 参照データ ウ. メタデータ エ. 合成データ 42
43. Q10 解答と解説 【正解】 エ 【解説】 AI等を用いて人工的に生成されたテスト・学習用の疑似データは合成データです。 ・アは意味情報を多次元数値ベクトルに変換したデータです。 ・イはデータの分類や区分を行うための参照コードデータです。 ・ウはデータそのものの定義や所在を記録したデータです。 第３章 データ要件定義と整備 43
44. 総括 第3章のまとめ 第３章 データ要件定義と整備 データモデリングと設計: 概念・論理・物理の3段階設計、正規化、分析を高速化す るスタースキーマの使い分け。 品質およびマスタ一元化: プロファイリングを起点とした品質管理、SSOTマスタ 構築、メタデータ管理の推進。 AI向けデータの整備実務: トークン制約に応じたチャンク分割、ベクトル化による 検索強化、合成データによる安全性担保。 44