データマネジメント試験対策教材２〜データアーキテクチャと基盤技術〜

2027年秋に開催されるとされるデータマネジメント試験の対策教材です。
2回目はデータアーキテクチャと基盤技術として、データのアーキテクチャと要素技術について説明をします。

Transcript

1. 第2章 データアーキテクチャと基盤技術 【データマネジメント試験】対策資料
2. 導入 この資料の対象者とゴール 第２章 データアーキテクチャと基盤技術 対象となる方 データ活用プロジェクトに関わる実務担当者 モダンなデータ基盤技術の全体像を俯瞰したい方 データアーキテクチャの基本的な設計概念を学びたい方 この資料のゴール データベース、データパイプライン、クラウド等の基本技術を整理する ビジネス要件をデータ基盤設計に落とし込むための考え方を学ぶ 先進的アーキテクチャや生成AI対応のデータ設計思想を理解する 2
3. 目次 アジェンダ 前編 2.1 エンタープライズアーキテクチャとDA 2.2 データ基盤アーキテクチャの全体像 2.3 データベース技術の特徴と使い分け 2.4 データウェアハウスとデータレイクの特徴 2.5 データパイプラインの設計と構築 2.6 クラウドにおけるデータ基盤設計 第２章 データアーキテクチャと基盤技術 3
4. 目次 アジェンダ 後編 2.7 リアルタイム処理とバッチ処理 2.8 データ連携を支えるネットワーク基礎 2.9 先進的データアーキテクチャ 2.10 生成AIを支えるデータアーキテクチャ 2.11 ソフトウェア設計手法の適用 第２章 データアーキテクチャと基盤技術 4
5. 2.1 エンタープライズアーキテクチャとDA 第２章 データアーキテクチャと基盤技術 全体最適を図る4層構造 ビジネスアーキテクチャはビジネスプロセスを定義します データアーキテクチャは組織のデータ構造と管理ルールを設計します アプリケーションアーキテクチャは業務アプリケーションの構成を決定します テクノロジーアーキテクチャはハードウェアやネットワークを決定します 💡 ポイント解説 データアーキテクチャはDAとも呼ばれ、ビジネス要件を具体的なシステムや技術実装に繋げる重要な橋渡し の役割を持っています。 5
6. Q1 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 エンタープライズアーキテクチャの4つの階層において、組織全体のデータ構造やデータモデル、データ管理 ルールを定義し、全体最適化されたデータ基盤の設計図となる階層はどれか。 ア. ビジネスアーキテクチャ イ. データアーキテクチャ ウ. アプリケーションアーキテクチャ エ. テクノロジーアーキテクチャ 6
7. Q1 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 組織のデータ構造やルールを整理・設計するのはデータアーキテクチャです。 ・アはビジネスプロセスや業務要件を定義する階層です。 ・ウは業務アプリケーションの構成や機能を定義する階層です。 ・エはサーバー、ネットワーク、データベース製品などの物理的インフラを定義する階層です。 7
8. 2.2 データ基盤アーキテクチャの全体像 第２章 データアーキテクチャと基盤技術 データの流れを段階的に整理する データソースから収集し、加工、蓄積を経て、最終的な利活用に至る設計 データの品質や加工度合いに応じて3段階で整理するメダリオンアーキテクチャ Bronze: データソースから取得した未加工の生データ Silver: 重複排除やクレンジングを行った中間データ Gold: 集計や要約を行いビジネスでの利用に最適化したデータ 💡 ポイント解説 生データから利活用データまでを、品質基準を明確にしながら段階的にクレンジングしていく設計パターンを メダリオンアーキテクチャと呼びます。 8
9. Q2 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 メダリオンアーキテクチャにおいて、データソースから取得したままの未加工の生データを蓄積し、履歴保持 などを目的とする最初のストレージ層はどれか。 ア. Bronze イ. Silver ウ. Gold エ. Platinum 9
10. Q2 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 ア 【解説】 メダリオンアーキテクチャでは、生データが蓄積される最初の層をBronzeと呼びます。 ・「イ（Silver）」は重複排除やクレンジングが行われた中間データ層です。 ・「ウ（Gold）」はビジネス要件に合わせて集計・要約された最終利用用の層です。 ・「エ」はメダリオンアーキテクチャに存在しない階層です。 10
11. 2.3 データベース技術の特徴と使い分け 第２章 データアーキテクチャと基盤技術 データ特性に応じた選択 リレーショナルデータベース: 表形式で厳密な整合性を保ち、集計処理に強み NoSQL: 大量データの高速な読み書きや非構造化データの扱いに特化 ベクトルデータベース: 生成AIで用いられる多次元ベクトルの高速検索を実現 グラフデータベース: 人物同士のつながりなど複雑な関係性の分析に特化 💡 ポイント解説 すべての用途に対応できる万能のデータベースは存在いません。データの構造やユースケースに合わせて、最 適な技術を選択することが重要です。 11
12. Q3 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 SNS上のユーザー同士のつながりや、商品と購入者の複雑な関係性など、データ同士の相関やリンク構造を 高速に解析・追跡することに特化したデータベース技術はどれか。 ア. リレーショナルデータベース イ. NoSQLデータベース ウ. ベクトルデータベース エ. グラフデータベース 12
13. Q3 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 エ 【解説】 つながりや相関関係をノード（点）とエッジ（線）で表現して格納・検索する技術はグラフデータベースで す。 ・アは関係データベースで、2次元の表形式を扱い、表同士の結合にコストがかかります。 ・イはキーバリューやドキュメントなどの柔軟な格納形式を持ち、大量データの高速処理に向きます。 ・ウは多次元の数値ベクトルをインデックス化し、類似度で類似項目を検索するAI向けのデータベースです。 13
14. 2.4 データウェアハウスとデータレイク 前編 第２章 データアーキテクチャと基盤技術 分析に適したストレージの構成 OLTP: 業務システムでの高速なデータ追加や更新に焦点を当てる方式 OLAP: 大量データの複雑な集計や分析処理に焦点を当てる方式 14
15. 2.4 データウェアハウスとデータレイク 後編 第２章 データアーキテクチャと基盤技術 データウェアハウス: 構造化されたデータを分析用に整理して統合するデータベース データレイク: 画像や文章などあらゆる形式のデータを生データのまま格納する場 所 データレイクハウス: 両者の長所を融合し、データレイク上でデータウェアハウスの 機能を実現する技術 💡 ポイント解説 あらかじめ構造を整えて蓄積するデータウェアハウスと、自由な形式でまず格納するデータレイクの用途と性 質の違いを明確に区別しておきましょう。 15
16. Q4 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 データ基盤設計において、あらゆる形式のデータを加工せずに生の状態で格納するストレージ層と、構造化デ ータを分析用にクレンジングして統合するストレージ層の両者の強みを融合した技術概念はどれか。 ア. データベース管理システム イ. データレイクハウス ウ. メダリオンアーキテクチャ エ. エンタープライズアーキテクチャ 16
17. Q4 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 データレイクの柔軟性とデータウェアハウスの信頼性や分析機能を組み合わせた技術概念をデータレイクハウ スと呼びます。 ・アは一般的なデータベース運用の仕組みです。 ・ウはデータをブロンズ、シルバー、ゴールドと段階的に加工する設計パターンです。 ・エは組織全体の最適化を目指す設計思想です。 17
18. 2.5 データパイプラインの設計と構築 第２章 データアーキテクチャと基盤技術 データの自動転送と加工 ETL: データを抽出し、中間サーバーで変換した後に格納先へロードする手法 ELT: データを抽出してロードした後に、クラウド側の処理能力で変換する手法 CDC: データベースの更新差分だけを効率的に検知して転送する変更データキャプ チャ技術 クラウドの台頭により、処理能力と柔軟性に優れたELTが主流となっています 💡 ポイント解説 ETLとELTでは、変換処理を行う場所とタイミングが異なります。クラウドを活用してロード後に分散処理を 行うのがELTの特徴です。 18
19. Q5 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 データパイプラインの設計において、抽出したデータを加工せずにまず格納用のストレージへ書き込み、その 後に格納先データベースの分散処理能力を活用してデータの変換処理を行う手法はどれか。 ア. ETL イ. ELT ウ. CDC エ. ラムダアーキテクチャ 19
20. Q5 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 データをロードした後に変換処理を行う手法はELTです。クラウド側の高い処理能力を活用できる利点があり ます。 ・アはロードする前に変換処理を行う伝統的な手法です。 ・ウはデータ更新差分を検知する技術です。 ・エはバッチとリアルタイムを組み合わせて処理するシステム設計です。 20
21. 2.6 クラウドにおけるデータ基盤設計 第２章 データアーキテクチャと基盤技術 クラウドネイティブな設計思想 コンピュートとストレージの分離: 処理能力と保存容量を個別に拡張する設計 サーバーレスの活用: インフラ運用を自動化し、使った分だけ課金される仕組み セキュリティ設計: 暗号化、ネットワーク分離、最小権限アクセスの徹底 クラウドの動的スケールにより、費用と処理性能を最適化します 💡 ポイント解説 クラウド上では、データ処理を行う実行環境とデータを保管する記憶装置を切り離し、必要な時だけ処理能力 を割り当てる設計が基本となります。 21
22. Q6 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 クラウドを活用したモダンデータ基盤の設計において、処理要求の急増やアクセス減少に対して、コストパフ ォーマンスを最大化させるためにコンピュート（処理能力）とストレージ（保存容量）を個別に拡張・管理す る設計思想はどれか。 ア. クリーンアーキテクチャ イ. コンピュートとストレージの分離 ウ. 密結合アーキテクチャ エ. カッパアーキテクチャ 22
23. Q6 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 クラウドのメリットを活かし、データ格納量とクエリ処理能力の拡張を別々にコントロールする設計はコンピ ュートとストレージの分離です。 ・アはソフトウェア設計におけるモジュール分離手法です。 ・ウは両者が緊密に統合された従来型インフラの方式で、一方の拡張時にもう一方も引きずられてコストが増 加します。 ・エはすべてをストリーム処理で処理するリアルタイム指向のアーキテクチャです。 23
24. 2.7 リアルタイム処理とバッチ処理 第２章 データアーキテクチャと基盤技術 要求されるデータの鮮度による使い分け バッチ処理: 大量データを定期的に一括で処理する手法で、夜間の集計等に適する リアルタイム処理: 即時（ストリーム処理）または極小単位（マイクロバッチ）で即 座に処理する手法 ラムダアーキテクチャ: バッチ層とリアルタイム層を並列で動かし、結果を合成する 設計 カッパアーキテクチャ: すべてのデータをストリーム処理として一元的に扱う設計 💡 ポイント解説 データの更新頻度やビジネスにおけるリアルタイム性の要求度合いに応じて、バッチ処理とリアルタイム処理 のシステム境界を設計します。 24
25. Q7 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 データ処理システムにおいて、大量データを一括処理して高い一貫性を保証する「バッチ層」と、最新のデー タを遅延なく処理する「スピード層」の2系統を並列で動かし、最後に双方のクエリ出力をマージして表示す るシステム構成パターンはどれか。 ア. メダリオンアーキテクチャ イ. ラムダアーキテクチャ ウ. カッパアーキテクチャ エ. サーバーレスアーキテクチャ 25
26. Q7 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 バッチ層とリアルタイム層を並列で構築・実行するモデルはラムダアーキテクチャです。 ・アはデータ加工度合いを3段階に分けてクレンジングする設計パターンです。 ・ウはバッチ層を廃止し、すべてを単一のストリーム処理システムに統一した設計です。 ・エはインフラ管理を不要にし自動スケールさせる実行環境モデルです。 26
27. 2.8 データ連携を支えるネットワーク基礎 第２章 データアーキテクチャと基盤技術 通信の品質と安全性の確保 スループット: 単位時間あたりに転送できるデータ量を示す性能指標 レイテンシ: データの要求から応答までに発生する通信の遅延時間 専用線・閉域網: 外部インターネットを通さない安全な連携経路を構築 💡 ポイント解説 データ利活用では、転送容量であるスループットと、反応速度であるレイテンシの両面からネットワーク性能 を見積もる必要があります。 27
28. Q8 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 異なるシステム間でデータ共有を行うデータ連携パイプラインにおいて、データの送信要求を発行してから、 受信側から最初の応答が返ってくるまでに要する通信の遅延時間を表す指標はどれか。 ア. スループット イ. レイテンシ ウ. 帯域幅 エ. パケットロス率 28
29. Q8 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 ネットワーク通信での応答の遅延時間をレイテンシと呼びます。 ・アは単位時間あたりに実際に送受信できるデータ転送量（処理量）を指します。 ・ウは通信回線が理論上流すことのできる最大幅（容量）です。 ・エは送信中に失われてしまったデータの割合を示します。 29
30. 2.9 先進的データアーキテクチャ 前編 第２章 データアーキテクチャと基盤技術 中央集権から自律分散への進化 データメッシュ: 部門ごとにデータ管理を分散し、各部門がデータ製品に責任を持 つ設計 データコントラクト: データの提供元と利用元の間で仕様や品質の合意を定義する 仕組み セマンティックレイヤー: 複雑なデータ構造を抽象化し、ビジネス用語で扱えるよ うにする層 30
31. 2.9 先進的データアーキテクチャ 後編 第２章 データアーキテクチャと基盤技術 データクリーンルーム: 個人情報や機密データを保護しながら企業間で安全にデー タを統合分析する環境 DataOps: パイプライン開発と運用の自動化により品質と速度を高める手法 💡 ポイント解説 データメッシュは、巨大なデータレイクに責任を集中させず、ドメインごとに分散統治する設計思想です。 31
32. Q9 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 組織におけるデータ管理の肥大化・ボトルネックを解消するため、データのオーナーシップを全社統合のIT部 門に集中させるのではなく、データを生成する各ビジネス部門（ドメイン）に分散させ、データそのものを 「製品」として管理・提供する設計思想はどれか。 ア. データクリーンルーム イ. データレイクハウス ウ. データメッシュ エ. DataOps 32
33. Q9 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 ウ 【解説】 ドメイン（部門）ごとに分散統治し、データを製品（データプロダクト）として扱う思想はデータメッシュで す。 ・アはプライバシーを保護しつつ企業間で安全にデータを持ち寄って分析する環境です。 ・イはデータレイクとデータウェアハウスを統合した技術ストレージの設計です。 ・エはデータの開発から運用における品質・速度向上を目指すアジャイル型の開発運用プロセスです。 33
34. 2.10 生成AIのデータ基盤 前編 第２章 データアーキテクチャと基盤技術 言語モデルの基本概念と処理単位 大規模言語モデルとトランスフォーマー: 深層学習を用いた自然言語処理モデルの 基本構造 トークンとコンテキストウィンドウ: 処理の最小単位と、一度に入力できる最大文 字数 アテンション機構: 文脈の中で重要な言葉の関連性に自動で重み付けを行う中核技 術 34
35. 2.10 生成AIのデータ基盤 中編 第２章 データアーキテクチャと基盤技術 データの意味的な表現と検索手法 埋め込みと分散表現: 言葉や文章の意味を多次元の数値リスト（ベクトル）に変換 する処理 ベクトル検索とハイブリッド検索: 意味の類似性で探す技術と、キーワード検索の 組み合わせ 💡 ポイント解説 生成AIが文脈や意味を理解して高度な処理を行うためには、データを数値ベクトル化する「埋め込み」と「ア テンション機構」が技術的な中核となります。 35
36. 2.10 生成AIのデータ基盤 後編 第２章 データアーキテクチャと基盤技術 データ連携のアーキテクチャ RAGとGraphRAG: 外部情報検索で精度を高めるRAGと、知識グラフで深く探索 するGraphRAG LLMゲートウェイとオーケストレーション層: モデル呼び出しや外部システム連携 を制御する層 💡 ポイント解説 社内データに基づく正しい回答を得るためには、ベクトルデータベースと外部検索を連携させたRAGの設計が データ基盤として極めて重要になります。 36
37. Q10 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 社内文書などの外部データをもとに生成AIが回答できるようにする設計手法において、言葉や文章の意味を多 次元の数値リストに変換する処理と、それらを高速に検索するデータベースの組み合わせはどれか。 ア. マイクロバッチとNoSQL イ. 埋め込みとベクトルデータベース ウ. 依存関係の逆転とRDB エ. データの仮想化とグラフデータベース 37
38. Q10 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 意味を多次元の数値に変換する処理を埋め込みと呼び、それを格納・検索するデータベースをベクトルデータ ベースと呼びます。 ・アはリアルタイム処理の単位と非リレーショナルなデータベースです。 ・ウはソフトウェアの依存関係制御と関係データベースの組み合わせです。 ・エはデータ統合技術とネットワーク関係のデータベースです。 38
39. 2.11 ソフトウェア設計手法 前編 第２章 データアーキテクチャと基盤技術 堅牢なデータ基盤を築くためのアプローチ ドメイン駆動設計の適用: 業務の領域ごとにシステムを分離するコンテキスト境界の設計概念 データモデルがドメインごとに分離され、責任範囲が明確になります 39
40. 2.11 ソフトウェア設計手法 後編 第２章 データアーキテクチャと基盤技術 クリーンアーキテクチャの適用: データ処理ロジックとデータベース等の外部システムへの依存関係を分離 技術的な変更に対してパイプラインが壊れにくい構造を維持します 💡 ポイント解説 データ活用システムも大規模なソフトウェアです。設計手法を適用することで、変更に強く保守性の高いパイ プラインを構築できます。 40
41. Q11 確認問題 第２章 データアーキテクチャと基盤技術 【問題】 大規模なデータ基盤システムの設計において、業務領域ごとにモデルの責任範囲を分割し、用語や概念の不一 致を防ぐための「境界づけられたコンテキスト」を定義するアプローチはどれか。 ア. クリーンアーキテクチャ イ. ドメイン駆動設計 ウ. ラムダアーキテクチャ エ. セマンティックレイヤー 41
42. Q11 解答と解説 第２章 データアーキテクチャと基盤技術 【正解】 イ 【解説】 業務の関心領域ごとにシステムとデータモデルを分離し、モデルの境界（境界づけられたコンテキスト）を明 確にするアプローチはドメイン駆動設計です。 ・アはシステムのレイヤー間の依存関係を制御し、変化に強くするソフトウェア設計アプローチです。 ・ウはバッチ処理とストリーム処理を並列処理するデータ基盤のアーキテクチャです。 ・エはユーザーがデータベースの物理列を意識せずビジネス用語で扱えるように抽象化するデータ構造の層で す。 42
43. 総括 第2章のまとめ 第２章 データアーキテクチャと基盤技術 データアーキテクチャ設計: ビジネス要件をシステムに落とし込むデータ設計の全 体像を策定。 基盤技術と処理モデル: レイクハウスやクラウドでの処理と保管の分離、バッチや リアルタイムの使い分け。 生成AIのデータ基盤: 埋め込みやベクトルデータベース、RAGによる高精度なAI活 用。 先進技術と設計手法: 安全なデータクリーンルームや、保守性を高めるドメイン駆動 設計の適用。 43