AWSで推進するデータマネジメント

by かわなご

Slide 1

Slide 1 text

AWSで推進するデータマネジメント川中⼦凌平データ事業本部ビジネスソリューション部

Slide 2

Slide 2 text

⾃⼰紹介 2 名前：川中⼦凌平 (かわなごりょうへい) 所属：データ事業本部ビジネスソリューション部データマネジメント推進グループ所在：栃⽊→東京→神奈川→北海道→東京→兵庫業務：データ分析基盤構築 https://dev.classmethod.jp/author/kawanago-ryohei/

Slide 3

Slide 3 text

今⽇話すこと本セッションについて 3 ● データマネジメントとは何かについて簡単に説明 ● AWSにおけるデータマネジメント活動を⽀えるサービスについて ● アーキテクチャを実現するサービス活⽤例の紹介こんな⼈向け ● データマネジメントに関⼼を持っている⽅ ● データ基盤の構築や管理に関わっている⽅

Slide 4

Slide 4 text

データマネジメントとは

Slide 5

Slide 5 text

データマネジメントとは 5 データマネジメントとは、企業や組織が持つ様々なデータを価値ある資産として適切に管理‧活⽤するための取り組みです。 ● 品質の担保：正確性‧完全性‧⼀貫性の確保 ● セキュリティ：適切なアクセス制御と監査 ● 可⽤性：必要な時はすぐにデータにアクセス可能 ● ガバナンス：組織全体での統⼀的な管理簡潔に⾔うと⾼品質なデータを誰もが、いつでも、安全に使える状態を保つ活動

Slide 6

Slide 6 text

データマネジメント活動のノウハウが体系的にまとめられたDMBOKが有名。国際⾮営利団体 DAMA Internationalによって定義されている。 DMBOKによるとデータマネジメントは、 11の知識領域で説明されている。データマネジメントとは 6 https://www.dama-japan.org/DMBOK2ImageDownLoad.html

Slide 7

Slide 7 text

データマネジメント活動のノウハウが体系的にまとめられたDMBOKが有名。国際⾮営利団体 DAMA Internationalによって定義されている。 DMBOKによるとデータマネジメントは、 11の知識領域で説明されている。データマネジメントとは 7 https://www.dama-japan.org/DMBOK2ImageDownLoad.html

Slide 8

Slide 8 text

なぜデータマネジメントが必要なのか 8 企業が陥りがちなデータ管理の問題「データのサイロ化」部⾨ごとに異なるデータ管理場所が存在してしまい、 ● 異なる情報が同名のカラムで管理されていて整合性が取れない ● データの在処は担当者のみが把握している ● アクセス権限の管理状況が把握できない https://logmi.jp/main/technology/324242 このようなデータ管理の課題に対して、 AWSは様々なサービスを展開している

Slide 9

Slide 9 text

データマネジメントとAWS

Slide 10

Slide 10 text

Lakehouseアーキテクチャ 10 ● データの集約 ● サービスの相互運⽤性 ● 統⼀されたアクセス管理 https://docs.aws.amazon.com/whitepapers/latest/best-practices-building-data-lake-for-games/lake-h ouse-architecture.html サイロ化の解決

Slide 11

Slide 11 text

Lakehouseを⽀えるカタログサービス 11 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_Amazon-DataZone-Overview_1231_v1.pdf アクセス権限管理 https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2023_AWS-Lake-Formation_1010_v1.pdf データカタログサービス

Slide 12

Slide 12 text

Amazon LakeFormation 12 とは？：データアクセスを⼀元管理するサービス https://aws.amazon.com/jp/lake-formation/ 様々なデータソースを集約アクセスできるデータを⾏や列単位でコントロールデータセキュリティ

Slide 13

Slide 13 text

Amazon DataZone 13 とは？：組織内のデータをカタログとして公開するデータ管理サービス組織で管理しているカタログに対して任意のデータを公開することで、特定のユーザーが⾃由にデータを検索し、利⽤申請をすることができる。 https://aws.amazon.com/jp/blogs/news/visualize-massive-amounts-of-internal-data-using-amazon-datazone/

Slide 14

Slide 14 text

Amazon DataZone 14

Slide 15

Slide 15 text

Amazon DataZone 15 Aテーブルを公開 Aテーブル使いたい承認！分析！データガバナンス

Slide 16

Slide 16 text

Amazon DataZone 16 https://dev.classmethod.jp/articles/20240410-amazon-datazone-ai-recommendations/ AIリコメンデーション機能により、ビジネスメタデータの登録を効率化できる。⽣成されたメタデータを編集して登録することも可能。メタデータ管理

Slide 17

Slide 17 text

17 https://aws.amazon.com/jp/sagemaker/ 次世代 Amazon SageMakerの登場分析やガバナンス向けサービスを包括したサービスが公開された。

Slide 18

Slide 18 text

18 https://aws.amazon.com/jp/sagemaker/

Slide 19

Slide 19 text

19 https://aws.amazon.com/jp/sagemaker/ 分析やAI開発ツールが統合カタログ検索もサポート様々なデータを集約

Slide 20

Slide 20 text

全体を統制 Lakehouseアーキテクチャ 20 https://docs.aws.amazon.com/whitepapers/latest/best-practices-building-data-lake-for-games/lake-h ouse-architecture.html データをどう貯めるか

Slide 21

Slide 21 text

レイクハウスアーキテクチャを実現するサービスの活⽤例〜構造データ〜

Slide 22

Slide 22 text

Apache Iceberg 22 とは？：データレイクで運⽤可能なオープンテーブルフォーマットデータレイクにある構造データを、柔軟なテーブル形式として利⽤できる。 ● スキーマエボリューション：後⽅互換性を保ちながらスキーマ変更可能 ● ACID トランザクション：複数の同時書き込みでもデータ整合性を保証 ● タイムトラベル機能：任意の時点のデータスナップショットを参照可能 ● パーティション進化：再書き込みなしでパーティション⽅式を変更可能オープンフォーマットによりベンダーロックインを回避でき、データの統合と相互運⽤性を向上させる。相互運⽤性

Slide 23

Slide 23 text

Apache Iceberg 23 しかしIcebergではファイルの管理が必要になる ● 定期的なファイル圧縮や不要データ削除コマンドの実⾏ ● ⽣成されるメタデータファイルへのアクセス管理適切に管理ができないとクエリパフォーマンスが悪化し、コストも増加するこれらを⾃動化してくれるのが...

Slide 24

Slide 24 text

Amazon S3 Tables 24 とは？：Apache Iceberg テーブル形式のマネージドサービス Iceberg テーブルに紐づくメタデータファイルの管理を⾃動化してくれる。従来のIcebergテーブルの管理が⾃動化されることで、ユーザーはテーブル内データの運⽤に集中できる。 ● クエリ性能最適化：コンパクション(ファイル最適化)を⾃動実⾏ ● ストレージ最適化：スナップショットを定期的にクリーンアップ ● アクセス管理の簡素化：エンティティ(実体ファイル)をAWS側で管理

Slide 25

Slide 25 text

AWS Glue Data Quality 25 とは？：データの品質をルールに基づいて⾃動で検証するサービスデータの品質を検査することで、ユーザーが安⼼して分析に利⽤できる。 ● データ品質スコアの算出 ● ETLパイプラインへの統合 ● CloudWatchとの連携 ● カスタムルールの定義データ品質

Slide 26

Slide 26 text

AWS Glue Data Quality 26 Icebergのブランチ機能とDataQualityによるデータ検証を組み合わせ、品質が確認されたデータのみをユーザーに公開するフローも紹介されている。 https://aws.amazon.com/jp/blogs/big-data/build-write-au dit-publish-pattern-with-apache-iceberg-branching-and-aw s-glue-data-quality/

Slide 27

Slide 27 text

レイクハウスアーキテクチャを実現するサービスの活⽤例〜⾮構造データ〜

Slide 28

Slide 28 text

Amazon S3 Vectors (プレビュー) 28 とは？：⼤規模なベクトル検索システムを低コストで実現するサービス OpenSearch Serverless S3 Vectors コスト処理量＋ストレージ非常に低コスト検索方法ハイブリッド検索ベクトル検索のみレイテンシ非常に小さい (10ｍs) 小さい(1秒) ⾮構造データのベクトル検索に必要なベクトルを保存するストレージ。従来のベクトルデータベースに⽐べて⼤幅なコスト削減(最⼤90%)が⾒込める。より⼿軽に、⾮構造データを活⽤できる環境を構築できる。⾮構造データ活⽤

Slide 29

Slide 29 text

Amazon S3 Vectors (プレビュー) 29 https://aws.amazon.com/jp/blogs/news/introducing-amazon-s3-vectors-ﬁrst-cloud-storage-with-native-vector-support-at-scale/ ● Knowledge Base連携 ● OpenSearch Service連携 ● APIによる直接検索

Slide 30

Slide 30 text

Amazon S3 Vectors (プレビュー) 30 https://dev.classmethod.jp/articles/amazon-s3-vectors-serverless-vector-database-jawsugsaga-jawsug/ APIによる検索は⾮常に簡単

Slide 31

Slide 31 text

Amazon S3 Metadata 31 とは？：S3オブジェクトのメタデータを⾃動でテーブル化するサービス⾮構造データのメタデータをテーブルとして簡単に管理‧参照できる。メタデータ管理

Slide 32

Slide 32 text

Amazon S3 Metadata 32 ジャーナルテーブルライブインベントリテーブル作成必須オプションデータ変更履歴最新状態のみ反映ほぼリアルタイム 1時間以内 S3 Metadataは2つのテーブルで構成される。

Slide 33

Slide 33 text

Amazon S3 Metadata 33 最新のみ変更も記録

Slide 34

Slide 34 text

Amazon S3 Metadata 34 AWSのブログではQuickSightに連携して、コスト管理やデータ理解に利⽤する例が紹介されている。

Slide 35

Slide 35 text

⾼品質なデータを誰もが、いつでも、安全に使えるデータ基盤 35 品質管理アクセス管理カタログ提供⾮構造データ活⽤メタデータ管理

Slide 36

Slide 36 text

さいごに

Slide 37

Slide 37 text

● データを資産として活⽤するにはデータマネジメントが不可⽋ ● サイロ化の解決策としてレイクハウスアーキテクチャが推奨 ● 今後は次世代SageMakerがデータ利活⽤の中⼼になるかも ● データレイク上でテーブル管理や品質検証も可能 ● ⾮構造データの管理や活⽤に向けたサービスも展開されている 37 今⽇のまとめ適切にサービスを選定して組織のデータを守りましょう。本資料が少しでもデータマネジメント推進の参考になれば幸いです！