DevelopersIO2023「Amazon DataZoneを触ってみた」

by suto

Slide 1

Slide 1 text

Amazon DataZoneを触ってみた 2023/7/25 データアナリティクス事業本部須藤健志

Slide 2

Slide 2 text

話すこと・話さないこと 2 話すこと・Amazon DataZone（DataZone）の概要・DataZoneの持つ機能とその使い方・実際に触ってみたメリット話さないこと・DataZoneの具体的な操作手順・ DataZone以外のデータカタログツールや製品の概要

Slide 3

Slide 3 text

紹介内容について 2023/07/03時点のパブリックプレビュー段階の情報を元に作成しています 3

Slide 4

Slide 4 text

自己紹介 4 須藤健志 (suto takeshi) 所属データアナリティクス事業本部 [データ分析基盤や機械学習基盤のコンサル・構築を担当] Blog https://dev.classmethod.jp/author/suto-takeshi/ Twitter ＠metronom9145 好きなAWSサービス Glue DataBrew、CDK 2023 APN AWS Top Engineers (Analytics) , 2023 APN ALL AWS Certifications Engineers 選出

Slide 5

Slide 5 text

アジェンダ 5 1. DataZoneの概要 2. DataZoneが持つ機能と構造 3. DataZoneのアクセスポリシー 4. DataZoneのメリット 5. まとめ

Slide 6

Slide 6 text

Amazon DataZoneの概要 6 データのカタログ化、発見、共有、分析を可能にするデータ管理サービス •あらゆるデータソースのメタデータ（データアセット）をカタログに登録し、データを発見しやすくする •登録したデータを共有して組織間のデータ連携と分析を加速 • 上記を行う上でガバナンスを効かせながら運用と管理が可能 ※プレビュー中は料金は発生しませんが、GA後は料金が発生します

Slide 7

Slide 7 text

DataZoneコンソール画面 7

Slide 8

Slide 8 text

DataZoneポータル画面 8

Slide 9

Slide 9 text

01 DataZoneが持つ機能と構造

Slide 10

Slide 10 text

Amazon DataZoneの構造 10

Slide 11

Slide 11 text

Amazon DataZoneの持つ機能 11 データカタログ •データパブリッシャーは自身の管理するデータアセットを登録することで、カタログ画面で検索できる

Slide 12

Slide 12 text

Amazon DataZoneの持つ機能 12 データガバナンス •ドメインにおける各ロールを持つユーザーを設定・データ管理者：ドメイン全体の管理者・データスチュワード：プロジェクト管理者、データ共有操作の承認者・パブリッシャー：データアセットをカタログに登録・サブスクライバー：データアセットを検索、分析したいユーザー

Slide 13

Slide 13 text

Amazon DataZoneの持つ機能 13 データガバナンス •ドメインにおける各ロールを持つユーザーを設定

Slide 14

Slide 14 text

Amazon DataZoneの持つ機能 14 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限・Viewer：データアセットを閲覧できる読み取り専用ユーザー（IAMロール：datazone-usr-v-proj-〜）・Contributer：データアセットの編集やパブリッシュ実行が可能（IAMロール：datazone-usr-c-proj-〜）・Owner：プロジェクトに関する操作全般が可能（ IAMロール：datazone-usr-o-proj-〜）

Slide 15

Slide 15 text

Amazon DataZoneの持つ機能 15 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限

Slide 16

Slide 16 text

Amazon DataZoneの持つ機能 16 プロジェクトプロファイル •プロジェクト作成において必要なリソース構成のテンプレート・データソースとして取り込むデータの種類（S3、Athena、Glue）・データ暗号化に使用するKMSキー・プロジェクトに紐づくS3バケット、Glueデータベース名、 Athenaワークグループなど

Slide 17

Slide 17 text

Amazon DataZoneの持つ機能 17 プロジェクトプロファイル

Slide 18

Slide 18 text

Amazon DataZoneの持つ機能 18 データの共有と分析 •パブリッシャーがパブリッシュジョブでデータアセット追加 •追加したデータアセットはサブスクライブできる •データアセットはプロジェクトメンバーのIAMロールが持つ権限でAthena 画面に移動して分析が可能

Slide 19

Slide 19 text

Amazon DataZoneの持つ機能 19 データの共有と分析

Slide 20

Slide 20 text

Amazon DataZoneの持つ機能 20 データの共有と分析 ※IAMロール作成後に追加したデータソースへの権限はポリシーに手動追加が必要

Slide 21

Slide 21 text

Amazon DataZoneの持つ機能 21 データアセットのパブリッシュの流れ •プロジェクト画面から「PUBRISHING JOB」を作成し実行 •ジョブ実行後、「PABRISHED DATA」一覧に追加される

Slide 22

Slide 22 text

Amazon DataZoneの持つ機能 22 データアセットのパブリッシュの流れ •「SET ASSET TO ACTIVE」を押してカタログ画面に表示される

Slide 23

Slide 23 text

Amazon DataZoneの持つ機能 23 データアセットのサブスクライブの流れ •データアセットを選択し、「SUBSCRIBE」でリクエストを作成

Slide 24

Slide 24 text

Amazon DataZoneの持つ機能 24 データアセットのサブスクライブの流れ •Contributorが「APPROVE」することで共有が許可される

Slide 25

Slide 25 text

Amazon DataZoneの持つ機能 25 設定するデータソースについて •基本的に「Glueカタログデータベース」からデータアセットを取り込む・Glueテーブル：直接指定→取り込み・S3（データレイク）：S3→Glueカタログテーブル→取り込み・Redshift：Glue接続経由→Glueカタログテーブル→取り込み・Appflow：Appflowフロー→S3→Glueカタログテーブル→取り込み

Slide 26

Slide 26 text

Amazon DataZoneの持つ機能 26 メタデータフォームとビジネス用語 •メタデータフォーム：カスタム定義の属性を追加するのに利用 •ビジネス用語：メタデータ属性を定義するために使用されるビジネス辞書・スキーマ情報等の「テクニカルメタデータ」では表せない「ビジネスメタデータ」を付与するのに使える・ドメインのデータスチュワードが作成・編集を行う

Slide 27

Slide 27 text

Amazon DataZoneの持つ機能 27 ビジネス用語

Slide 28

Slide 28 text

Amazon DataZoneの持つ機能 28 メタデータフォーム

Slide 29

Slide 29 text

Amazon DataZoneの持つ機能 29 メタデータフォーム ※ドメインに紐づけると一括設定可能

Slide 30

Slide 30 text

01 DataZoneのアクセスポリシー

Slide 31

Slide 31 text

DataZone管理コンソールのためのポリシー 31 •コンソール画面にアクセス、操作する →“AmazonDataZonePreviewConsoleFullAccess”があればよい •AWS IAM Identity Centerを使用してSSOを有効にするために必要な許可 •DataZone がユーザーに代わって AWS マネジメントコンソールで必要なロールを作成できるようにするために必要なアクセス許可 →カスタムポリシーの内容がドキュメントに記載 https://docs.aws.amazon.com/ja_jp/datazone/latest/userguide/create-iam-roles.html

Slide 32

Slide 32 text

DataZoneポータル画面へのサインアップ 32 •AWS IAM Identity Centerのユーザー情報を使う •IAMユーザー／IAMロールを使う

Slide 33

Slide 33 text

01 DataZoneのメリット

Slide 34

Slide 34 text

DataZoneのメリット 34 •AWSマネージドサービスなのでインフラ面を考えなくて良い •データアセット取り込みにおいてデータソースとの通信経路を考えなくて良い •ドメイン、プロジェクトの階層構造に伴うパーミッション・ガバナンス機能が充実している

Slide 35

Slide 35 text

DataZoneまとめ 35 •チームで蓄積したデータアセットからデータ検索と共有を円滑にして分析業務を加速・カタログ画面の検索機能が充実・プロジェクト画面からAthenaへ遷移して分析が可能・ビジネス用語などのカスタムメタデータの追加も可能 •組織間を超えたデータ情報の連携においてアクセス権限、共有リクエストの承認フローなどのデータガバナンスと両立している・ドメイン単位・プロジェクト単位のユーザーアクセス権限管理が可能・データアセットのパブリッシュ・サブスクライブのための承認フローがシンプル

Slide 36

Slide 36 text

No content