Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DevelopersIO2023「Amazon DataZoneを触ってみた」
Search
suto
July 25, 2023
Technology
0
990
DevelopersIO2023「Amazon DataZoneを触ってみた」
Developers.IO 2023で発表した資料です
suto
July 25, 2023
Tweet
Share
More Decks by suto
See All by suto
re:Growth2022「Analytics系アップデートまとめ」
sutotakeshi
0
610
OSSデータカタログツール「DataHub」を触ってみた
sutotakeshi
0
4.3k
Glue DataBrewでデータを クリーニング、加工してみよう
sutotakeshi
0
690
Other Decks in Technology
See All in Technology
非同期推論システムによるコスト削減と信頼性向上
koki_nishihara
1
360
Azure犬駆動開発の記録/GlobalAzureFukuoka2024_20240420
nina01
1
240
web-application-security
matsuihidetoshi
1
190
Além do else! Categorizando Pokemóns com Pattern Matching no JavaScript
wmsbill
0
700
DMM.com アルファ室採用案内資料
hsugita
1
220
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
450
One engineer company with Ruby on Rails
rstankov
2
420
Grafana x PagerDuty Better Together
jacopen
1
250
Building Dashboards as a Hobby
egmc
0
360
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
2.2k
ルーターでプレゼンする
puhitaku
1
3.2k
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
Featured
See All Featured
Web development in the modern age
philhawksworth
203
10k
Gamification - CAS2011
davidbonilla
77
4.6k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Robots, Beer and Maslow
schacon
PRO
155
7.9k
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Creatively Recalculating Your Daily Design Routine
revolveconf
211
11k
Designing on Purpose - Digital PM Summit 2013
jponch
111
6.5k
Unsuck your backbone
ammeep
663
57k
Building Adaptive Systems
keathley
32
1.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
242
1.2M
Stop Working from a Prison Cell
hatefulcrawdad
267
19k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
501
140k
Transcript
Amazon DataZoneを触ってみた 2023/7/25 データアナリティクス事業本部 須藤健志
話すこと・話さないこと 2 話すこと ・Amazon DataZone(DataZone)の概要 ・DataZoneの持つ機能とその使い方 ・実際に触ってみたメリット 話さないこと ・DataZoneの具体的な操作手順 ・
DataZone以外のデータカタログツールや製品の概要
紹介内容について 2023/07/03時点の パブリックプレビュー段階の情報 を元に作成しています 3
自己紹介 4 須藤 健志 (suto takeshi) 所属 データアナリティクス事業本部 [データ分析基盤や機械学習基盤のコンサル・構築を担当] Blog
https://dev.classmethod.jp/author/suto-takeshi/ Twitter @metronom9145 好きなAWSサービス Glue DataBrew、CDK 2023 APN AWS Top Engineers (Analytics) , 2023 APN ALL AWS Certifications Engineers 選出
アジェンダ 5 1. DataZoneの概要 2. DataZoneが持つ機能と構造 3. DataZoneのアクセスポリシー 4. DataZoneのメリット
5. まとめ
Amazon DataZoneの概要 6 データのカタログ化、発見、共有、分析を可能にする データ管理サービス •あらゆるデータソースのメタデータ(データアセット)をカタログに登 録し、データを発見しやすくする •登録したデータを共有して組織間のデータ連携と分析を加速 • 上記を行う上でガバナンスを効かせながら運用と管理が可能
※プレビュー中は料金は発生しませんが、GA後は料金が発生します
DataZoneコンソール画面 7
DataZoneポータル画面 8
01 DataZoneが持つ機能と構造
Amazon DataZoneの構造 10
Amazon DataZoneの持つ機能 11 データカタログ •データパブリッシャーは自身の管理するデータアセットを登録することで、 カタログ画面で検索できる
Amazon DataZoneの持つ機能 12 データガバナンス •ドメインにおける各ロールを持つユーザーを設定 ・データ管理者:ドメイン全体の管理者 ・データスチュワード:プロジェクト管理者、データ共有操作の承認者 ・パブリッシャー:データアセットをカタログに登録 ・サブスクライバー:データアセットを検索、分析したいユーザー
Amazon DataZoneの持つ機能 13 データガバナンス •ドメインにおける各ロールを持つユーザーを設定
Amazon DataZoneの持つ機能 14 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限 ・Viewer:データアセットを閲覧できる読み取り専用ユーザー (IAMロール:datazone-usr-v-proj-〜) ・Contributer:データアセットの編集やパブリッシュ実行が可能 (IAMロール:datazone-usr-c-proj-〜) ・Owner:プロジェクトに関する操作全般が可能
( IAMロール:datazone-usr-o-proj-〜 )
Amazon DataZoneの持つ機能 15 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限
Amazon DataZoneの持つ機能 16 プロジェクトプロファイル •プロジェクト作成において必要なリソース構成のテンプレート ・データソースとして取り込むデータの種類(S3、Athena、Glue) ・データ暗号化に使用するKMSキー ・プロジェクトに紐づくS3バケット、Glueデータベース名、 Athenaワークグループなど
Amazon DataZoneの持つ機能 17 プロジェクトプロファイル
Amazon DataZoneの持つ機能 18 データの共有と分析 •パブリッシャーがパブリッシュジョブでデータアセット追加 •追加したデータアセットはサブスクライブできる •データアセットはプロジェクトメンバーのIAMロールが持つ権限でAthena 画面に移動して分析が可能
Amazon DataZoneの持つ機能 19 データの共有と分析
Amazon DataZoneの持つ機能 20 データの共有と分析 ※IAMロール作成後に追加したデータソースへの権限はポリシーに手動追加が必要
Amazon DataZoneの持つ機能 21 データアセットのパブリッシュの流れ •プロジェクト画面から「PUBRISHING JOB」を作成し実行 •ジョブ実行後、「PABRISHED DATA」一覧に追加される
Amazon DataZoneの持つ機能 22 データアセットのパブリッシュの流れ •「SET ASSET TO ACTIVE」を押してカタログ画面に表示される
Amazon DataZoneの持つ機能 23 データアセットのサブスクライブの流れ •データアセットを選択し、「SUBSCRIBE」でリクエストを作成
Amazon DataZoneの持つ機能 24 データアセットのサブスクライブの流れ •Contributorが「APPROVE」することで共有が許可される
Amazon DataZoneの持つ機能 25 設定するデータソースについて •基本的に「Glueカタログデータベース」からデータアセットを取り込む ・Glueテーブル:直接指定→取り込み ・S3(データレイク):S3→Glueカタログテーブル→取り込み ・Redshift:Glue接続経由→Glueカタログテーブル→取り込み ・Appflow:Appflowフロー→S3→Glueカタログテーブル→取り込み
Amazon DataZoneの持つ機能 26 メタデータフォームとビジネス用語 •メタデータフォーム:カスタム定義の属性を追加するのに利用 •ビジネス用語:メタデータ属性を定義するために使用されるビジネス辞書 ・スキーマ情報等の「テクニカルメタデータ」では表せない「ビジネスメ タデータ」を付与するのに使える ・ドメインのデータスチュワードが作成・編集を行う
Amazon DataZoneの持つ機能 27 ビジネス用語
Amazon DataZoneの持つ機能 28 メタデータフォーム
Amazon DataZoneの持つ機能 29 メタデータフォーム ※ドメインに紐づけると一括設定可能
01 DataZoneのアクセスポリシー
DataZone管理コンソールのためのポリシー 31 •コンソール画面にアクセス、操作する →“AmazonDataZonePreviewConsoleFullAccess”があればよい •AWS IAM Identity Centerを使用してSSOを有効にするために必要な許可 •DataZone がユーザーに代わって
AWS マネジメント コンソールで必要な ロールを作成できるようにするために必要なアクセス許可 →カスタムポリシーの内容がドキュメントに記載 https://docs.aws.amazon.com/ja_jp/datazone/latest/userguide/create-iam-roles.html
DataZoneポータル画面へのサインアップ 32 •AWS IAM Identity Centerのユーザー情報を使う •IAMユーザー/IAMロールを使う
01 DataZoneのメリット
DataZoneのメリット 34 •AWSマネージドサービスなのでインフラ面を考えなくて良い •データアセット取り込みにおいてデータソースとの通信経路を考えなくて 良い •ドメイン、プロジェクトの階層構造に伴うパーミッション・ガバナンス機 能が充実している
DataZoneまとめ 35 •チームで蓄積したデータアセットからデータ検索と共有を円滑にして分析業務を 加速 ・カタログ画面の検索機能が充実 ・プロジェクト画面からAthenaへ遷移して分析が可能 ・ビジネス用語などのカスタムメタデータの追加も可能 •組織間を超えたデータ情報の連携においてアクセス権限、共有リクエストの承認 フローなどのデータガバナンスと両立している ・ドメイン単位・プロジェクト単位のユーザーアクセス権限管理が可能
・データアセットのパブリッシュ・サブスクライブのための承認フローがシンプル
None