Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DevelopersIO2023「Amazon DataZoneを触ってみた」
Search
suto
July 25, 2023
Technology
0
1.3k
DevelopersIO2023「Amazon DataZoneを触ってみた」
Developers.IO 2023で発表した資料です
suto
July 25, 2023
Tweet
Share
More Decks by suto
See All by suto
re:Growth2022「Analytics系アップデートまとめ」
sutotakeshi
0
650
OSSデータカタログツール「DataHub」を触ってみた
sutotakeshi
0
4.9k
Glue DataBrewでデータを クリーニング、加工してみよう
sutotakeshi
0
810
Other Decks in Technology
See All in Technology
LeSSはスクラムではない!?LeSSにおけるスクラムマスターの振る舞い方とは / Scrum Master Behavior in LeSS
toma_sm
0
210
Qdrant を用いた検索改善施策の紹介 / Search Engineering Tech Talk 2024 Summer
visional_engineering_and_design
1
230
DenoでもViteしたい!インポートパスのエイリアスを指定してラクラクアプリ開発
bengo4com
2
2k
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
340
Azure App Service on Linux の Sidecar に Phi-3 を配置してインテリジェントなアプリケーションを作ってみよう/jazug-anniv14
thara0402
0
550
小さな勉強会の始め方、広げ方、あるいは友達の作り方 / How to Start, Grow, and Build Connections with Small Study Groups
ar_tama
6
3.1k
トークナイザー入門
payanotty
2
1k
【㈱アイモバイル】エンジニア向け会社説明資料
imobile
0
480
UE5の雑多なテク
ryuichikawano
0
450
Product Utilization of Large Language Models Starting Today
ymatsuwitter
3
1.6k
YAPC::Hakodateの映像記録を支える技術
godan
4
390
KubeVirt Networking ONIC 2024
orimanabu
4
680
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
519
39k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.9k
Imperfection Machines: The Place of Print at Facebook
scottboms
264
13k
Building an army of robots
kneath
302
42k
What the flash - Photography Introduction
edds
67
11k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
92
16k
Docker and Python
trallard
40
3k
YesSQL, Process and Tooling at Scale
rocio
167
14k
For a Future-Friendly Web
brad_frost
174
9.3k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.1k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
249
21k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
191
16k
Transcript
Amazon DataZoneを触ってみた 2023/7/25 データアナリティクス事業本部 須藤健志
話すこと・話さないこと 2 話すこと ・Amazon DataZone(DataZone)の概要 ・DataZoneの持つ機能とその使い方 ・実際に触ってみたメリット 話さないこと ・DataZoneの具体的な操作手順 ・
DataZone以外のデータカタログツールや製品の概要
紹介内容について 2023/07/03時点の パブリックプレビュー段階の情報 を元に作成しています 3
自己紹介 4 須藤 健志 (suto takeshi) 所属 データアナリティクス事業本部 [データ分析基盤や機械学習基盤のコンサル・構築を担当] Blog
https://dev.classmethod.jp/author/suto-takeshi/ Twitter @metronom9145 好きなAWSサービス Glue DataBrew、CDK 2023 APN AWS Top Engineers (Analytics) , 2023 APN ALL AWS Certifications Engineers 選出
アジェンダ 5 1. DataZoneの概要 2. DataZoneが持つ機能と構造 3. DataZoneのアクセスポリシー 4. DataZoneのメリット
5. まとめ
Amazon DataZoneの概要 6 データのカタログ化、発見、共有、分析を可能にする データ管理サービス •あらゆるデータソースのメタデータ(データアセット)をカタログに登 録し、データを発見しやすくする •登録したデータを共有して組織間のデータ連携と分析を加速 • 上記を行う上でガバナンスを効かせながら運用と管理が可能
※プレビュー中は料金は発生しませんが、GA後は料金が発生します
DataZoneコンソール画面 7
DataZoneポータル画面 8
01 DataZoneが持つ機能と構造
Amazon DataZoneの構造 10
Amazon DataZoneの持つ機能 11 データカタログ •データパブリッシャーは自身の管理するデータアセットを登録することで、 カタログ画面で検索できる
Amazon DataZoneの持つ機能 12 データガバナンス •ドメインにおける各ロールを持つユーザーを設定 ・データ管理者:ドメイン全体の管理者 ・データスチュワード:プロジェクト管理者、データ共有操作の承認者 ・パブリッシャー:データアセットをカタログに登録 ・サブスクライバー:データアセットを検索、分析したいユーザー
Amazon DataZoneの持つ機能 13 データガバナンス •ドメインにおける各ロールを持つユーザーを設定
Amazon DataZoneの持つ機能 14 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限 ・Viewer:データアセットを閲覧できる読み取り専用ユーザー (IAMロール:datazone-usr-v-proj-〜) ・Contributer:データアセットの編集やパブリッシュ実行が可能 (IAMロール:datazone-usr-c-proj-〜) ・Owner:プロジェクトに関する操作全般が可能
( IAMロール:datazone-usr-o-proj-〜 )
Amazon DataZoneの持つ機能 15 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限
Amazon DataZoneの持つ機能 16 プロジェクトプロファイル •プロジェクト作成において必要なリソース構成のテンプレート ・データソースとして取り込むデータの種類(S3、Athena、Glue) ・データ暗号化に使用するKMSキー ・プロジェクトに紐づくS3バケット、Glueデータベース名、 Athenaワークグループなど
Amazon DataZoneの持つ機能 17 プロジェクトプロファイル
Amazon DataZoneの持つ機能 18 データの共有と分析 •パブリッシャーがパブリッシュジョブでデータアセット追加 •追加したデータアセットはサブスクライブできる •データアセットはプロジェクトメンバーのIAMロールが持つ権限でAthena 画面に移動して分析が可能
Amazon DataZoneの持つ機能 19 データの共有と分析
Amazon DataZoneの持つ機能 20 データの共有と分析 ※IAMロール作成後に追加したデータソースへの権限はポリシーに手動追加が必要
Amazon DataZoneの持つ機能 21 データアセットのパブリッシュの流れ •プロジェクト画面から「PUBRISHING JOB」を作成し実行 •ジョブ実行後、「PABRISHED DATA」一覧に追加される
Amazon DataZoneの持つ機能 22 データアセットのパブリッシュの流れ •「SET ASSET TO ACTIVE」を押してカタログ画面に表示される
Amazon DataZoneの持つ機能 23 データアセットのサブスクライブの流れ •データアセットを選択し、「SUBSCRIBE」でリクエストを作成
Amazon DataZoneの持つ機能 24 データアセットのサブスクライブの流れ •Contributorが「APPROVE」することで共有が許可される
Amazon DataZoneの持つ機能 25 設定するデータソースについて •基本的に「Glueカタログデータベース」からデータアセットを取り込む ・Glueテーブル:直接指定→取り込み ・S3(データレイク):S3→Glueカタログテーブル→取り込み ・Redshift:Glue接続経由→Glueカタログテーブル→取り込み ・Appflow:Appflowフロー→S3→Glueカタログテーブル→取り込み
Amazon DataZoneの持つ機能 26 メタデータフォームとビジネス用語 •メタデータフォーム:カスタム定義の属性を追加するのに利用 •ビジネス用語:メタデータ属性を定義するために使用されるビジネス辞書 ・スキーマ情報等の「テクニカルメタデータ」では表せない「ビジネスメ タデータ」を付与するのに使える ・ドメインのデータスチュワードが作成・編集を行う
Amazon DataZoneの持つ機能 27 ビジネス用語
Amazon DataZoneの持つ機能 28 メタデータフォーム
Amazon DataZoneの持つ機能 29 メタデータフォーム ※ドメインに紐づけると一括設定可能
01 DataZoneのアクセスポリシー
DataZone管理コンソールのためのポリシー 31 •コンソール画面にアクセス、操作する →“AmazonDataZonePreviewConsoleFullAccess”があればよい •AWS IAM Identity Centerを使用してSSOを有効にするために必要な許可 •DataZone がユーザーに代わって
AWS マネジメント コンソールで必要な ロールを作成できるようにするために必要なアクセス許可 →カスタムポリシーの内容がドキュメントに記載 https://docs.aws.amazon.com/ja_jp/datazone/latest/userguide/create-iam-roles.html
DataZoneポータル画面へのサインアップ 32 •AWS IAM Identity Centerのユーザー情報を使う •IAMユーザー/IAMロールを使う
01 DataZoneのメリット
DataZoneのメリット 34 •AWSマネージドサービスなのでインフラ面を考えなくて良い •データアセット取り込みにおいてデータソースとの通信経路を考えなくて 良い •ドメイン、プロジェクトの階層構造に伴うパーミッション・ガバナンス機 能が充実している
DataZoneまとめ 35 •チームで蓄積したデータアセットからデータ検索と共有を円滑にして分析業務を 加速 ・カタログ画面の検索機能が充実 ・プロジェクト画面からAthenaへ遷移して分析が可能 ・ビジネス用語などのカスタムメタデータの追加も可能 •組織間を超えたデータ情報の連携においてアクセス権限、共有リクエストの承認 フローなどのデータガバナンスと両立している ・ドメイン単位・プロジェクト単位のユーザーアクセス権限管理が可能
・データアセットのパブリッシュ・サブスクライブのための承認フローがシンプル
None