Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DevelopersIO2023「Amazon DataZoneを触ってみた」
Search
suto
July 25, 2023
Technology
0
1.6k
DevelopersIO2023「Amazon DataZoneを触ってみた」
Developers.IO 2023で発表した資料です
suto
July 25, 2023
Tweet
Share
More Decks by suto
See All by suto
re:Growth2022「Analytics系アップデートまとめ」
sutotakeshi
0
730
OSSデータカタログツール「DataHub」を触ってみた
sutotakeshi
0
5.5k
Glue DataBrewでデータを クリーニング、加工してみよう
sutotakeshi
0
3.6k
Other Decks in Technology
See All in Technology
Expertise as a Service via MCP
yodakeisuke
1
160
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
330
[MIRU2025]Preference Optimization for Multimodal Large Language Models for Image Captioning Tasks
keio_smilab
PRO
0
100
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.6k
複数のGemini CLIが同時開発する狂気 - Jujutsuが実現するAIエージェント協調の新世界
gunta
13
3.8k
ファインディにおける Dataform ブランチ戦略
hiracky16
0
210
MCPと認可まわりの話 / mcp_and_authorization
convto
2
290
[TechNight #91] Oracle Database 最新パフォーマンス分析手法
oracle4engineer
PRO
3
150
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
230
P2P ではじめる WebRTC のつまづきどころ
tnoho
1
270
M365アカウント侵害時の初動対応
lhazy
7
5.1k
VLMサービスを用いた請求書データ化検証 / SaaSxML_Session_1
sansan_randd
0
110
Featured
See All Featured
Adopting Sorbet at Scale
ufuk
77
9.5k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.3k
The Art of Programming - Codeland 2020
erikaheidi
54
13k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
GitHub's CSS Performance
jonrohan
1031
460k
Being A Developer After 40
akosma
90
590k
For a Future-Friendly Web
brad_frost
179
9.8k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.8k
Transcript
Amazon DataZoneを触ってみた 2023/7/25 データアナリティクス事業本部 須藤健志
話すこと・話さないこと 2 話すこと ・Amazon DataZone(DataZone)の概要 ・DataZoneの持つ機能とその使い方 ・実際に触ってみたメリット 話さないこと ・DataZoneの具体的な操作手順 ・
DataZone以外のデータカタログツールや製品の概要
紹介内容について 2023/07/03時点の パブリックプレビュー段階の情報 を元に作成しています 3
自己紹介 4 須藤 健志 (suto takeshi) 所属 データアナリティクス事業本部 [データ分析基盤や機械学習基盤のコンサル・構築を担当] Blog
https://dev.classmethod.jp/author/suto-takeshi/ Twitter @metronom9145 好きなAWSサービス Glue DataBrew、CDK 2023 APN AWS Top Engineers (Analytics) , 2023 APN ALL AWS Certifications Engineers 選出
アジェンダ 5 1. DataZoneの概要 2. DataZoneが持つ機能と構造 3. DataZoneのアクセスポリシー 4. DataZoneのメリット
5. まとめ
Amazon DataZoneの概要 6 データのカタログ化、発見、共有、分析を可能にする データ管理サービス •あらゆるデータソースのメタデータ(データアセット)をカタログに登 録し、データを発見しやすくする •登録したデータを共有して組織間のデータ連携と分析を加速 • 上記を行う上でガバナンスを効かせながら運用と管理が可能
※プレビュー中は料金は発生しませんが、GA後は料金が発生します
DataZoneコンソール画面 7
DataZoneポータル画面 8
01 DataZoneが持つ機能と構造
Amazon DataZoneの構造 10
Amazon DataZoneの持つ機能 11 データカタログ •データパブリッシャーは自身の管理するデータアセットを登録することで、 カタログ画面で検索できる
Amazon DataZoneの持つ機能 12 データガバナンス •ドメインにおける各ロールを持つユーザーを設定 ・データ管理者:ドメイン全体の管理者 ・データスチュワード:プロジェクト管理者、データ共有操作の承認者 ・パブリッシャー:データアセットをカタログに登録 ・サブスクライバー:データアセットを検索、分析したいユーザー
Amazon DataZoneの持つ機能 13 データガバナンス •ドメインにおける各ロールを持つユーザーを設定
Amazon DataZoneの持つ機能 14 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限 ・Viewer:データアセットを閲覧できる読み取り専用ユーザー (IAMロール:datazone-usr-v-proj-〜) ・Contributer:データアセットの編集やパブリッシュ実行が可能 (IAMロール:datazone-usr-c-proj-〜) ・Owner:プロジェクトに関する操作全般が可能
( IAMロール:datazone-usr-o-proj-〜 )
Amazon DataZoneの持つ機能 15 データガバナンス •プロジェクト単位におけるメンバーの持つユーザー権限
Amazon DataZoneの持つ機能 16 プロジェクトプロファイル •プロジェクト作成において必要なリソース構成のテンプレート ・データソースとして取り込むデータの種類(S3、Athena、Glue) ・データ暗号化に使用するKMSキー ・プロジェクトに紐づくS3バケット、Glueデータベース名、 Athenaワークグループなど
Amazon DataZoneの持つ機能 17 プロジェクトプロファイル
Amazon DataZoneの持つ機能 18 データの共有と分析 •パブリッシャーがパブリッシュジョブでデータアセット追加 •追加したデータアセットはサブスクライブできる •データアセットはプロジェクトメンバーのIAMロールが持つ権限でAthena 画面に移動して分析が可能
Amazon DataZoneの持つ機能 19 データの共有と分析
Amazon DataZoneの持つ機能 20 データの共有と分析 ※IAMロール作成後に追加したデータソースへの権限はポリシーに手動追加が必要
Amazon DataZoneの持つ機能 21 データアセットのパブリッシュの流れ •プロジェクト画面から「PUBRISHING JOB」を作成し実行 •ジョブ実行後、「PABRISHED DATA」一覧に追加される
Amazon DataZoneの持つ機能 22 データアセットのパブリッシュの流れ •「SET ASSET TO ACTIVE」を押してカタログ画面に表示される
Amazon DataZoneの持つ機能 23 データアセットのサブスクライブの流れ •データアセットを選択し、「SUBSCRIBE」でリクエストを作成
Amazon DataZoneの持つ機能 24 データアセットのサブスクライブの流れ •Contributorが「APPROVE」することで共有が許可される
Amazon DataZoneの持つ機能 25 設定するデータソースについて •基本的に「Glueカタログデータベース」からデータアセットを取り込む ・Glueテーブル:直接指定→取り込み ・S3(データレイク):S3→Glueカタログテーブル→取り込み ・Redshift:Glue接続経由→Glueカタログテーブル→取り込み ・Appflow:Appflowフロー→S3→Glueカタログテーブル→取り込み
Amazon DataZoneの持つ機能 26 メタデータフォームとビジネス用語 •メタデータフォーム:カスタム定義の属性を追加するのに利用 •ビジネス用語:メタデータ属性を定義するために使用されるビジネス辞書 ・スキーマ情報等の「テクニカルメタデータ」では表せない「ビジネスメ タデータ」を付与するのに使える ・ドメインのデータスチュワードが作成・編集を行う
Amazon DataZoneの持つ機能 27 ビジネス用語
Amazon DataZoneの持つ機能 28 メタデータフォーム
Amazon DataZoneの持つ機能 29 メタデータフォーム ※ドメインに紐づけると一括設定可能
01 DataZoneのアクセスポリシー
DataZone管理コンソールのためのポリシー 31 •コンソール画面にアクセス、操作する →“AmazonDataZonePreviewConsoleFullAccess”があればよい •AWS IAM Identity Centerを使用してSSOを有効にするために必要な許可 •DataZone がユーザーに代わって
AWS マネジメント コンソールで必要な ロールを作成できるようにするために必要なアクセス許可 →カスタムポリシーの内容がドキュメントに記載 https://docs.aws.amazon.com/ja_jp/datazone/latest/userguide/create-iam-roles.html
DataZoneポータル画面へのサインアップ 32 •AWS IAM Identity Centerのユーザー情報を使う •IAMユーザー/IAMロールを使う
01 DataZoneのメリット
DataZoneのメリット 34 •AWSマネージドサービスなのでインフラ面を考えなくて良い •データアセット取り込みにおいてデータソースとの通信経路を考えなくて 良い •ドメイン、プロジェクトの階層構造に伴うパーミッション・ガバナンス機 能が充実している
DataZoneまとめ 35 •チームで蓄積したデータアセットからデータ検索と共有を円滑にして分析業務を 加速 ・カタログ画面の検索機能が充実 ・プロジェクト画面からAthenaへ遷移して分析が可能 ・ビジネス用語などのカスタムメタデータの追加も可能 •組織間を超えたデータ情報の連携においてアクセス権限、共有リクエストの承認 フローなどのデータガバナンスと両立している ・ドメイン単位・プロジェクト単位のユーザーアクセス権限管理が可能
・データアセットのパブリッシュ・サブスクライブのための承認フローがシンプル
None