Slide 1
Slide 1 text
Amazon DataZoneはどこまで使えるか
AWS-UG横浜 #61 AWS re:Invent 2023 去年のアレどうなった？スペシャル
2023/11/15
2023/10/4に東京リージョン他一般公開された
#jawsug #jawsugyokohama
1
Slide 2
Slide 2 text
About us
Soushi Hiruta
awsCustomResourceを作成してみた
https://speakerdeck.com/cloudevcode/awscustomresourcetezuo-chen
g-sitemita
adot-collectorを本番環境に導入してみた
https://speakerdeck.com/cloudevcode/adot-collectorwoben-fan-huan-j
ing-nidao-ru-sitemita
2
Slide 3
Slide 3 text
ランチLT会 rejectネタを少し
App Runner AzureContainerApps Cloud Run
基盤 Fargate managed AKS gen1 gVisior
gen2 full Linux
compatibility.
対応スペック 0.25-4
2G-4G
025-2
2G-4G
0.08 - 8
128M - 32G
VPC VPC Connector Virtual Net内部にデプ
ロイ可能
DirectrVPC egress
Serverless Connector
scale to zero idle instanceにはなる
が破棄されなそう？
○ ○
traffic control 未対応 canary depolyment traffic 分散
tag url
CD Azure pipeline
Azure CLI
Cloud Deploy
3
Slide 4
Slide 4 text
App RunnerでPrivate ECRを作る上で
4
Slide 5
Slide 5 text
Agenda
▸ DataZoneとは
▸ DataZoneの特徴
▸ LakeFormationとの関係
▸ LakeFormationとの違い～データアクセスと効率
▸ LakeFormationとの違い～使えない機能
▸ ユースケースと適切な選択
▸ まとめ
▸ Q＆A
5
Slide 6
Slide 6 text
DataZoneとは
データ管理をするサービス
より迅速かつ簡単に、データのカタログ化、共有、管理を行え
る
類似サービス Dataplex、Azure Data Lake Storage
6
Slide 7
Slide 7 text
DataZoneとは
7
Slide 8
Slide 8 text
DataZoneの始め方
②データの作成
④データの公開
データのサブスクライブ
③環境の作成
①ドメインの作成
https://aws.amazon.com/jp/blogs/news/amazon-datazone-now-generally-available-collaborate-on-data-projects-across-organizational-boundaries/
8
Slide 9
Slide 9 text
Athenaでクエリする場合
Athenaここからしないといけない
9
Slide 10
Slide 10 text
LakeFormationとの関係
● LakeFormationの権限設定がされている
10
Slide 11
Slide 11 text
LakeFormationとの違い
～データアクセスと効率
● カタログの作成、権限付与など簡単な操作で行える
● サブスクライブ用のテーブルは公開するとできているので、Crawlarがう
ごいているのか？
11
Slide 12
Slide 12 text
LakeFormationとの違い
～使えない機能
● LakeFormation LF-TBAC method
● cross-Region sharing of assets in AWS Glue Data Catalog
● Hybird access mode
● Column base access
12
Slide 13
Slide 13 text
ユースケースと適切な選択
● データカタログ単位で共有するケースにはマッチ
● カラムの制御など閲覧権限を細かくした場合はLakeFormation
13
Slide 14
Slide 14 text
削除時の注意点
● サブスクライブを削除すればサブスクライブしたGule Tableは
削除される
● publishしたアセットをunpublishしても、Glue Tableとか削除さ
れないよう
● DataZoneで作成したGlue TableはLakeFormationで権限管理
されているので、権限付与しないと消せない
14
Slide 15
Slide 15 text
まとめ
● 基本的なことしか行えなそうなので、どこまでしたかを見極めて、
DataZoneで行うか、LakeFormationでおこなうかを選択する必要がある
● Clean Roomもクエリコンピューティングコストの負担先を指定できるよう
になったので、場合によっては選択肢になる
15
Slide 16
Slide 16 text
CodeCatalystのDevEnvironmentで
AmazonLinux2023を使う方法
https://docs.aws.amazon.com/codecatalyst/latest/userguide/devenvironment-universal-image.html
16