DataZoneどこまで使えるものか

Transcript

1. Amazon DataZoneはどこまで使えるか AWS-UG横浜 #61 AWS re:Invent 2023 去年のアレどうなった？スペシャル 2023/11/15 2023/10/4に東京リージョン他一般公開された #jawsug #jawsugyokohama 1
2. About us Soushi Hiruta awsCustomResourceを作成してみた https://speakerdeck.com/cloudevcode/awscustomresourcetezuo-chen g-sitemita adot-collectorを本番環境に導入してみた https://speakerdeck.com/cloudevcode/adot-collectorwoben-fan-huan-j ing-nidao-ru-sitemita 2
3. ランチLT会 rejectネタを少し App Runner AzureContainerApps Cloud Run 基盤 Fargate managed AKS gen1 gVisior gen2 full Linux compatibility. 対応スペック 0.25-4 2G-4G 025-2 2G-4G 0.08 - 8 128M - 32G VPC VPC Connector Virtual Net内部にデプ ロイ可能 DirectrVPC egress Serverless Connector scale to zero idle instanceにはなる が破棄されなそう？ ◦ ◦ traffic control 未対応 canary depolyment traffic 分散 tag url CD Azure pipeline Azure CLI Cloud Deploy 3
4. App RunnerでPrivate ECRを作る上で 4
5. Agenda ▸ DataZoneとは ▸ DataZoneの特徴 ▸ LakeFormationとの関係 ▸ LakeFormationとの違い～データアクセスと効率 ▸ LakeFormationとの違い～使えない機能 ▸ ユースケースと適切な選択 ▸ まとめ ▸ Q＆A 5
6. DataZoneとは データ管理をするサービス より迅速かつ簡単に、データのカタログ化、共有、管理を行え る 類似サービス Dataplex、Azure Data Lake Storage 6
7. DataZoneとは 7
8. DataZoneの始め方 ②データの作成 ④データの公開 データのサブスクライブ ③環境の作成 ①ドメインの作成 https://aws.amazon.com/jp/blogs/news/amazon-datazone-now-generally-available-collaborate-on-data-projects-across-organizational-boundaries/ 8
9. Athenaでクエリする場合 Athenaここからしないといけない 9
10. LakeFormationとの関係 • LakeFormationの権限設定がされている 10
11. LakeFormationとの違い ～データアクセスと効率 • カタログの作成、権限付与など簡単な操作で行える • サブスクライブ用のテーブルは公開するとできているので、Crawlarがう ごいているのか？ 11
12. LakeFormationとの違い ～使えない機能 • LakeFormation LF-TBAC method • cross-Region sharing of assets in AWS Glue Data Catalog • Hybird access mode • Column base access 12
13. ユースケースと適切な選択 • データカタログ単位で共有するケースにはマッチ • カラムの制御など閲覧権限を細かくした場合はLakeFormation 13
14. 削除時の注意点 • サブスクライブを削除すればサブスクライブしたGule Tableは 削除される • publishしたアセットをunpublishしても、Glue Tableとか削除さ れないよう • DataZoneで作成したGlue TableはLakeFormationで権限管理 されているので、権限付与しないと消せない 14
15. まとめ • 基本的なことしか行えなそうなので、どこまでしたかを見極めて、 DataZoneで行うか、LakeFormationでおこなうかを選択する必要がある • Clean Roomもクエリコンピューティングコストの負担先を指定できるよう になったので、場合によっては選択肢になる 15
16. CodeCatalystのDevEnvironmentで AmazonLinux2023を使う方法 https://docs.aws.amazon.com/codecatalyst/latest/userguide/devenvironment-universal-image.html 16