ZeroETLで始めるDynamoDBとS3の連携

【JAWS-UG 神戸 #7】リブートからほぼ１周年！ハンズオン大会( https://jawsug-kobe.connpass.com/event/359389/) で発表させていただいたものです

Transcript

1. ZeroETLで始める DynamoDBとS3の連携 株式会社モリサワ 岡田 晃
2. 自己紹介 岡田 晃 / @afooooil 所属: 株式会社モリサワ ポジション: データエンジニア / データサイエンティスト 好きなAWSサービス: CloudFormation / Athena
3. 今日の内容 DynamoDBからS3へのZeroETLによって • 何ができるのか？ • 何が嬉しいか？ ※ ETLとはExtract, Transform, Loadというデータパイプラインを意味し、 ZeroETLとはユーザー側でのデータパイプラインの構築が不要であることを指す。 ※ AWS公式ドキュメントではSageMaker LakehouseへのZeroETLとされている。 SageMakerの設定は必須ではないので、S3への連携とここでは記載する。
4. ZeroETLによって何ができるか？ • 2024年のre:Inventで発表された機能 • ニアリアルタイム(15分間隔)でのDynamoDBからS3へのデータ連携 • 構造化データ(表形式)に変換した状態でのS3へのデータ連携 ◦ Athena(AWSの分析サービス)でそのままSQLでクエリできる • スキーマの自動追従 ◦ DynamoDBに新しいAttributeが追加されたら、S3にも新しくカラムが追加される ZeroETL DynamoDB S3 Glue
5. ZeroETLは何が嬉しいか？ • データパイプラインの構築コストの軽減 ◦ 必要なのはZeroETLの初期設定だけ ◦ 従来はGlue, EventBridgeなどを用いて構築する必要があった ◦ 構造化データに変換するためのPythonコードも不要に • データパイプラインの保守コストの軽減 ◦ DynamoDBのスキーマ変更に自動追従 ◦ ZeroETLのパイプラインはAWS管理 インフラ周りに割いていたリソースを 別業務に割り当てることができる