ZeroETLで始めるDynamoDBとS3の連携

ZeroETLで始める DynamoDBとS3の連携株式会社モリサワ岡田晃

自己紹介岡田晃 / @afooooil 所属: 株式会社モリサワポジション: データエンジニア /
データサイエンティスト好きなAWSサービス: CloudFormation / Athena

今日の内容 DynamoDBからS3へのZeroETLによって • 何ができるのか？ • 何が嬉しいか？ ※ ETLとはExtract, Transform, Loadというデータパイプラインを意味し、
ZeroETLとはユーザー側でのデータパイプラインの構築が不要であることを指す。 ※ AWS公式ドキュメントではSageMaker LakehouseへのZeroETLとされている。 SageMakerの設定は必須ではないので、S3への連携とここでは記載する。

ZeroETLによって何ができるか？ • 2024年のre:Inventで発表された機能 • ニアリアルタイム(15分間隔)でのDynamoDBからS3へのデータ連携 • 構造化データ(表形式)に変換した状態でのS3へのデータ連携 ◦ Athena(AWSの分析サービス)でそのままSQLでクエリできる •
スキーマの自動追従 ◦ DynamoDBに新しいAttributeが追加されたら、S3にも新しくカラムが追加される ZeroETL DynamoDB S3 Glue

ZeroETLは何が嬉しいか？ • データパイプラインの構築コストの軽減 ◦ 必要なのはZeroETLの初期設定だけ ◦ 従来はGlue, EventBridgeなどを用いて構築する必要があった ◦ 構造化データに変換するためのPythonコードも不要に
• データパイプラインの保守コストの軽減 ◦ DynamoDBのスキーマ変更に自動追従 ◦ ZeroETLのパイプラインはAWS管理インフラ周りに割いていたリソースを別業務に割り当てることができる

ZeroETLで始めるDynamoDBとS3の連携

ZeroETLで始めるDynamoDBとS3の連携

afooooil

More Decks by afooooil

Other Decks in Programming

Featured

Transcript