DynamoDBからS3(Icebergテーブル)へのZeroETLを行う

DynamoDBからS3(Icebergテーブル)への ZeroETLを行う株式会社モリサワ岡田晃 AWS10分LT会 - vol.7

自己紹介岡田晃 / @afooooil 所属: 株式会社モリサワポジション: データエンジニア /
データサイエンティスト好きなAWSサービス: CloudFormation / Athena

• データの抽出(Extract) • データの変換(Transform) • データの格納(Load) を行う一連のデータパイプライン。マグロの出荷に例えると... ETLとは？収集加工
格納

具体的にETLとは？ DynamoDBの半構造化データを抽出(Extract)し、扱いやすい表形式へと変換 (Transform)しS3へと配置(Load)する。このような一連の操作をETLという。 ETL

なぜETLを行う必要？ - 本番DBに直接、重たい分析クエリは投げられない - DynamoDBはテーブルのJoinなど分析に必要な操作が容易でない - 他のデータソース(ログ)などと突き合わせて分析したい - 表形式のデータにSQLを用いて簡単にアクセスしたい
本番環境から分離し、データを変換して、分析用DBに格納する

これまでのDynamoDBからのS3へのETL • DynamoDBのPITRをLambdaでS3へコピー • RAWデータをGlue/Athenaなどを用いて変換して加工後のデータをS3へ格納する

これまでのETLのパイプラインの課題 • DBのスキーマ更新に合わせてパイプラインも改修が必要だった • 差分更新のためには、工夫が必要だった • データを処理するためのロジックを書く必要があった

ZeroETLとは？ ZeroETLとは、ETLを行うためのデータパイプラインをユーザー側で構築を行わずに、マネージドなパイプラインを用いて ETLを行うことサーバーレスと似たような概念だと思えばわかりやすい？ - サーバーの管理をユーザーが行わなくてよいのがサーバーレス - ETLのパイプラインの管理を行わなくて良いのがZeroETL 2024/12にDynamoDBからSageMaker
Lakehouse(S3上へのIcebergテーブル)へのZeroETLが可能になった。

ZeroETLを用いた場合 • DynamoDBからS3(Icebergテーブル)までのパイプラインの全てがマネージドに • マネコン or CLIから設定するだけ(CFnは未対応) パイプラインの構築、保守が不要に！

Icebergテーブルへの連携 • DynamoDBのデータはIcebergテーブルに連携されてAthenaでアクセス可能 • 半構造データから表形式に変換された形でデータ連携される

ZeroETLのログもIcebergテーブルに ZeroETLを設定すると自動で zetl_integration_table_state というテーブルができる。ここではステータスや、実行履歴、レコードの変更数なども管理される。

Apache Icebergとは？ Apache IcebergとはOpen Table Formatのひとつ。 - 個々のファイルの集合をあたかも一つのテーブルのように扱える。 - 従来のデータレイクにある課題を解決する次世代のフォーマットとして注目されてい
る。 ZeroETLの観点からの、嬉しい特徴として以下の2つがある - レコードの追加、更新、削除を容易に効率的に行う - スキーマの変更が容易ここでは紹介しませんが、Icebergには他にも様々な魅力的な機能があります。

Icebergで何が嬉しい？レコードの追加、更新、削除を容易に効率的に行う - レコードの差分更新(Insert, Update, Delete)が容易 - ZeroETLでは15分間隔でDynamoDBのデータの連携が可能になるスキーマの変更が容易 -
カラムの追加など(alter table change column…)が容易 - ZeroETLではDynamoDBに新しいAttributeが追加されると、自動的にIcebergに新しいカラムが追加される

まとめ • データを抽出、変換、格納して扱いやすい形にすることを ETLという • ZeroETLを用いることで従来必要であったパイプライン構築や保守のコストが低減される • データの連携先はS3のIcebergテーブルであり、15分間隔での連携および自動的なスキーマ追従が可能

DynamoDBからS3(Icebergテーブル)へのZeroETLを行う

DynamoDBからS3(Icebergテーブル)へのZeroETLを行う

afooooil

More Decks by afooooil

Featured

Transcript