AWSのLake Formation Governed Tablesを触ってみた

Transcript

1. AWS のLake Formation Governed Tables を触ってみた
2. 自己紹介 妹尾 一弘 サーバーサイドエンジニア 興味分野 AWS/ 開発環境/Java
3. Governed Tables 今年のRe:Invent でGA が発表された Lake Formation の新機能
4. AWS Lake Formation DataLake を提供するサービス Athena のようなSQL でのファイル分析をサポート スキーマ管理やアクセス制御など
5. AWS Lake Formation Governed Tables Glue Data Catalog で管理するテーブルフォーマット データ保存先のS3 パスやスキーマを設定
6. Governed Tables の機能 ACID トランザクションをサポート トランザクション内でデータ更新・削除が可能 ストレージの自動最適化 細かいファイルの自動圧縮 タイムトラベル 過去の特定時点のデータにSQL でアクセス可能
7. Athena からクエリ実行 SELECT name, price FROM "governed_table"; -- | 商品 A | 200 | -- | 商品 C | 880 | SELECT name, price FROM "governed_table" FOR SYSTEM_TIME AS OF TIMESTAMP '2021-12-26 15:00:00 Asia/Tokyo -- | 商品 A | 200 | -- | 商品 B | 300 | -- | 商品 C | 880 | SELECT name, price FROM "governed_table" FOR SYSTEM_TIME AS OF TIMESTAMP '2021-12-25 15:00:00 Asia/Tokyo -- | 商品 A | 200 | -- | 商品 B | 300 | -- | 商品 C | 950 |
8. トランザクションと更新処理 AWS API で行う SQL は未サポート ファイル単位での追加 or 削除 # トランザクション開始 % aws lakeformation start-transaction # 更新 ( イメージ ) % aws lakeformation update-table-objects < テーブル名 > < 追加ファイル > % aws lakeformation update-table-objects < テーブル名 > < 削除ファイル > # コミット % aws lakeformation commit-transaction --transaction-id <TranId>
9. スナップショットデータを準備
10. 取り込み 1. data1.parquet をテーブルに追加 (commit: 2021-12-25 12:00:00 JST) 2-1. data1.parquet をテーブルから削除 2-2. data2.parquet をテーブルに追加 (commit: 2021-12-26 12:00:00 JST) 3-1. data2.parquet をテーブルから削除 3-2. data3.parquet をテーブルに追加 (commit: 2021-12-27 12:00:00 JST)
11. 気軽に使うにはちょっと大変そう 少なくともパーティション単位での更新が必要そう 日次バッチなどで洗い替えを行うイメージ
12. Iceberg のPreview が開始！ Apache Iceberg 形式のテーブルをサポート Governed Tables と同等の機能を提供 SQL で更新ができる！
13. ありがとうございました