Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AWSのLake Formation Governed Tablesを触ってみた

Kazuhiro Seo
December 27, 2021

AWSのLake Formation Governed Tablesを触ってみた

Kazuhiro Seo

December 27, 2021
Tweet

More Decks by Kazuhiro Seo

Other Decks in Programming

Transcript

  1. Athena からクエリ実行 SELECT name, price FROM "governed_table"; -- | 商品

    A | 200 | -- | 商品 C | 880 | SELECT name, price FROM "governed_table" FOR SYSTEM_TIME AS OF TIMESTAMP '2021-12-26 15:00:00 Asia/Tokyo -- | 商品 A | 200 | -- | 商品 B | 300 | -- | 商品 C | 880 | SELECT name, price FROM "governed_table" FOR SYSTEM_TIME AS OF TIMESTAMP '2021-12-25 15:00:00 Asia/Tokyo -- | 商品 A | 200 | -- | 商品 B | 300 | -- | 商品 C | 950 |
  2. トランザクションと更新処理 AWS API で行う SQL は未サポート ファイル単位での追加 or 削除 #

    トランザクション開始 % aws lakeformation start-transaction # 更新 ( イメージ ) % aws lakeformation update-table-objects < テーブル名 > < 追加ファイル > % aws lakeformation update-table-objects < テーブル名 > < 削除ファイル > # コミット % aws lakeformation commit-transaction --transaction-id <TranId>
  3. 取り込み 1. data1.parquet をテーブルに追加 (commit: 2021-12-25 12:00:00 JST) 2-1. data1.parquet

    をテーブルから削除 2-2. data2.parquet をテーブルに追加 (commit: 2021-12-26 12:00:00 JST) 3-1. data2.parquet をテーブルから削除 3-2. data3.parquet をテーブルに追加 (commit: 2021-12-27 12:00:00 JST)