Iceberg Definitive Guide輪読会 Chapter7&8

Transcript

1. Iceberg Definitive Guide輪読会 
 chapter7&8
 Dremio’s SQL EngineとAWS Glue

2. 本日話すこと 
 各サービスでのIcebergテーブルの作成と最適化の自動
 DremioのGitライクなデータ操作
 (DMLでの操作とかあんま楽しくなかったから外してしまった・・・)
 
 
 
 
 

3. アジェンダ 
 カタログのおさらい
 Dremio’s SQL Engine
 AWS Glue
 AWS Athena
 まとめ
 
 

4. アジェンダ 
 カタログのおさらい 
 Dremio’s SQL Engine
 AWS Glue
 AWS Athena
 まとめ
 
 

5. カタログの要件 
 以下の要件を満たしていればカタログとして成立する 
 • Iceberg Catalogは、テーブルのリスト、作成、削除、存在確認、名前変更などの機能 
 • 現在のテーブルパスをメタデータファイルのファイルパスにマッピングする機能 
 
 
 
 
 

6. カタログがたくさん 
 そのためカタログが世にたくさんある状況 
 それぞれIcebergではあるのだが機能的な差がある
 • Polarisカタログ
 • Hiveカタログ
 • Glueカタログ
 • Nessieカタログ
 • Hadoopカタログ
 • RESTカタログ
 • etc…
 

7. マネージドなカタログサービス 
 
今回使用するサービスはどちらもマネージドな 
 カタログサービスある 
 Dremio Arctic 
 Nessieカタログをホスティングしている 
 NessieカタログがデータをGitライクに管理することを目指しているのでそれに付随した 
 機能が整っている
 
 AWS Glue Catalog 
 AWS Glue Data CatalogをIcebergカタログのメタデータレポシトリとして使用しており 
 サーバーレスで動作する
 コンパクションの自動設定とかも整ってる 

8. アジェンダ 
 カタログのおさらい
 Dremio’s SQL Engine 
 AWS Glue
 AWS Athena
 まとめ
 
 

9. Dremio SQL Query Engineとは 
 分散SQLクエリエンジン
 Icebergを扱うなら一番速くてコスパ最強を謳っている
 （細かい検証を行った記事等は見つからなかったため真偽不明） 

10. SonarとArctic 
 Dremio Cloud上ではクエリエンジンSonarと
 マネージドなIcebergカタログであるArcticが提供されている

11. DremioでIcebergテーブルを作ってみる 
 Icebergを扱うように作られているので特に指定等なく作れる
 /* Create a new folder in which your table will reside */ CREATE FOLDER "Defenitive_Catalog"."my_folder" /* Create a new table */ CREATE TABLE "Defenitive_Catalog"."my_folder"."nyc_trips" ( pickup_datetime TIMESTAMP, passenger_count INT, trip_distance_mi FLOAT, fare_amount FLOAT, tip_amount FLOAT, total_amount FLOAT) /* copy data from S3 bucket */ COPY INTO "Defenitive_Catalog"."my_folder"."nyc_trips" FROM '@Samples/samples.dremio.com/' FILES ('NYC-taxi-trips.csv')
12. 自動コンパクション Dremio cloudのArctic Catalogs上で各テーブルに対して設定が設けられる
 コンパクションをかける周期やターゲットファイズサイズ等を指定可能
 

13. 自動VACUUM Dremio cloudのArctic Catalogs上でカタログに対して設定が設けられる
 テーブル単位で実施したい場合はそういうジョブを作成する必要があるらしい
 
 

14. データをGitライクに扱う Nessieカタログのコンセプトにあるように
 Dremio SonarではSQLクエリでブランチを切って作業ができる
 
 
 /* これでカタログのメインからブランチが切れる */ CREATE BRANCH etl_branch IN "Defenitive_Catalog"; /* この場合は特定のコミットからブランチが切れる */ CREATE BRANCH etl_branch AT COMMIT "098a092384fa489283498acdfeffba1411287941"
15. データをGitライクに扱う ブランチごとに違うデータを保持しそれを参照できる
 (この例ではSELECTだが他クエリについても同様に実行可能)
 
 /* mainブランチを参照*/ SELECT COUNT(*) FROM "Defenitive_Catalog"."my_folder"."nyc_trips" AT REF main; /* etl_branchを参照*/ SELECT COUNT(*) FROM "Defenitive_Catalog"."my_folder"."nyc_trips" AT REF etl_branch;
16. データをGitライクに扱う ブランチごとに違うデータを保持しそれを参照できる
 (この例ではSELECTだが他クエリについても同様に実行可能)
 
 /* mainブランチを参照*/ SELECT COUNT(*) FROM "Defenitive_Catalog"."my_folder"."nyc_trips" AT REF main; /* etl_branchを参照*/ SELECT COUNT(*) FROM "Defenitive_Catalog"."my_folder"."nyc_trips" AT REF etl_branch;
17. データをGitライクに扱う 当然のことながらマージも存在し別ブランチで行った
 既存テーブルの更新や新テーブルの追加も可能だった
 
 /* etl_branchをmainブランチにマージして変更を反映 */ MERGE BRANCH etl_branch INTO main IN "Defenitive_Catalog";
18. データをGitライクに扱う ArcticCatalog上から各ブランチの変更履歴を確認できる。

19. Dremio CloudをAWS Glue Data Catalogに繋げる 
 AWS Glue Data CatalogにつないでGlueで作られたIcebergテーブルに対して
 クエリができる（はずなのだがmetadataに対してアクセスできず敗北）

20. アジェンダ 
 カタログのおさらい
 Dremio’s SQL Engine
 AWS Glue 
 AWS Athena
 まとめ
 
 

21. AWS Glueとは 
 多用なデータソースのメタデータをフルマネージドかつサーバーレスで
 管理くれるETLサービス
 
 
 
 下手な説明をするよりBlackBeltのリンクを貼るスタイルGlue Black Belt

22. GlueでIcebergテーブルを作ってみる 
 ETL jobs > Visual ETLで読み込み対象するとするS3を指定し、
 Job details > Advance propertiesから--datalake-formats=icebergを設定
 

23. GlueでIcebergテーブルを作ってみる 
 VisualETLで生成されたScriptにいつも呪文等を追記

24. 今はマネジメントコンソールから普通に作れる テーブル作成時のオプションにIcebergがある

25. 自動コンパクション Glue Data CatalogからEnable compactionすることによって
 自動で該当テーブルのコンパクションしてくれるようになるらしい
 

26. アジェンダ 
 カタログのおさらい
 Dremio’s SQL Engine
 AWS Glue
 AWS Athena 
 まとめ
 
 

27. AWS Athenaとは 
 S3上にあるデータに対しSQLクエリを発行して簡単に分析できるクエリサービス
 
 
 
 
 下手な説明をするよりBlackBeltのリンクを貼るスタイルAthena Black Belt

28. AthenaでIcebergテーブルを作る アドホックにIcebergテーブルを作りたいだけならAthenaでも可能！
 CREATE TABLE definitive_guide.iceberg_table_test( pickup_datetime TIMESTAMP, passenger_count INT, trip_distance_mi FLOAT, fare_amount FLOAT, tip_amount FLOAT, total_amount FLOAT ) PARTITIONED BY (day(pickup_datetime)) LOCATION 's3://definitive-athena/' TBLPROPERTIES ('table_type'='ICEBERG');
29. AthenaでIcebergテーブルを作る CTASですでにある既存のテーブルからIcebergテーブルを作成できる
 CREATE TABLE ctas_iceberg_parquet WITH (table_type = 'ICEBERG', format = 'PARQUET', location = 's3://definitive-athena/CTAS_Iceberg/' is_external = false, partitioning = ARRAY['day(pickup_datetime)'], ) AS SELECT passenger_count, total_amount, pickup_datetime FROM normal_table;
30. AthenaのIcebegテーブル作成時のオプション Athenaでテーブル作成時にWITH句の中で使用可能な最適化オプション
 • optimize_rewrite_data_file_threshold 
 ◦ データファイルに対するコンパクションの閾値 
 • optimize_rewrite_delete_file_threshold 
 ◦ 削除ファイルに対するコンパクションの閾値 
 • vacuum_min_snapshots_to_keep 
 ◦ メインブランチに保持するスナップショットの最小数 
 • vacuum_max_snapshot_age_seconds 
 ◦ メインブランチに保持するスナップショットの最大保存期間 
 • vacuum_max_metadata_files_to_keep 
 ◦ 保持するメタデータファイルの最大数 

31. アジェンダ 
 カタログのおさらい
 Dremio’s SQL Engine
 AWS Glue
 AWS Athena
 まとめ
 
 

32. まとめ
 Dremio、AWSどちらもともに進化Definitive Guideが
 書かれた時よりも進化していた(2024年9月9日現在)
 
 今後もそれぞれドンドン進化して行くことが予想されるので 
 キャッチアップが欠かせない！