Apache Iceberg を学び Amazon S3 Tables を活用しよう

© 2025, Amazon Web Services, Inc. or its affiliates. All
rights reserved. © 2025, Amazon Web Services, Inc. or its affiliates. All rights reserved. Apache Iceberg を学び Amazon S3 Tables を活⽤しよう⽦⽥宗太郎 (Sotaro Hikita) Solutions Architect アマゾンウェブサービスジャパン合同会社

rights reserved. ⽦⽥宗太郎 (Sotaro Hikita) 2 アマゾンウェブサービスジャパンソリューションアーキテクト (アナリティクス) ⼤規模データの効率的な処理や、データ活⽤基盤に取り組むお客様を⽀援しています X(旧 Twitter) : @_Bassari 個⼈ブログ: https://bering.hatenadiary.com/ 趣味: ビッグデータに関わる OSS, 特に Apache Iceberg に関する調査、発信、貢献 Open Table Format に関するPodcast「OTF Talks」 https://podcasters.spotify.com/pod/show/otftalk/episodes/10-Iceberg-e2o4leo

rights reserved. 本セッションのねらい 3 想定聴講者 • Apache Iceberg や S3 Tables の可能性を知りたい • 様々な規模の表構造データを扱うことに関⼼がある • Amazon S3 など AWS の基本的なサービスを把握しているゴール • Apache Iceberg の基本的な特徴とメリットを知る • AWS で Iceberg を利⽤する際の選択肢、中でも S3 Tables への理解を深める • Iceberg と S3 Tables の組み合わせによって拓かれる可能性について考えられるようになる Iceberg と S3 Tables を活⽤し、表構造データを簡便に扱う⽅法を理解する

rights reserved. オープンテーブルフォーマット / Iceberg の台頭 4 データレイクの限界を超えて、様々なデータエコシステムを繋ぐ Apache Iceberg • オープンソースのテーブルフォーマット (OTF) • 様々な規模のデータを効率的かつ便利に扱う機構を備える • 異なるツール間を繋ぐ共通的なテーブル仕様として機能 • 2017 年当時、 S3 に 60 PB のデータを擁していた Netflix が開発 (2018 年 Apache Software Foundation 寄贈) https://www.youtube.com/watch?v=nWwQMlrjhy0

rights reserved. Apache Iceberg が注⽬される背景 5 データレイクの利便性と効率性の向上 • 従来のデータレイクでは実現が困難な要件や、性能やリソース効率に課題を抱える操作を Iceberg で実現できる • ストリームパイプラインやデータサイエンス、規制要件への対応などモダンなデータレイクのニーズに対応複数のツール間での相互運⽤性の向上 • 各ツールが Iceberg フォーマットを共有することで、ストレージのデータをコピーせずにテーブルを操作できる • データレイクとデータウェアハウス間、複数のツール間などでシームレスにテーブルを共有

rights reserved. データレイクのコンセプト 7 • 構造 / ⾮構造データをスケーラブルなストレージに⼀元的に保存 • 蓄積と分析を分離して、拡張性とスケーラビリティを確保 • オープンなファイルフォーマットにより多様なツールで分析可能 • 組織を越えてすべてのデータの分析、活⽤を可能にする Data lake Nonrelational databases Machine learning Data warehousing Log analytics Big data processing Relational databases https://aws.amazon.com/jp/big-data/datalakes-and-analytics/datalakes/

rights reserved. 従来のデータレイクの代表的な課題 8 • 同時書き込み/読み込みの整合性を担保できない • データの過去の状態の復元が難しい • レコードレベルの操作が⾮効率 • スキーマ変更やデータ構造の変化への追従負荷が⼤きい • クエリ性能を最適化するため、ファイルの物理構造を意識する必要がある Amazon S3 /year=2024/month=01/day=01 /year=2024/month=01/day=02 /year=2024/month=01/day=03 aaa001.parquet aaa002.parquet aaa003.parquet 従来のデータレイクにおける一般的なデータ配置（Hive スタイルテーブル） AWS Glue Data Catalog

rights reserved. データレイクの課題に直⾯する典型的なユースケース 9 • ストリームパイプライン, Change Data Capture (CDC) • 書込みと読込みのパフォーマンス最適化 • ソースデータのスキーマ変更への追従 • 規制要件への対応 • 特定の個⼈情報の効率的な削除、更新をしたい要件 • データ削除中のトランザクションの⼀貫性 • データサイエンス • 実験を再現するための、過去のスナップショットの参照 • 継続的に更新されるデータに対する⼀貫性を確保した参照

rights reserved. Iceberg によるデータレイクのレベルアップ 10 /data /metadata Snapshot 1 Snapshot 2 Snapshot 3 Amazon S3 AWS Glue Data Catalog Iceberg テーブルのデータ配置のイメージメタデータ構造の⼯夫により利便性の向上と⾼速化を実現 aaa001.parquet aaa002.parquet aaa003.parquet aaa004.parquet 利便性向上 • テーブル単位の同時書き込み / 読み取りの⼀貫性を保証 • 過去バージョンへのタイムトラベル • スキーマ、パーティション、ソート順をメタデータのみで変更可能 • パーティション構造を物理構造と分離して定義⾼速化 • 階層型のメタデータ構造と統計情報、ソート戦略などによるデータアクセスの効率化 • ⾏レベルの更新を効率化する機能を搭載 (Merge on Read, コンパクション)

rights reserved. Iceberg テーブル操作のイメージ: DDL 11 -- テーブル作成 CREATE TABLE prod.db.sample ( id bigint NOT NULL COMMENT 'unique id’, data string) USING iceberg; -- CTAS CREATE TABLE prod.db.sample USING iceberg AS SELECT ... -- DROP DROP TABLE prod.db.sample; -- ALTER ALTER TABLE prod.db.sample ADD COLUMNS ( new_column string comment 'new_column docs' ); 上記は Spark SQL ベース。基本的なクエリの記法は他のクエリエンジンでも共通化されている

rights reserved. Iceberg テーブル操作のイメージ: DML 12 -- INSERT INSERT INTO local.db.table VALUES (1, 'a'), (2, 'b'), (3, 'c’); -- UPDATE UPDATE tablename SET xx=yy[,...] [WHERE predicate] -- SELECT SELECT * FROM prod.db.table.files; -- Time travel SELECT * FROM prod.db.table TIMESTAMP AS OF '1986-10-26 01:21:00’; SELECT * FROM prod.db.table VERSION AS OF 10963874102873; -- MERGE (UPSERT) MERGE INTO local.db.target t USING (SELECT * FROM updates) u ON t.id = u.id WHEN MATCHED THEN UPDATE SET t.count = t.count + u.count WHEN NOT MATCHED THEN INSERT *; 上記は Spark SQL ベース。基本的なクエリの記法は他のクエリエンジンでも共通化されている

rights reserved. Iceberg の本質はテーブルフォーマット 14 「Apache Iceberg」という独⽴したソフトウェアが存在するわけではない • オープンソースの「Iceberg テーブル仕様」がテーブルの構造と振る舞いを定義 • 各ツールがテーブル仕様に従ってデータを操作することで、同じテーブルを共有できる • Iceberg のテーブル仕様をどの範囲で / どのようにサポートするかは各ツールに依存する点は注意が必要 Iceberg テーブル仕様のイメージ manifest list Manifest File Manifest File Manifest File Data Files Data Files Data Files S2 manifest list metadata file Db1.table1 S1 metadata file S1 メタデータ層データ層 Iceberg カタログ

rights reserved. 15 クエリエンジン間でテーブルを共有 Iceberg を通じて様々なツールが同⼀のテーブル、トランザクションを共有できる Amazon Redshift AWS Glue Amazon Athena Python (PyIceberg) Iceberg テーブルを操作可能なツールの例 Amazon EMR Amazon Managed Service for Apache Flink Iceberg テーブル仕様のイメージ manifest list Manifest File Manifest File Manifest File Data Files Data Files Data Files S2 manifest list metadata file Db1.table1 S1 metadata file S1 メタデータ層データ層 Iceberg カタログ

rights reserved. Apache Iceberg の構成要素 16 • Iceberg を読み書きするツール (クエリエンジン) • 各ツールが Iceberg のテーブル仕様に準拠してテーブルを操作する • Iceberg カタログ • テーブル情報の管理とトランザクションの⼀貫性の保証を担う • 様々なカタログ実装が存在 • AWS Glue Data Catalog(Glue API / REST Endpoint) 等 • ストレージ • テーブルの実データとメタデータを配置する • 従来のデータレイクと同様に、信頼性が⾼くスケーラブルで、コスト効率の良いストレージを使⽤する

rights reserved. AWS における Iceberg の活⽤ 17 ビジネスデータカタログ Amazon SageMaker Data & AI Governance アクセスコントロールとデータ共有データ品質管理データリネージ AI ガバナンス安全かつ効率的なデータ活⽤を⽀えるガバナンス Amazon Data Firehose Amazon Managed Service for Apache Flink Amazon EMR Amazon Glue 多様なデータソースとの Zero-ETL 統合 SAP OData, ServiceNow Zendesk, Zoho CRM, Salesforce … etc Iceberg を中⼼に構成されるオープンなレイクハウス Amazon SageMaker Lakehouse ⽬的別ストレージ AWS Glue Iceberg REST endpoint / REST extension endpoint オープンソースの Iceberg をより便利にする仕組みをワンストップで提供 Redshift Managed Storage S3 汎⽤バケット S3 テーブルバケット AWS Glue Data Catalog AWS Glue API Iceberg をネイティブに利⽤できるクエリエンジン群 Amazon SageMaker Unified Studio 3 rd Party クエリエンジン連携 Iceberg テーブルへの幅広い連携⽅式 Amazon EMR Amazon Glue Amazon RedshiftAmazon Athena

rights reserved. AWS における Iceberg の活⽤ 18 ビジネスデータカタログ Amazon SageMaker Data & AI Governance アクセスコントロールとデータ共有データ品質管理データリネージ AI ガバナンス安全かつ効率的なデータ活⽤を⽀えるガバナンス Amazon Data Firehose Amazon Managed Service for Apache Flink Amazon EMR Amazon Glue 多様なデータソースとの Zero-ETL 統合 SAP OData, ServiceNow Zendesk, Zoho CRM, Salesforce … etc Iceberg を中⼼に構成されるオープンなレイクハウス Amazon SageMaker Lakehouse ⽬的別ストレージ AWS Glue Iceberg REST endpoint / REST extension endpoint オープンソースの Iceberg をより便利にする仕組みをワンストップで提供 Redshift Managed Storage S3 汎⽤バケット S3 テーブルバケット AWS Glue Data Catalog AWS Glue API Iceberg をネイティブに利⽤できるクエリエンジン群 Amazon SageMaker Unified Studio 3 rd Party クエリエンジン連携 Iceberg テーブルへの幅広い連携⽅式 Amazon EMR Amazon Glue Amazon RedshiftAmazon Athena

rights reserved. AWS における Iceberg のストレージの選択肢 19 ユースケースに応じて柔軟な選択が可能 Redshift Managed Storage S3 汎⽤バケット S3 テーブルバケット • 汎⽤ S3 バケットと Glue Data Catalog を組み合わせて Iceberg テーブルを構成 • Key/prefixの設計や、テーブルを構成するデータを直接管理する • カスタマイズ性が⾼く、Iceberg や S3 の機能を隅々まで活かすことができる • Glue Data Catalog によってコストと性能の⾃動最適化が可能 • 表形式データに最適化された新しいバケットタイプで、Iceberg をフルマネージドに提供 • API のみを通じてテーブルの内部的な仕組みを意識することなく、安全かつ効率的に Iceberg を利⽤できる • S3 テーブルバケット単独でコストと性能の⾃動最適化機能を備える • Amazon Redshift のストレージである Redshift Managed Storage(RMS) 上のテーブルに対して Iceberg REST API によるアクセスが可能 • データレイクとデータウェアハウスのカタログやアクセスコントロールを共通化、両者の統合運⽤を加速する

rights reserved. AWS における Iceberg のストレージの選択肢 20 ユースケースに応じて柔軟な選択が可能 Redshift Managed Storage S3 汎⽤バケット S3 テーブルバケット • 汎⽤ S3 バケットと Glue Data Catalog を組み合わせて Iceberg テーブルを構成 • Key/prefixの設計や、テーブルを構成するデータを直接管理する • カスタマイズ性が⾼く、Iceberg や S3 の機能を隅々まで活かすことができる • Glue Data Catalog によってコストと性能の⾃動最適化が可能 • 表形式データに最適化された新しいバケットタイプで、Iceberg をフルマネージドに提供 • API のみを通じてテーブルの内部的な仕組みを意識することなく、安全かつ効率的に Iceberg を利⽤できる • S3 テーブルバケット単独でコストと性能の⾃動最適化機能を備える • Amazon Redshift のストレージである Redshift Managed Storage(RMS) 上のテーブルに対して Iceberg REST API によるアクセスが可能 • データレイクとデータウェアハウスのカタログやアクセスコントロールを共通化、両者の統合運⽤を加速する

rights reserved. S3 テーブルバケットの構成要素 21 S3 table bucket Apache Iceberg Tables namespaces • テーブルバケット • 表構造データに特化したバケットタイプ • テーブルバケットごとに固有の ARN を持ち、 IAM ベースのリソースポリシーを設定できる • ネームスペース • テーブルバケット内のテーブルをまとめる論理的な名前空間 • 各テーブルは単⼀のネームスペースに属する • テーブル • Iceberg 形式のテーブル • 内部的に Iceberg のデータ、メタデータを管理 • テーブルごとに固有の ARN を持ち、IAM ベースのリソースポリシーを設定できる

rights reserved. S3 テーブルの⾃動最適化 22 コストと性能の最適化に必要なメンテナンスを⾃動で実施メンテナンス単位メンテナンス項⽬デフォルトの値何をするのかなぜそうするのか注意点 S3 テーブル Compaction テーブルのファイルをクエリに最適な単位にまとめる targetFileSizeMB: 512 ⼩さいサイズのオブジェクトを 512MBほどに束ねつつ、「削除ファイル」による論理削除を実データに反映する参照するファイルの数が増えるので、性能も出づらく、コストも割⾼ Apache Parquet ファイルタイプのみ Minimum 64MB Snapshot management 古くなったスナップショットを削除する(non current にする) minSnapshotsToKeep :1 maxSnapshotAgeHou rs: 120 少なくとも1世代のスナップショットを保持する。120時間経過したらスナップショットを期限切れとするスナップショットを削除すると、その参照先オブジェクトを noncurrent扱いにすることができる Metadata.json の扱う retentionではない(*) Minimum 1世代1h S3 テーブルバケット Unreferenced file removal どの Snapshot からも参照されていないファイル (orphan file)の削除 unreferencedDays:3 nonCurrentDays:10 unreferencedDaysの⽇数 Snapshot から参照されていないオブジェクトをnon current扱いとし、 non current の状態で nonCurrentDaysの⽇数経過したobjectを削除する使われていないオブジェクトを保持しつづけるのは、コストの観点で健全ではない Noncurrent扱いとしたobjectの削除は Undeleteできない Minimum 1⽇

rights reserved. S3 テーブルの⾃動最適化 23 コストと性能の最適化に必要なメンテナンスを⾃動で実施メンテナンス単位メンテナンス項⽬デフォルトの値何をするのかなぜそうするのか注意点 S3 テーブル Compaction テーブルのファイルをクエリに最適な単位にまとめる targetFileSizeMB: 512 ⼩さいサイズのオブジェクトを、論理削除を⽰すファイルを 512MBほどに束ねる参照するファイルの数が増えるので、性能も出づらく、コストも割⾼ Apache Parquet ファイルタイプのみ Minimum 64MB Snapshot management 古くなったスナップショットを削除する(non current にする) minSnapshotsToKeep :1 maxSnapshotAgeHou rs: 120 少なくとも1世代のスナップショットを保持する。120時間経過したらスナップショットを期限切れとするスナップショットを削除すると、その参照先オブジェクトを noncurrent扱いにすることができる Metadata.json の扱う retentionではない(*) Minimum 1世代1h S3 テーブルバケット Unreferenced file removal どの Snapshot からも参照されていないファイル (orphan file)の削除 unreferencedDays:3 nonCurrentDays:10 unreferencedDaysの⽇数 Snapshot から参照されていないオブジェクトをnon current扱いとし、 non current の状態で nonCurrentDaysの⽇数経過したobjectを削除する使われていないオブジェクトを保持しつづけるのは、コストの観点で健全ではない Noncurrent扱いとしたobjectの削除は Undeleteできない Minimum 1⽇

rights reserved. • Iceberg テーブルではトランザクションの度にデータファイルが作成される • テーブルを参照するクエリが多数のファイルを参照する場合、ファイル操作のオーバーヘッドが課題になる場合がある • 適宜細かいファイルをまとめるコンパクション運⽤が必要になる細かいデータファイルのコンパクション 24 Iceberg Table 過度に細かいデータファイル Iceberg Table 適切なサイズのデータファイルコンパクション

rights reserved. • 論理削除モード(Merge on Read) で⾏を更新 / 削除した際、書込み性能の最適化のため「削除ファイル」が作成される • 読み取りクエリは参照時にデータファイルと削除ファイルの情報をマージする必要があり、そのオーバーヘッドが課題になる場合がある • 適宜削除ファイルをデータファイルに纏めるコンパクション運⽤が必要になる削除ファイルのコンパクション 25 Iceberg Table Iceberg Table コンパクションデータファイル削除ファイルデータファイル内のレコードの論理削除情報を削除ファイルに保持デーファイル削除情報を統合したデータファイルを作成

rights reserved. 不要なスナップショットの削除 27 • Iceberg テーブルではトランザクションの度にスナップショットを保存する • スナップショットの過去履歴をバージョン管理することで、同時実⾏制御やタイムトラベル、ロールバックなどが可能になる • ⼀⽅で、不要なスナップショットを無制限に蓄積してしまうと、ストレージコストが課題になる • 適宜不要になったスナップショットを削除する運⽤が必要になる manifest list manifest File manifest File manifest File Data Files Data Files data Files S2 メタデータ層データ層 manifest list metadata file Iceberg カタログ Db1.table1 S1 metadata file S1

rights reserved. スナップショットに参照されないファイルの削除 29 • Iceberg テーブルでは、トランザクションの過程でどのスナップショットからも使⽤されないファイルが作成される場合がある • 例︓同時書き込みに失敗してコミットされなかったスナップショット • テーブルを運⽤していくうちに、ストレージに不要なファイルが溜まってしまう • 適宜スナップショットに参照されないファイルを削除する運⽤が必要になる manifest list manifest File manifest File manifest File Data Files Data Files data Files S2 メタデータ層データ層 manifest list metadata file Iceberg カタログ Db1.table1

rights reserved. AWS CLI での S3 テーブル作成の流れ (1/2) 31 # テーブルバケット作成 aws s3tables create-table-bucket --name <bucket name> # バケットの ARN 確認 aws s3tables list-table-buckets # ネームスペース作成 aws s3tables create-namespace ¥ --table-bucket-arn <table bucket arn> ¥ --namespace <namespace name> ＊ネームスペース、テーブルの作成は PyIceberg や Spark などからも可能＊パーティション定義など⼀部の DDL は CLI 未対応

rights reserved. AWS CLI での S3 テーブル作成の流れ (2/2) 32 # テーブル作成 aws s3tables create-table --cli-input-json file://mytabledefinition.json { "tableBucketARN": ”<tableBucketARN>", "namespace": ”<namespace name>", "name": ”<table name>", "format": "ICEBERG", "metadata": { "iceberg": { "schema": { "fields": [ {"name": "id", "type": "int","required": true}, {"name": "name", "type": "string"}, {"name": "value", "type": "int"} ] } } } } mytabledefinition.json の例＊ネームスペース、テーブルの作成は PyIceberg や Spark などからも可能＊パーティション定義など⼀部の DDL は CLI 未対応テーブル定義

rights reserved. S3 テーブルへのアクセスフロー (1/2) 33 S3 テーブル単体でのアクセスパターン S3 テーブル単体でのアクセスと、AWS Lake Formation との統合が可能 S3 テーブル S3 Tables Catalog Library (Jar) Iceberg をサポートするクエリエンジン(Spark on EMR 等) • Iceberg をサポートするエンジンに S3 Tables Catalog の jar を導⼊してアクセス • Amazon S3 と AWS IAM のみで完結するシンプルなアクセスフロー https://github.com/awslabs/s3-tables-catalog IAM

rights reserved. S3 テーブルへのアクセスフロー (2/2) 34 AWS Lake Formation との統合アクセスパターン (Preview) S3 テーブル単体でのアクセスと、AWS Lake Formation との統合が可能 • S3 Tables 以外のストレージを使⽤した Iceberg テーブルとの統合管理が可能 • AWS Lake Formation の認可モデルを導⼊ • 様々なデータ分析サービスからのアクセスが可能 S3 テーブル AWS Glue Data Catalog AWS Lake Formation Iceberg をサポートするクエリエンジン Amazon EMR Amazon Athena Amazon Redshift

rights reserved. 35 https://github.com/awslabs/s3-tables-catalog

rights reserved. デモ: Amazon Athena と Python から S3 テーブルにクエリする 36 Amazon Athena Python (PyIceberg) S3 table bucket Apache Iceberg Tables namespaces AWS Glue Data Catalog AWS Lake Formation PyIceberg: Iceberg テーブルの操作に使える軽量な Python クライアント Amazon Athena: S3 などのデータをインタラクティブに分析できるサーバレスなクエリサービス。並列処理により⼤規模なデータにも対応可能 AWS Lake Formation: 様々なテーブルへのシンプルかつきめ細やかなアクセス制御を実現 AWS Glue Data Catalog: テーブルのテクニカルメタデータを保管するリポジトリ

rights reserved. PyIceberg で S3 Tables を操作する⼿順 37 https://aws.amazon.com/blogs/storage/access-data-in-amazon-s3- tables-using-pyiceberg-through-the-aws-glue-iceberg-rest-endpoint/

rights reserved. (補⾜) Iceberg 利⽤上の留意点 38 • RDBMS の代替になるものではない • トランザクションの分離は原則テーブル単位 • レコードの⼀意性を保証する仕組みはない • 性能特性は OLAP 指向であり、低遅延なクエリレスポンスや⼤量・⾼頻度の同時書き込みに特化した作りにはなっていない • 各種クエリエンジンが Iceberg テーブル仕様をどこまで / どのようにサポートするかは個別に確認が必要 • コストと性能を最適化するため、適切なテーブルメンテナンスが必要になる Iceberg の特徴を踏まえて、ユースケースを⾒極めた設計・運⽤が重要

rights reserved. まとめ 39 • Apache Iceberg はテーブルデータを⾼速かつ便利に扱う仕組みを備えており、従来のデータレイクの課題を解決する • 様々なクエリエンジンが Iceberg のテーブルフォーマットを共有することで、シームレスに繋がることができる • AWS はオープンソースの Iceberg をより便利に扱う仕組みをワンストップで提供している • AWS で Iceberg を利⽤する際のストレージは⽬的に合わせて選択できる • S3 テーブルバケットはAPI のみを通じてテーブルの内部的な仕組みを意識することなく、安全かつ効率的に Iceberg を利⽤できる

Apache Iceberg を学び Amazon S3 Tables を活用しよう

Apache Iceberg を学び Amazon S3 Tables を活用しよう

More Decks by bering

Featured

Transcript

Apache Iceberg を学びAmazon S3 Tables を活用しよう