猫でもわかるS3 Tables(その後編)

2025/11/18 JAWS-UG 横浜 #89 AWS re:Invent 2025 "Pre":Cap
発表資料

Transcript

1. © 2025 NTT TechnoCross Corporation 猫でもわかる S3 Tables( その後編) 2025/11/18 JAWS -UG 横浜 #89 AWS re:Invent 2025 "Pre":Cap NTT テクノクロス株式会社 加藤 洋雄
2. © 2025 NTT TechnoCross Corporation 2 自己紹介 ◼NTT テクノクロス株式会社 AWS 業務歴5 年弱 加藤 洋雄 (X ： @kamogashira) ◼AWS 認定 ⚫2024 、 2025 Japan AWS All Certifications Engineers ◼JAWS -UG 歴 ⚫JAWS -UG 朝会： LTx 2 回、 セッション x 3 回(主に朝会で活動しています ) ⚫JAWS -UG CDK 支部： AWS CDK Conference Japan 2024 、 2025 現地参加 ⚫JAWS -UG AI/ML ： 2 回 LT 発表しました ◼うさぎのけんた (ネザーランドドワーフ )の飼い主 けんたのオリジナルイラストです X のアイコンにも使用しています
3. © 2025 NTT TechnoCross Corporation 3 はじめに ◼本発表はre:Invent 2024 にて発表された Amazon S3 Tables についてこの１ 年の進化と、なぜ昨年 S3 Tables がGA されたかを Apache Iceberg 目線で紹介 します。 ◼本発表は「 2025/05/13 JAWS -UG 朝会 #69 猫でもわかる S3 Tables 【 Apache Iceberg 編】 」に加筆した Qiita 記事(*1) の続編になります。 *1 ： https://qiita.com/kamogashira/items/8353b36f6ef3f851ecfd
4. © 2025 NTT TechnoCross Corporation 4 Amazon S 3と 言えば何を想像しますか ？ わたしはごく 少数派ですが、 Amazon S 3 Tables です
5. © 2025 NTT TechnoCross Corporation 5 今年のre:Invent で新たな S3 サービスが発表されたらカオス。。。 ◼これ以上 S 3サービス増えたらもうついていく自信ないです 。。。。。 ◼Kiro CLI でまとめた 「 猫でもわかる S 3 Tables (2025 年11 月15 日版)」 抜粋です *1 ： https://github.com/kamogashira -sys/s3 -tables -docs 大きく 4種類 無印S3 でもストレージクラスが増加傾向
6. © 2025 NTT TechnoCross Corporation 6 補足： 11 月15 日付S 3まとめサイト 作りました ◼「 猫でもわかる S 3 Tables (2025 年11 月15 日版)」 (*1)をGitHub に作成しました ◼今回の発表のためKiro CLI( 旧Q Developer CLI) を使用して S 3 Tables を調査 ◼S 3 Tables だけでなく Glue Catalog など関連するサービスもまとめました ◼姉妹サイト 「 猫でもわかる Amazon Q Developer CLI 解体新書」 (*2)もあります *1 ： https://github.com/kamogashira -sys/s3 -tables -docs *2 ： https://github.com/kamogashira -sys/q -cli -docs
7. © 2025 NTT TechnoCross Corporation 7 今日はマイナー (*1) なS3 Tables の話 *1 ：自分調べ
8. © 2025 NTT TechnoCross Corporation 8 S3 Tables の関連知識 ◼基盤技術 ⚫Open Table Format(OTF) ：ベンダー非依存のテーブル仕様 ⚫Apache Iceberg ：ほぼデファクトスタンダードになった OTF 規格 ⚫Apache Iceberg on AWS( *1 )： S 3 上でIceberg を自己管理する方式 ◼AWS 分析サービス ⚫Amazon Athena ： S 3 Tables の主要なクエリエンジン ⚫AWS Glue Data Catalog ：メタデータ管理の中核 ⚫Amazon EMR ：大規模データ処理での利用 ⚫Amazon Redshift ：データウェアハウス統合 *1 ： https://qiita.com/kamogashira/items/ 8353 b 36 f 6ef 3f 851 ecfd
9. © 2025 NTT TechnoCross Corporation 9 S3 Tables を知る上でのおすすめ資料 AWS ジャパン社員さんの良質な資料がたくさんあります
10. © 2025 NTT TechnoCross Corporation 10 2025 年国内でのApache Iceberg に関する主要イベント ◼各イベントで良質な資料が発表されています # リリース 日 内容 1 2025/05/14 【 AWS 主催】 Apache Iceberg on AWS ミートアップ ～話題のIceberg をAWS で 徹底活用～ Blog 記事(資料リンク有 )： https://aws.amazon.com/jp/blogs/news/iceberg -on -aws -2025 -05/ 2 2025/06/02 【 Storage JAWS & BigData JAWS 共同開催】 パネルディスカッション Open Table Format × AWS データレイクのこれからを語ろう →複数のApache Iceberg 関連セッション 資料： https://storage -jaws.connpass.com/event/353752/presentation/ 3 2025/06/18 Apache Iceberg Meetup Japan #2 資料： https://iceberg.connpass.com/event/354741/presentation/ 4 2025/06/25 【 AWS Summit Japan 2025 】 S3 Tables 、 Apache Iceberg on AWS 関連セッション 5 2025/09/22 Apache Iceberg Meetup Japan #3 https://iceberg.connpass.com/event/364492/presentation/ 6 2025/10/28 【 BigData -JAWS 】 勉強会 #30 Apache Iceberg 勉強会 https://jawsug -bigdata.connpass.com/event/371174/presentation/
11. © 2025 NTT TechnoCross Corporation 11 おすすめ資料その１： OTF について ◼おすすめ資料 ⚫10 /29 開催： JAWS -UG 初心者支部/JAWS -UG ビックデータ支部 (*1) ⚫資料名： Open Table Format(OTF) が必要になった背景とその機能 (*2) (*1) https://jawsug -bigdata.connpass.com/event/ 371174 / (*2)https://speakerdeck.com/simosako/open -table -format -otf -gabi -yao -ninatutabei -jing -tosonoji -neng -2025 -dot -10 -dot -28
12. © 2025 NTT TechnoCross Corporation 12 おすすめ資料その２： Apache Iceberg on AWS について ◼おすすめ資料 ⚫5 /14 開催： Apache Iceberg on AWS ミートアップ (*1 ) ⚫資料名： Apache Iceberg on AWS( *2) (*1) https://aws.amazon.com/jp/blogs/news/iceberg -on -aws -2025 -05/ (*2)https://pages.awscloud.com/rs/112 -TZM -766/images/20250514_IcebergMeetup_onAWS.pdf
13. © 2025 NTT TechnoCross Corporation 13 おすすめ資料その３： Amazon S3 Tables( ※必読) ◼おすすめ資料 ⚫5 /14 開催： Apache Iceberg on AWS ミートアップ (*1 ) ⚫資料名： Amazon S 3 Tables テーブルバケットと汎用バケット (*2) (*1 ) https://aws.amazon.com/jp/blogs/news/iceberg -on -aws -2025 -05 / (*2 )https://pages.awscloud.com/rs/ 112 -TZM -766 /images/ 20250514 _IcebergMeetup_S 3tables.pdf BlackBelt のS3 資料作成者の鷲尾さん作成資料 S3 スケーリングの仕組みは必読です
14. © 2025 NTT TechnoCross Corporation 14 Apache Iceberg 雑学
15. © 2025 NTT TechnoCross Corporation 15 AWS の外から見た Apache Iceberg ◼世の中のデータの 8割を占めると言われている非構造化データが AI で簡単に分析可能 になってきている ◼ビックデータのコピーはコストがかかる 。 データのコピーは極力回避したい ◼特定のクエリエンジン専用ストレージはベンダーロックインになる ◼2024 年Snowflake 、 Databricks がそろって Apaceh Iceberg をサポート Snowflake と Databricks がApache Iceberg で火花を散らす状況に！ https://www.databricks.com/jp/company/newsroom/press -releases/databricks -agrees -acquire -tabular -company -founded -original -creator s この流れも受け、 AWS も最近 S3 Tables など Apache Iceberg のマネージ ドサービス化に積極的になっている？ 個人の推測
16. © 2025 NTT TechnoCross Corporation 16 O’REILLY Apache Iceberg The Definitive Gude s0 、 s1 はSnapshot の略 【 metadata layer 】 Iceberg テーブルの現在の メタデータポインタを保存 【 data layer 】 data file 格納 【 Iceberg Catalog 】 テーブル名とテーブルの最新の metadata file の場所のマッピング情報 【 metadata list 】 特定のSnapshot に対応する manifest file のlist や統計情報のサマリなど 【 metadata file 】 data file のlist やメタデータ (パス、 ファイル形式、各カラムの統計情報な ど)を管理 【 metadata file 】 特定のSnapshot におけるテーブル 全体のメタ情報を管理 テーブルバージョン管理の核 【 data file 】 Parquet が多い。 ORC 、 Avrog もサポート Apache Iceberg 構成(※Apache Iceberg 資料で必ず出る図 ) ◼Apache Iceberg 構成概略図
17. © 2025 NTT TechnoCross Corporation 17 Apache Iceberg を語る時はバージョン番号に気をつけて ◼ライブラリのリリースバージョン ⚫例: 1 .10 .0（ 2025 年9月リリース ） ⚫Apache Iceberg のJava ライブラリや API のリリース番号 ⚫エンジン互換性やバグ修正を示す ◼テーブルフォーマット仕様のバージョン （ Format Version ） ⚫Iceberg のテーブル構造 ・ メタデータ仕様を定義 。 互換性に影響 ⚫テーブルに保存されるメタデータの構造
18. © 2025 NTT TechnoCross Corporation 18 S3 Tables と Iceberg テーブルフォーマットとの関係 ◼Iceberg テーブルフォーマットバージョン一覧 バージョン 仕様概要 内容 Version1 分析データテーブル 不変のファイル形式 (Parquet 、 Avro 、 ORC) を使用して大規模 な分析テーブルを管理する方法が定義 Version2 行レベルの効率的な 更新・削除 不変のファイルを含む分析テーブルの行レベルの 更新と削除が追加 Version3 データタイプと機能 の拡張 データ型と既存のメタデータ構造が拡張され、新しい機能が追加 (半 構造化型:variant) Version4 (仕様策定中) バッチ分析向けから リアルタイム性重視 リアルタイム性・スケーラビリティ・運用簡素化を重視した設計 ・ S3 Tables はVersion2 ・「 Apache Iceberg on AWS 」ベストプラクティスでの推奨が Version2
19. © 2025 NTT TechnoCross Corporation 19 S3 Tables GA 後の機能追加
20. © 2025 NTT TechnoCross Corporation 20 S3 Tables GA 後の機能追加 ◼GA 後の追加機能一覧(*1 ) ◼まだ実装されていない機能 ⚫マネジメントコンソールからの S 3 Tables の削除機能 *1 ： https://docs.aws.amazon.com/AmazonS3/latest/userguide/WhatsNew.html # リリース日 内容 1 2025/03/13 S3 コンソールでのテーブル作成・クエリサポート追加 2 2025/03/13 SageMaker Lakehouse 統合GA 3 2025/04/16 SSE -KMS （カスタマー管理キー）サポート追加 4 2025/06/18 コンパクション戦略（ Sort 、 Z -order ）追加 5 2025/06/30 CloudTrail イベント（メンテナンス操作）サポート追加 6 2025/11/06 タグサポート（ ABAC 、コスト配分）追加 7 2025/11/17 【 参考】 Redshift がApache Iceberg テーブルへの書き込みをサポート Redshift から Apache Iceberg テーブルへの「書き込み機能」が Redshift Managed Storage (RMS) にも対応。 Redshift はGlue データカタログ経 由でIceberg テーブルを「読み取る」ことが可能になっていた
21. © 2025 NTT TechnoCross Corporation 21 #7 補足：制限多めの機能追加です (あくまでも個人の感想です ) Redshit ＋外部エンジン (Snowflake, Databricks, etc .) - Apache Iceberg 互換クライアント - AWS SigV 4認証 AWS Glue Data Catalog - メタデータ管理 - Lake Formation 権限管理 AWS Glue Iceberg REST Endpoint /iceberg (標準) /extensions (RMS 専用) - CreateTable - StartCreateTableTx - UpdateTable - StartUpdateTableTx - DeleteTable - CheckTransactionStatus S 3(Ice b erg ) - 完全対等 S 3 Table s - 完全対等 RMS(Redshift) - 制限付き ※Kiro CLI でAWS ドキュメントを調査して得た結果なので内容の正確性は保証できません - https://docs.aws.amazon.com/glue/latest/dg/connect -glu -iceberg -rest.html - https://docs.aws.amazon.com/glue/latest/dg/iceberg -rest -apis.html - https://docs.aws.amazon.com/AmazonS3/latest/userguide/s3 -tables -integrating -glue -endpoint.html - https://docs.aws.amazon.com/glue/latest/dg/connect -glue -iceberg -rest -ext.html 公式ドキュメントに明記されており、外部エンジンか らの Iceberg REST API 経由での書き込みが技術的 にサポートされていることは確実。ただし、 RMS への 書き込みは制限が多く、実用性は限定的。 https://glue.<REGION>.amazonaws.com/ extensions https://glue.<REGION>.amazonaws.com/ iceberg ### RMS への書き 込み： 制限付きサポート 技術的には可能だが制約が多い: 1 . 非同期操作 - すべてのDDL/DML 操作が非同期 - トランザクション ID で状態追跡が必要 2 . Redshift 依存 - Redshift managed workgroup の可用性に依存 - 競合するトランザクションの 影響を受ける 3 . 実用性の問題 - レスポンス 時間が不確定 - エラーハンドリングが 複雑
22. © 2025 NTT TechnoCross Corporation 22 re:Invent 2025 でのS 3 Tables 関連発表予想 【 ポジティブ部門 】 ◼Apache Iceberg Version 3 対応 ⚫Version 4の足音が聞こえてきているのでそろそろ対応を期待 ◼他ベンダー Apache Iceberg との互換性向上 ⚫AWS ドキュメント上はかろうじて Snowflake との互換性記載はあるがその他 はみあたらない (*1 ) 【 いい加減対応して欲しい部門 】 ◼マネジメントコンソールから S 3 Tables を削除できるよになる 。 (作成は可能) ⚫GA 時からの制限 。 そろそろどうにかして欲しい 。 ⚫AWS CLI(aws s 3tables delete -table) か統合クエリエンジンから DROP *1 ： https://docs.aws.amazon.com/clean -rooms/latest/userguide/iceberg -tables.html
23. © 2025 NTT TechnoCross Corporation 23 私は今年も re:Invent 現地参加できないです！ 参加される方の情報発信を楽しみにしています 最後に