Upgrade to Pro — share decks privately, control downloads, hide ads and more …

re:Invent 2025 re:Cap Lakehouse編 (Glue / Redshi...

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers.

re:Invent 2025 re:Cap Lakehouse編 (Glue / Redshift / Athena / S3 Tables)

BigData-JAWS 勉強会 #31 にて実施した 「re:Invent 2025 re:Cap - Lakehouse 関連アップデート」の資料です。

Avatar for Katsuya Matsuoka

Katsuya Matsuoka

February 26, 2026

More Decks by Katsuya Matsuoka

Other Decks in Technology

Transcript

  1. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. re:Invent 2025 re:Cap Lakehouse編 (Glue / Redshift / Athena / S3 Tables) Katsuya Matsuoka B I G D A T A - J A W S 勉 強 会 # 3 1 最 新 U P D A T E セ ッ シ ョ ン Solutions Architect 2026/02/26
  2. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 松岡 勝也 / Katsuya Matsuoka 所属︓ アマゾン ウェブ サービス ジャパン合同会社 技術統括本部 通信・メディア技術本部 メディア・広告ソリューション部 ソリューションアーキテクト 好きなサービス︓ ⾃⼰紹介 Amazon SageMaker AWS CDK AWS Glue @ktsmats 2
  3. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • Lakehouse • Glue • Redshift • Athena • S3 Tables 3 アジェンダ
  4. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Lakehouse 4
  5. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Open Data Lakehouse Data & AI Governance データ処理 Amazon EMR AWS Glue Amazon Athena モデル開発 Amazon SageMaker AI ⽣成 AI アプリ開発 Amazon Bedrock ストリーミング Amazon MSK Amazon Kinesis ビジネス インテリジェンス Amazon Quick Sight 検索分析 Amazon OpenSearch Service C O M I N G S O O N C O M I N G S O O N Unified Studio SQL 分析 Amazon Redshift 5
  6. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Apache Iceberg 互換のエンジンから READ / WRITE Amazon Redshift data warehouses Amazon S3 data lakes A P A C H E I C E B E R G O P E N A P I Fine-grained access control AWS Glue Data Catalog Amazon SageMaker のレイクハウスアーキテクチャ 6
  7. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Zero-ETL フェデレーテッド クエリ カタログ フェデレーション データ連携⽅法 7 N E W
  8. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Simple to set up Easy to manage Powerful analytics zero-ETL integration 複雑なパイプライン管理を排除し、 コストとリソースを最適化 データベースへのニアリアルタイムの インサイト︓ アプリケーションからのデータを統合 することでインサイトを促進 DynamoDB RDS for MySQL Aurora MySQL Aurora PostgreSQL ServiceNow Salesforce SAP Adobe Analytics ZenDesk HubSpot Google Analytics Microsoft Dynamics Zero-ETL Amazon Redshift Amazon S3 Amazon S3 Tables 8
  9. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Redshift への Zero-ETL が 23 のデータソースをサポート サードパーティ アプリケーション Salesforce SAP ServiceNow Salesforce Marketing Zendesk Instagram Ads Facebook Ads Zoho CRM Amazon Redshift セルフ マネージド データベース RDS for Oracle/ RDS for PostgreSQL Oracle Database@AWS DynamoDB Amazon Aurora MySQL/ PostgreSQL RDS for MySQL AWS データベース ソース ターゲット 9 N E W N E W MySQL PostgreSQL SQL Server Oracle N E W
  10. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. S3 への Zero-ETL Salesforce SAP ServiceNow Salesforce Marketing Zendesk Instagram Ads Facebook Ads Zoho CRM Amazon S3 サードパーティ アプリケーション AWS データベース ソース ターゲット 10 DynamoDB
  11. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. S3 Tables への Zero-ETL Salesforce SAP ServiceNow Salesforce Marketing Zendesk Instagram Ads Facebook Ads Zoho CRM DynamoDB Amazon S3 Tables サードパーティ アプリケーション ソース ターゲット N E W AWS データベース 11
  12. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Glue Data Catalog Iceberg テーブルの カタログフェデレーション Amazon S3 上のサードパーティ Iceberg カタログを介しデータの移動・コピーなしで 直接アクセス Glue とサードパーティカタログのリアルタ イムなメタデータ同期による最新の状態をク エリ可能に AWS の分析エンジンでデータの発⾒とクエ リが可能 12 https://aws.amazon.com/jp/blogs/news/introducing-catalog-federation-for-apache-iceberg-tables-in-the-aws-glue-data-catalog/ N E W
  13. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. AWS 1P 分析エンジン Open lakehouse 3P Iceberg REST Catalog 最新のテーブル メタデータを Iceberg REST API から取得 メタデータ の読取 S3上のデータへアクセス 1 2 3 3P Iceberg REST Catalog のフェデレーション 13 N E W
  14. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. データ連携機能の⽐較 Zero-ETL フェデレーテッドクエリ カタログフェデレーション データ鮮度 ニアリアルタイム *ソース・ターゲットに依る ソースデータへリアルタイムアクセス ソースデータへリアルタイムアクセス クエリ性能 複雑なクエリや集計が⾼速 ⼤規模なデータセットに対する 複雑なクエリや集計は相対的に低速 複雑なクエリや集計が⾼速 ユースケース 頻繁にアクセスする⼤規模 データセット 定期的なレポート・分析・ データウェアハウス ワークロード・履歴分析 アクセス頻度が低いもしくは⼩規模な データセット アドホッククエリ・データ探索 頻繁にアクセスする⼤規模 データセット 定期的なレポート・分析 14
  15. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Apache Iceberg V3 サポート Variant 半構造化データを 効率的に取り扱う Default Deletion Vector Row Lineage 書き込み性能の 最適化 スケーラブルな 変更追跡 デフォルト値の設定で パイプラインを簡素化 15 https://aws.amazon.com/jp/blogs/news/accelerate-data-lake-operations-with-apache-iceberg-v3-deletion-vectors-and-row-lineage/ N E W
  16. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Glue Data Catalog Iceberg テーブルの マテリアライズドビュー Spark SQL で宣⾔的にデータを変換し、 マネージドな Iceberg テーブルとして永続化 Spark エンジンによるデータレイクへのクエ リパフォーマンスを最⼤ 8x 向上 AWS の Sparkエンジンはマテリアライズド ビューを使⽤できる場合は⾃動的にクエリを 書き換えて性能が向上 AWSの1stパーティおよび3rdパーティエンジ ンからIcebergテーブルとしてアクセス可能 16 N E W https://aws.amazon.com/jp/blogs/news/introducing-apache-iceberg-materialized-views-in-aws-glue-data-catalog-2/
  17. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Redshift 17
  18. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Redshift Apache Iceberg テーブルへの書き込み 追記専⽤ワークロードで読み取り・書き 込みクエリを実⾏ CREATE TABLE、CTAS、INSERT、DROP TABLE、SHOW TABLE に対応 完全な ACID サポート – トランザクショ ンの⼀貫性を保ったデータレイククエリ を実現 データウェアハウス、データレイク、レ イクハウスワークロードで最⾼のコスト パフォーマンスを実現 18 https://aws.amazon.com/jp/about-aws/whats-new/2025/11/aws-redshift-iceberg-writes-m1/ N E W
  19. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Redshift Apache Iceberg テーブルへの JIT (Just in Time) ANALYZE Iceberg テーブルで⾼性能な読み取り・ 書き込み分析クエリを実⾏ クエリ実⾏時に Iceberg テーブルの統計 情報を⾃動収集・活⽤し、最適なクエリ 実⾏計画を作成 19 https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-redshift-jit-analyze-apache-iceberg-tables/ N E W
  20. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Redshift フェデレーテッド アクセス許可 マルチウェアハウス環境での権限管理を 簡素化 マルチウェアハウス環境でセキュリティ と FGAC コンプライアンスを強化 マルチウェアハウスクエリのユーザー体 験を向上 ガバナンスの複雑化を避けながら、ス ケールアウトを実現 20 What’s New: https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-redshift-federated-permissions-multi-warehouse-architectures/ Blog: https://aws.amazon.com/jp/blogs/news/simplify-multi-warehouse-data-governance-with-amazon-redshift-federated-permissions/ N E W
  21. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon Athena 21
  22. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Athena キャパシティ予約の コストとパフォーマンス のコントロール クエリ単位で DPU 使⽤量を細かく調整 ワークグループ単位で デフォルト値を設定可能 新しいキャパシティの モニタリングが追加 22 N E W https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-athena-capacity-reservation-controls/
  23. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Athena キャパシティ予約の ⾃動スケーリング 設定した使⽤率の閾値に応じてキャパシ ティを⾃動調整 CloudFormation、CloudWatch、 StepFunctions をベースに構築されてお り簡単にカスタマイズ可能 23 N E W https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-athena-capacity-auto-scaling/
  24. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon S3 Tables 24
  25. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. S3 Tables Intelligent-Tiering ストレージクラス ストレージコストを最⼤ 80% 削減 アクセスパターンに応じて3つのアクセス 階層へデータを⾃動振り分け コンパクション機能により、アクティブ データの性能を維持しながらメンテナンス コストを低減 アプリケーション変更不要、データ取得料 ⾦も無料 25 https://aws.amazon.com/jp/blogs/news/announcing-replication-support-and-intelligent-tiering-for-amazon-s3-tables/ N E W
  26. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. S3 Tables Iceberg テーブルの ⾃動レプリケーション 異なるリージョン・アカウントへの⾃動 レプリケーション グローバルデータ共有により低レイテン シのアクセスを実現 コンプライアンスやバックアップ⽤の読 み取り専⽤のレプリカを簡単に管理 クエリレスポンス低下なしで、マニュア ルレプリケーション作業を完全に⾃動化 26 https://aws.amazon.com/jp/blogs/news/announcing-replication-support-and-intelligent-tiering-for-amazon-s3-tables/ N E W
  27. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. S3 Tables CloudWatch メトリクス のサポート ストレージとメンテナンスのオペレー ションのリクエストメトリクスを分単位 で可視化し、⽇次インサイトを取得 テーブルバケット、ネームスペース、個 別テーブルの各レイヤーでメトリクスを 確認可能 27 https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-s3-tables-cloudwatch-metrics/ N E W
  28. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. 28 まとめ • Glue • Zero-ETL / カタログフェデレーション / Iceberg V3 / マテリアライズドビュー • Redshift • Iceberg テーブル書き込み / JIT ANALYZE / フェデレーテッドアクセス許可 • Athena • キャパシティ予約 (コントロール / ⾃動スケーリング) • S3 Tables • Intelligent-Tiering / ⾃動レプリケーション / CloudWatch メトリクス
  29. © 2026, Amazon Web Services, Inc. or its affiliates. All

    rights reserved. Amazon Confidential and Trademark. Thank you! © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Katsuya Matsuoka @ktsmats