AWS re:Invent 2025 - Data ＆ AI Updates

今年のre:Inventでは、キーノートでの派手な新サービス発表こそ少なかったものの、既存サービスの成熟度を示す重要なアップデートが多数発表されました。

本記事では、re:Invent直前の39件、期間中の12件を含む計51件のアップデートを、3つの戦略的な柱として整理し、AWSのデータプラットフォームが向かう方向性を読み解いていきます。

Transcript

1. 2025/12/08 クラウド事業本部コンサルティング部 石川 覚 AWS re:Invent 2025 - Data ＆ AI Updates 3つの潮流から読み解く、データ戦略の未来
2. © 2025 Classmethod, Inc. はじめに 1 名前：石川 覚（いしかわ さとる） 所属：クラウド事業本部 担当：コンサルタント、ブログ・登壇等 経歴：メーカーでSE、研究開発 →ITベンチャーで製品開発、受託研究 →クラスメソッド（2014/6〜） 好きなサービス： Amazon Redshift/Athena/Bedrock、 Google BigQuery Sapporo 2020-2025 Japan AWS Top Engineers 2021-2025 Japan AWS All Certifications Engineers
3. © 2025 Classmethod, Inc. ブログ: データアナリティクス通信 2 弊社のブログにて、2022年からクラスメソッド データアナリティクス 通信(AWSデータ分析編)を連載中です！ グ ラ フ ィ カ ル ユ ー ザ ー イ ン タ ー フ ェ イ ス , Web サ イ ト 自 動 的 に 生 成 さ れ た 説 明 https://dev.classmethod.jp/referencecat/classmethod-da-news-aws-analytics/
4. © 2025 Classmethod, Inc. アジェンダ 3 • Data＆AI 戦略の3つの柱 ◦ AIネイティブなデータ基盤の構築 ◦ AIによる自動化とZero-ETLによるデータ連携の簡素化 ◦ Apache Icebergの進化と深化 • Data & AI の主要アップデート
5. © 2025 Classmethod, Inc. Data＆AI 戦略の3つの柱 AWSのデータプラットフォームの方向性 4
6. © 2025 Classmethod, Inc. Data＆AI 戦略の3つの柱 5 re:Invent2025で発表された多数のアップデートは、戦略的テーマに集約、 データプラットフォームの未来を以下の3つの柱にまとめます。 1. AIネイティブなデータ基盤の構築 生成AIワークロードを支えるため、ベクトル検索を中心にインフラの高速化や低 コスト化の追求する。 1. AIによる自動化とZero-ETLによるデータ連携の簡素化 Agentic AIを活用し、データ分類やバージョンアップなど、データエンジニアリ ングの定型業務を自動化。ETLパイプラインの構築・管理を不要にする。 1. Apache Icebergによるレイクハウスの標準化 オープンフォーマットであるApache Icebergをエコシステムの中心に据え、あら ゆるサービスが連携する統一データ基盤を構築する。
7. © 2025 Classmethod, Inc. AIネイティブなデータ基盤の構築 生成AIワークロードを支える高速・低コストなインフラへ 6
8. © 2025 Classmethod, Inc. ベクトル検索の高速化とコスト削減、大規模RAGの現実 7 生成AIの中心であるベクトル検索において、性能とコストの両面で強化。 Amazon OpenSearch Service • GPUによるベクトルインデックス構 築を高速化するGPU acceleration • 最大10倍高速、コストを1/4に削減 • 数十億ベクトル規模のDBを短時間で 構築可能 • AIがレイテンシ、品質、メモリの最 適なバランスを提案し、チューニン グを自動化するAuto-optimization • レイテンシと機能重視 Amazon S3 Vectors • S3を本格的なベクトルストアとして 利用可能 • バケットあたり最大20億ベクトルを 格納するスケーラビリティの向上 • ベクトルのアップロード、保存、ク エリにかかる総コストを最大 90% 削減 • コストとスケール重視
9. © 2025 Classmethod, Inc. AIによる自動化とZero-ETLによるデータ連携の簡素化 Agentic AIによるデータエンジニアリングの変革 8
10. © 2025 Classmethod, Inc. Agentic AIによるデータライフサイクルの全方位戦略 9 データカタログ作成、コードのバージョンアップ、データ分析といった手間 のかかる作業を、AIが能動的に支援する時代へ。 データ分類・発見 Amazon SageMaker Catalog • BedrockのLLMを利 用し、テーブルのスキ ーマ情報からビジネス 用語集に基づきデータ 分類を自動化。機密デ ータ（PII/PHI）の特 定も支援。 運用・保守 Amazon EMR • Apache Spark upgrade agent を提 供。 • AIがアプリケーション コードを分析し、 Sparkのバージョンア ップに伴うAPI変更な どを検知・修正提案。 開発・分析 Amazon SageMaker Notebook • 自然言語プロンプトか らコードやSQLを生 成する組み込みAIエー ジェントを発表。デー タ分析・開発を加速。
11. © 2025 Classmethod, Inc. ETLパイプライン不要、データ統合をシンプルに 10 オンプレミスDB、SaaS、運用データなど、様々なソースからのデータ統合 のETLパイプラインの構築・管理という負担の軽減。 AWS Glue Zero-ETL Integration Self-managed Databases • オンプレミスやEC2上のMySQL, PostgreSQL, Oracle から Amazon RedshiftへのZero-ETL統合を発表。 SAP Entities • SAPエンティティ向けのサポートを拡充。 フルスナップショットや増分データロード に対応。 Amazon CloudWatch Unified Management 運用・セキュリティデータの統合 • サードパーティツールを含む様々なソー スからのデータを、マネージドなETL不 要のデータコレクタで集約・分析可能に。 • データは追加費⽤なしでAmazon S3 Tablesを利⽤してアクセス。
12. © 2025 Classmethod, Inc. Apache Icebergの進化と深化 Iceberg（オープンテーブルフォーマット）がレイクハウスの標準となる 11
13. © 2025 Classmethod, Inc. Apache Iceberg V3 をサポート 12 Iceberg V3の主要機能である削除ベクトルと行レベルのリネージ機能が利用 可能になり、データパイプラインの性能と監査能力が向上。 削除ベクトル（Deletion Vectors） 機能 ファイル全体を書き換えることなく、削除対象行をマ ークとして記録。 特長 データパイプラインの高速化と、データコンパクショ ンに伴うストレージコストを削減。 行レベルのリネージ機能（Row Lineage） 機能 各レコードの作成・変更履歴をメタデータとして自 動追跡。 特長 SQLクエリのみでデータの変更履歴を追跡可能、監 査やCDC要件への対応が容易に。 ※ Iceberg V3の対応アナリティクスサービスは、Amazon EMR 7.12, AWS Glue 5.1
14. © 2025 Classmethod, Inc. Apache Icebergが「共通ストレージフォーマット」に 13 Icebergが単なるストレージフォーマットではなく、サービス間のデータ連携 を司る中心的な役割を担う。 Amazon Redshift / Redshift Serverless • Icebergテーブルへの書き込みサポート。 • JIT ANALYZE機能によるIcebergテーブル統計情報の自 動収集・更新し、パフォーマンスの改善。 CloudWatch / SageMaker Catalog • 運用データやアセットメタデータをS3Tables （Iceberg）として出力。 • ETLなしで即座に分析可能。 AWS Glue • Icebergベースのマテリアライズドビューに対応。クエ リ結果をIcebergテーブルとして事前計算、クエリリラ イトなど、性能を最大8倍向上。 • リモートIcebergカタログのフェデレーション、データ を移動せず、外部で管理されたIcebergテーブルに直接 クエリ可能に。
15. © 2025 Classmethod, Inc. Data & AI の主要アップデート データ処理、オーケストレーション、BI、ガバナンス、オブザーバビリティに関する新機能 14
16. © 2025 Classmethod, Inc. データ処理、オーケストレーション 15 Amazon EMR Serverless ローカルストレー ジ不要、中間デー タをマネージドな サーバレスストレ ージに保存。ジョ ブ失敗回避、コス ト最大20%削減 。 Amazon Athena キャパシティ予約 のオートスケーリ ング。ワークロー ド需要に応じた DPUの自動スケー ルアップ/ダウン 。 Amazon MWAA Serverless フルマネージドの AirFlowのサーバー レスデプロイオプ ション。インフラ のプロビジョニン グやスケーリング が不要に 。 Amazon MSK インテリジェン ト・リバランシン グ。パーティショ ンリバランスを自 動化し、従来比で 最大180倍高速に実 行 。
17. © 2025 Classmethod, Inc. BI、ガバナンス、オブザーバビリティ 16 Amazon Quick Suite QuickFlowsのスケ ジュール実行、 QuickChatのアプ リケーション埋め 込みなど、自動化 と開発者向け機能 を強化 。 AWS Clean Rooms 合成データ生成機 能。元データの統 計的特徴を維持し たまま匿名化され たデータセットを 生成し、プライバ シーを保護 。 AWS Lake Formation 監査コンテキスト サポート。EMRと Glueのジョブ実行 時のコンテキスト をCloudTrailログに 記録し、追跡を強 化 。 Amazon OpenSearch Service Agentic Search。 AIエージェントが 自然言語の意図を 解釈し、最適な検 索戦略を適用し、 推論プロセスを説 明しながら結果を 提供します。
18. © 2025 Classmethod, Inc. 成熟したData & AI関連サービスのさらなる深 化 17 • キーノートでは、新規サービスのリリースやアップデートの紹介はほぼ ありませんでしたが、アップデートは多数。 ◦ re:Invent2025 直前アップデートが39件 ◦ re:Invent2025 期間中アップデートが12件 詳細なアップデート内容については、各記事をご参照ください。 クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2025年12月号 / Pre-re:Invent 2025
19. © 2025 Classmethod, Inc. 補足: re:Invent2025 直前アップデート(1) 18 Amazon QuickSight • 2025/11/25 - Amazon Quick Suite introduces scheduling for Quick Flows Amazon Redshift / Redshift Serverless • 2025/11/17 - Amazon Redshift now supports writes to Apache Iceberg tables • 2025/11/18 - Amazon Redshift now supports Just-In-Time (JIT) ANALYZE for Apache Iceberg tables • 2025/11/18 - Amazon Redshift announces support for the SUPER data type in Databases with Case-Insensitive Collation • 2025/11/24 - Amazon Redshift now supports federated permissions across multi-warehouse architectures Amazon Athena • 2025/11/21 - Amazon Athena launches auto-scaling solution for Capacity Reservations
20. © 2025 Classmethod, Inc. 補足: re:Invent2025 直前アップデート(2) 19 AWS Glue • 2025/11/20 - AWS Glue now supports additional SAP entities as zero-ETL integration sources • 2025/11/21 - AWS Glue launches Amazon DynamoDB connector with Spark DataFrame support • 2025/11/24 - AWS Glue announces catalog federation for remote Apache Iceberg catalogs • 2025/11/25 - Announcing AWS Glue zero-ETL for self-managed Database Sources • 2025/11/26 - Introducing AWS Glue 5.1 • 2025/11/30 - AWS Glue now supports Apache Iceberg based materialized views AWS Clean Rooms • 2025/11/25 - AWS Glue Data Quality now supports pre-processing queries • 2025/11/25 - AWS Glue Data Quality now supports rule labeling for enhanced reporting
21. © 2025 Classmethod, Inc. 補足: re:Invent2025 直前アップデート(3) 20 Amazon SageMaker Unified Studio • 2025/11/06 - Amazon SageMaker announces custom tags for project resources • 2025/11/10 - Amazon SageMaker Unified Studio adds support for catalog notifications • 2025/11/20 - Amazon SageMaker Unified Studio now supports long-running sessions with corporate identities • 2025/11/21 - Announcing notebooks with a built-in AI agent in Amazon SageMaker • 2025/11/21 - Introducing one-click onboarding of existing datasets to Amazon SageMaker • 2025/11/21 - Introducing Amazon SageMaker Data Agent for analytics and AI/ML development Amazon SageMaker Catalog • 2025/11/21 - Amazon Athena for Apache Spark is now available in Amazon SageMaker notebooks • 2025/11/14 - Amazon SageMaker Catalog now supports read and write access to Amazon S3 • 2025/11/19 - Amazon SageMaker Catalog introduces column-level metadata forms and rich descriptions • 2025/11/30 - Amazon SageMaker Catalog provides automatic data classification using AI agents
22. © 2025 Classmethod, Inc. 補足: re:Invent2025 直前アップデート(4) 21 Amazon EMR • 2025/11/20 - Amazon EMR Serverless now supports Apache Spark 4.0.1 (Preview) • 2025/11/21 - Amazon EMR 7.12 now supports the Apache Iceberg v3 table format Amazon OpenSearch Service • 2025/11/19 - Amazon OpenSearch Service announces Cluster Insights for improved operational visibility • 2025/11/24 - OpenSearch Service enhances log analytics with new PPL experience • 2025/11/24 - Amazon OpenSearch Service now supports OpenSearch version 3.3 • 2025/11/25 - Amazon OpenSearch Service introduces Agentic Search Amazon OpenSearch Serverless • 2025/11/04 - Amazon OpenSearch Serverless now supports FIPS compliant endpoints • 2025/11/18 - Amazon OpenSearch Serverless adds audit logs for data plane APIs • 2025/11/19 - Amazon OpenSearch Serverless now supports backup and restore through the AWS Management Console • 2025/11/20 - Amazon OpenSearch Serverless adds AWS PrivateLink for management console
23. © 2025 Classmethod, Inc. 補足: re:Invent2025 直前アップデート(5) 22 Amazon MSK • 2025/11/10 - AWS MSK Express brokers now support intelligent rebalancing at no additional cost • 2025/11/12 - Amazon Managed Service for Prometheus collector now integrates with Amazon Managed Streaming for Apache Kafka Amazon Kinesis • 2025/11/20 - Amazon Kinesis Data Streams now supports up to 50 enhanced fan-out consumers AWS Lake Formation • 2025/11/26 - Amazon EMR and AWS Glue now support audit context support with Lake Formation Apache Iceberg • 2025/11/26 - AWS announces support for Apache Iceberg V3 deletion vectors and row lineage
24. © 2025 Classmethod, Inc. 補足: re:Invent2025 期間中アップデート(1) 23 Amazon SageMaker Catalog • 2025/11/30 - Amazon SageMaker Catalog provides automatic data classification using AI agents • 2025/12/02 - Amazon SageMaker Catalog now exports asset metadata as queryable dataset Amazon SageMaker HyperPod • 2025/12/02 - Introducing elastic training on Amazon SageMaker HyperPod • 2025/12/02 - Amazon SageMaker HyperPod now supports checkpointless training Amazon SageMaker AI • 2025/12/02 - Amazon SageMaker AI announces serverless MLflow capability for faster AI development Amazon Clean Rooms • 2025/11/30 - AWS Clean Rooms supports synthetic dataset generation training custom ML training
25. © 2025 Classmethod, Inc. 補足: re:Invent2025 期間中アップデート(2) 24 AWS Glue • 2025/11/30 - AWS Glue now supports Apache Iceberg based materialized views Amazon EMR • 2025/12/02 - Amazon EMR Serverless eliminates local storage provisioning for Apache Spark workloads • 2025/12/02 - Announcing the Apache Spark upgrade agent for Amazon EMR Amazon OpenSearch Service • 2025/12/02 - Amazon OpenSearch Service adds GPU-accelerated and auto-optimized vector indexes Amazon S3 • 2025/12/02 - Amazon S3 Tables now support automatic replication of Apache Iceberg tables • 2025/12/02 - Announcing replication support and Intelligent-Tiering for Amazon S3 Tables
26. © 2025 Classmethod, Inc. まとめ 25
27. © 2025 Classmethod, Inc. まとめ 26 AIワークロードに最適化された高速・低コストな基盤の上で、AI自身がデー タエンジニアリングの複雑性を解消し、すべてがオープンな標準で相互接続 される。 • 第一の柱「AIネイティブなデータ基盤」 ◦ ベクトル検索の性能が最大10倍向上し、コストは1/4に削減。数十億規模のベクトルDBを1時間以 内で構築できるようになり、大規模RAGアプリケーションが現実のものとなった。 • 第二の柱「自動化とZero-ETL」 ◦ Agentic AIがデータ分類、バージョンアップ、分析支援を担い、エンジニアは創造的な業務に集中 できる。 ◦ オンプレミスやSaaSからのデータ統合も、ETLパイプラインの構築なしに実現する。 • 第三の柱「Apache Iceberg」 ◦ Iceberg V3の削除ベクターと行リネージにより、データ変更が高速化し完全な監査証跡を確保。 ◦ Redshift、Athena、EMR、Glueなど、あらゆるAWSサービスがIcebergを共通言語として統合され、 真のレイクハウスアーキテクチャが完成する。