AWS re:Invent 2025の主なストレージのアップデートをまとめてキャッチアップ

JAWS-UG横浜 #94 AWS re:Invent 2025 re:Cap Data Storage-JAWS コラボスペシャル Analytics & Data & Storageでの資料です。

Transcript

1. • 自己紹介 • Storage-JAWSと横浜支部 • AWS re:Invent 2025 Matt Garman Keynote • AWSのストレージアップデートまとめ 藤原 善基 Disclaimer：本日の発表内容は所属する組織を代表するものではありません。 JAWS-UG横浜 #94 AWS re:Invent 2025 re:Cap Data AWS re:Invent 2025の主なストレージのアップデートを まとめてキャッチアップ Amazon Q Amazon Bedrock Amazon FSx for NetApp ONTAP Amazon Kinesis Amazon SageMaker Amazon Redshift Amazon QuickSight AWS Glue Amazon Athena Access points Amazon EFS Amazon EBS Backup Vault Backup plan Amazon S3 S3 Tables S3 Vectors S3 Batch Operations
2. 藤原 善基（ふじわら よしき) ネットアップ合同会社 AWS SE Support / Sr. Cloud Solutions Architect – AWS AWS Community Builder 2023(Storage)、2024-2025(Cloud Operations) 2024-2025 Japan AWS Top Engineers(Software) 最近やっていくること：生成AI、ランサムウェア対策、仮想化環境のAWS移行/拡張 経歴 • 生後10ヶ月から7才までギリシャのアテネ(1986 - 1992) • 物流業の営業→コールセンターのオペレーター→SIer ヘルプデスク →SIer インフラエンジニア→ネットアップ合同会社 ← 今ココ 趣味 • 技術イベントへの参加・旅行・外食・ロックフェスティバルに行くなど • Storage-JAWS運営メンバー 好きなAWSのサービス • Amazon Elastic Container Service • Amazon FSx for NetApp ONTAP • AWSサポート • Amazon EVSも頑張る • Amazon S3 自己紹介 Amazon Elastic Container Service Amazon FSx for NetApp ONTAP Amazon Elastic VMware Service Amazon S3 Access points
3. Storage-JAWS 運営目的 • AWS上で「ストレージ」を活用するための議論や情報発 信をしていく場を作る • サービスやビジネスを加速するための活用方法も 参加対象者 • AWSストレージに興味がある方なら誰でもOK！ • 初心者から上級者までWelcome！！ • JAWS-UG Slack "#storage-jaws"で情報発信 中！ • 他の専門支部、地域支部とのコラボを推進中！ https://storage-jaws.connpass.com/ • Storage-JAWS立ち上げ時には、 横浜支部の方に共催で0回目を支援していただいたおかげで、ここまで来ました！ありがとうございます！！
4. • データの格納サービス、高速キャッシュは「Amazon」、データの管理・エッジサービス・データの移動は「AWS」 。 • データ格納サービスは、プロトコル別に各サービスはObject/Block/NFS/SMBを1つずつサポート。FSx for ONTAPを除く。 Storage-JAWSとAWSの主なストレージ関連サービス データの格納 (ストレージリソースの提供) AWS Backup AWS Storage Gateway AWS DataSync AWS Transfer Family Amazon S3 and Amazon S3 Glacier Object (API) Amazon EBS Block Amazon EFS NFS Amazon FSx for Windows File Server SMB Amazon FSx for NetApp ONTAP SMB / NFS / iSCSI + S3 Access Points Amazon FSx for Lustre Lustre データ管理 エッジサービス AWSサービス全体の バックアップと コンプライアンス オンプレミスから クラウドストレージへの ゲートウェイ AWSストレージ サービスへのデータ転送 ファイル転送プロトコル (SFTP / FTPS / FTP) の提供 Amazon FSx for openZFS NFS + S3 Access Points Amazon File Cache 保存場所に関わらずファイル データを簡単に処理できる AWS の高速キャッシュを提供 高速キャッシュ
5. • AIに関する発表が続く中、残り時間が差し迫ってきた！！ • 「もう今年の発表は終わりか…AI以外の話も聞きたいな」と誰もが思っていたころ。 • 「YOUR DATA」にも被りがちなMatt AWS CEO Matt Garman Keynoteでの重要なアップデート抜粋
6. • Mattが「アップデートはAI以外もあるよ！」とコメント。「たくさんのイノベーションを一つのキーノー トにどう入れるか？」とサービスチームとの会話を紹介。「Why not?」と続けます。 • まだここから25個のNew Launchあるよ！！ • 「え？ここから？…」会場はざわつきます。 まさかの25 New Lauches!!
7. 7 突然始まるタイムアタック！！10分で25サービスのNew Lauchをやります！ • 正直に、かつ参加者が自身で10分を守れているか？を確認できるように10分のタイマーをセッ ト！ • 肩を回して戦闘体制に入るMatt！そんな中に、今日のStorageに関するアップデータが あります！！
8. 8 • 時間制限いっぱいで、最後のDabase Savings Plansまでやり切りました！！ • 一息つく様子を見せながら締めに入ります！！ 10分で25個のアップデートを喋りきれたのか？
9. 9 • 「キーノートで触れるに相応しい、大きなアップデートの数々を10分で触れました！」 • 「これから4日間あるので、ダイブディープして詳細を学び、inventをスタートしてください！ re:Inventにお越しいただきありがとうございます！Enjoy!!」とのメッセージで締め括られまし た！→託された詳細な説明と学び、inventをこれからやっていきます！！ Mattからのコメント
10. 10 • S3は500兆以上のオブジェクト、数百エクサバイトのデータを保存 1. Amazon S3のオブジェクトサイズの上限 →10倍でどうだ？ 5TBから50TBに • オブジェクトサイズを最近のデータ増加に備えて何倍に増やせば良いか？→2倍、3倍？
11. 11 • S3は500兆以上のオブジェクト、数百エクサバイトのデータを保存 1. Amazon S3のオブジェクトサイズの上限 →10倍でどうだ？ 5TBから50TBに • オブジェクトサイズを最近のデータ増加に備えて何倍に増やせば良いか？→2倍、3倍？
12. • 高解像度ビデオ、地震データファイル、AIトレーニングデータセットなどが大きくなる傾向あり • 容量上限を検証してみた話などについては、前のhirosysさんのLTで出ましたね！ 見逃した方は、また再度確認を。 Amazon S3を50TBで使いたいユースケースは？ https://aws.amazon.com/jp/about-aws/whats-new/2025/12/amazon-s3-maximum-object-size-50-tb/
13. • S3のオブジェクトサイズを大きくするだけじゃなくて、バッチ処理を速くしたいですよね？ 2. Amazon S3 Batchのスピード上限 →こちらも10倍速くしました！！
14. • 1つのジョブで最大200億個のオブジェクトを処理する規模で、ジョブが最大10倍速くなる • 追加の設定やコストは不要 • ステージングバケットと本番バケット間でのオブジェクトのコピー、S3ライフサイクル管理のための オブジェクトのタグ付け、保存されたデータセットの内容を確認するオブジェクトチェックサムの計算 などに Amazon S3 バッチオペレーションが10倍速くなって嬉しいところは？ https://aws.amazon.com/jp/about-aws/whats-new/2025/12/s3-batch-operations-performance-improvements/
15. S3 Tables re:Invent 2024から 2025年末までのタイムライン Schema definition support for CreateTable API Increased quota for 10,000 tables 5 new Regions SageMaker Lakehouse integration GA New APIs for IRC standard Create & query directly from S3 console with Athena 7 new Regions AWS KMS support 4 new Regions 11 new Regions Storage cost visibility for individual tables Sort & z-order compaction 2 new Regions Compaction for Avro & Orc file types MCP server support Zero-ETL integration for DynamoDB & 8 other apps Compaction cost reduction S3 Metadata live inventory tables Amazon Athena CTAS support for S3 Tables CloudFormation and CDK support for tables and namespaces SageMaker Lakehouse architecture tag-based access control Amazon S3 Tables GA Preview tables in Console Jan 2025 Mar 2025 Apr 2025 May 2025 Dec 2024 Jun 2025 July 2025 Aug 2025 Sept 2025 Oct 2025 CloudTrail events for Table maintenance Nov 2025 CloudWatch metrics Resource Tags for ABAC and cost allocation
16. 3. Amazon S3 Tables - Intelligent Tiering • 汎用バケットでのS3 Intelligent-Tiering とほぼ同じ仕組み • 30日アクセスされていないデータは Infrequent access層へ移動、 さらに60日経過したデータは Archive access 層へ（計90日） • 128KB 未満のオブジェクトは移動しないが、コンパクションにより大 きくなったデータは、階層化対象になる • 汎用バケットの S3 Intelligent-Tiering クラスにおける監視費用 はないが、S3 Tables には、元々のモニタリング費用があるので、 そこに含まれる • メンテナンス操作は、オブジェクトの階層がTier upされない。 言い換えると、コンパクションは Frequent access 層のデータに対 してのみ実行する • 新しいテーブル作成時にストレージクラスとして指定することができる • バケットへのストレージクラスの指定は、その指定以後に作成される テーブルのストレージクラスのデフォルトとなる Amazon S3 Tables でのストレージクラス Intelligent Tiering にて、コスト最適化を提供。3つのスト レージ階層（Frequent, Infrequent access, Archive access）があり、アクセスパターンに基づく自 動階層化を行う。 Table bucket アクセスがあれば、Frequent Access 層に戻る Frequent Access Infrequen t Access Archive Instant Access +30日 +60日(90日) テーブル作成時の個別指定 Table A Table B New table PutTableBucketStorageClass S3 Tables による メンテナンス (コンパクション等) "storageClassConfiguration": { "storageClass": "INTELLIGENT_TIERING" } バケット単位での指定
17. 4. Amazon S3 Tables - Multi/Single-region Replication CTASなど レプリケーション S3 Tables S3 Tables • レプリケーション先は、読み取り専用レプリカとなる • 1つのソースから最大5つの宛先へレプリケーション可能 • 数分単位でのレプリケーションが行われる （ただし、SLA があるものではなく、サイズによって変動） • データファイル、メタデータファイル、削除ファイルを Iceberg を 配慮した形でレプリケーションする • 手動での Iceberg テーブルレプリケーションの複雑性を解決 • ソースと宛先テーブルで異なる特性設定が可能、 例えば、S3 Tables Intelligent-Tiring を適用する・しない、 Snapshot リテンションを長くする、など • 規制要件や企業継続性要件に対応（注意：現状 fail-back機能がない） • Iceberg version 2 -> 3 への変更には追随できない
18. リ ー ジ ョ ン A リ ー ジ ョ ン B Manifest file Manifest list Metadata file s0 s1 db.table1 Current metadata pointer Iceberg Catalog Manifest file Manifest list Metadata file s0 s1 db.table1 Current metadata pointer Iceberg Catalog db.table1 Current metadata pointer Iceberg Catalog X X X Q U E R Y
19. リ ー ジ ョ ン A リ ー ジ ョ ン B Manifest file Manifest list Metadata file s0 s1 db.table1 Current metadata pointer Iceberg Catalog Manifest file Manifest list Metadata file s0 s1 db.table1 Current metadata pointer Iceberg Catalog db.table1 Current metadata pointer Iceberg Catalog Q U E R Y Manifest file Manifest list Metadata file s0 s1 Manifest file Manifest list Metadata file s0 s1
20. 20 • ファイルストレージのデータ活用を進めるには？ • 「FSx for OpenZFSがサポート済みで、FSx for ONTAPにも同様のサービスを拡大する」 「FSx for ONTAPにあるデータをS3にあるかのようにシームレスに扱うことができる」 • 「成長しているデータタイプとしては、大規模なデータのベクター埋め込み」 5. S3 Access PointsのFSx for ONTAP対応
21. • S3 API を使用して、Amazon FSx 上のデータへの アクセスを提供 • データ移動不要で S3 互換性を実現 • データの実体は FSx for ONTAP 環境に 存在する • ONTAPは Windows も対応しているマルチプロトコ ルであるため、多くの非構造化データを活用可能に • インテグレーション例 • 分析・機械学習サービス（Amazon Athena, Amazon SageMaker AI, Amazon Bedrock, Amazon Quick Suite等）からのデータ活用 • AWS Transfer Family を用いて、SFTP 経由の転 送でシームレスなデータ移動 S3 Access Points for Amazon FSx for NetApp ONTAP S3 Access Points Amazon FSx for NetApp ONTAP AWS Transfer Family SMB/NFS client Amazon Athena Amazon SageMaker AI Amazon Bedrock Knowledge Base SMB/NFS sftp S3 API Amazon FSx for NetApp ONTAP 上のデータを S3 Access Point 経由であたかも Amazon S3バケットにあるかのようにアクセス可能とする Amazon S3
22. • リファクタリング、リアーキテクト無しに新規あるいは既存のデータレイクに統合可能 • 例として、ゲノミックシシーケンス、地震探査、製造テレメトリーなどのでの利用 • S3にデータをコピーする事なく、実行可能→タイムラグ無く、二重のコストが掛からない AWS re:Invent 2025セッション動画から：ファイルデータをデータレイクに統合
23. オフィス事務所 DP Volume オンプレミスにある ONTAP データを利活用する例 S3 Access Points Amazon FSx for NetApp ONTAP SMB/NFS client Amazon Athena Amazon SageMaker AI Amazon Bedrock Knowledge Base SMB/NFS S3 API オンプレミスのNAS環境 ONTAP AWS Cloud Customer gateway VGW AWS Direct Connect SnapMirror ブロックレベルでのレプリケーション VPC Amazon S3
24. オフィス事務所 オンプレミスにある汎用 NAS データを利活用する例 Amazon S3 S3 Access Points Amazon FSx for NetApp ONTAP SMB/NFS client Amazon Athena Amazon SageMaker AI Amazon Bedrock Knowledge Base SMB/NFS S3 API オンプレミスのNAS環境 Volume AWS Cloud Customer gateway VGW AWS Direct Connect AWS DataSync ファイルレベルでのレプリケーション 既存ストレージ VMware Hyper-V Linux KVM AWS DataSync VPC
25. • 今年(発表時点では2025年)、クラウドで最初のベクタークエリを保存するオブジェクトストレー ジS3 VectorsをPreviewで発表しました。 ベクトル埋め込みを行うストレージ欲しいですよね？
26. • ベクターのアップロード、保存、クエリーに掛かるコストを最大90%削減 • AWS re:Invent 2025のKeynoteでのCustomer KeynoteとしてTwelveLabsの共同 創設者兼CEOのJae Lee氏が、TwelveLabsがAWS上でビデオインテリジェンスAI基盤モデ ルを構築し、Amazon S3とS3 Vectorsを使用してペタバイト規模で数百万時間のビデオを 処理し、行動可能なインサイトを提供する方法を共有。 6. S3 VectorsがGAに！ AWS re:Invent 2025 - Keynote Customer - TwelveLabs https://www.youtube.com/watch?v=ggfWAg4RnGg
27. Amazon S3 Vectors - General Availability • スケーラビリティの向上、index あたりの最大ベクトル数10億 まで (プレビュー時 5,000万) • キャッシュされた状態でのクエリが 100ms レイテンシーを期待 (プレビュー時 500-800ms) • 東京リージョンを含む 9つの新リージョンで展開 （計14リージョン） • インデックスレベルでの暗号化 • CloudFormation サポート • PrivateLink サポート • ABAC サポート(バケット、インデックス) Amazon S3 Vectorsは、ベクトルの格納とクエリすることをネイティブに提供する オブジェクトストアであり、AIエージェント、AI推論、Amazon S3 に保存されるシンプルな セマンティック検索等の用途に向けて設計されたコスト最適化ベクトル格納ストレージ Amazon S3 Vectors
28. AWS re:Invent 2025の予選落ち機能アップデート • AWS Backup - Amazon EKSバックアップサポート(11/10) • AWS Backup for Amazon S3 低コストWarm Storage Tier (11/18) • Amazon GuardDuty Malware Protection for AWS Backup(11/19)
29. AWS Backup - Amazon EKSバックアップサポート(11/10) • EKS クラスターと永続ストレージボリュームを保護 • エージェントを仕込む必要はない（EKSクラスタ全体で AWS Backupネイティブを利用） • 粒度の細かい復元：クラスター全体、選択された namespace、個々の永続ストアのリストア等 • 複数の環境・ソリューション管理の複雑性を軽減 • コンプライアンス要件を満たす目的（データ保護してます、 と第三者に説明しやすい） や、万が一の環境そのものの 損失に備える目的で利用できる • すべてのコピータイプをサポート • 同じリージョン/アカウント • クロスアカウント • クロスリージョン • オプトインリージョン Amazon S3 Amazon EKS Backup vault EKS cluster state Amazon EFS Amazon EBS Persistent Volumes ネスト(EKS, フル) フルおよび増分 コンポジット ネスト (EBS) ネスト (EFS) ネスト (S3) Backup Vault CSI driver AWS Backup による 「Amazon EKS Cluster State」と「そこに紐づくストレージ」を束ねたデータ保護手法の提供
30. AWS Backup for Amazon S3 低コストWarm Storage Tier (11/18) • Backup Vault による 60日以上の自動階層化 • Warm Storage としてのパフォーマンスと機能を提供 • AWS アカウント内のすべての Vault または特定の Vault で設定可能 • 約30%のコスト削減を実現 • コンプライアンス規制要件を満たしながら長期保持 • (Cold storage とは別) Backup vault Cold storage Warm storage Low-cost warm storage EBS, EFS等 Amazon S3 AWS Backup for Amazon S3 の Vault における low-cost warm storage への遷移 90日(min) 60日(min) バックアッププランの ライフサイクルでの移動 Vault での階層化 • Backup Vault による 60日以上の自動階層化 • Warm Storage としてのパフォーマンスと機能を提供 • AWS アカウント内のすべての Vault または特定の Vault で設定可能 • 約30%のコスト削減を実現 • コンプライアンス規制要件を満たしながら長期保持 • (Cold storage とは別)
31. Amazon GuardDuty Malware Protection for AWS Backup(11/19) Backup vault AWS Backup Amazon GuardDuty Malware Protection for AWS Backup Backup plan 保護対象リソース スキャン Amazon EC2 Amazon EBS Amazon S3 AWS Backup により取得したバックアップのデータについて、 Amazon GuardDuty Malware Protection を利用してマルウェアスキャンを行う • 取得済みリカバリポイントのマルウェア検出・スキャンを AWS Backup バックアッププランのスケジュールで行う • 最新のクリーンなバックアップを特定することができるの で、リカバリシナリオにおけるビジネス停止を最小化する 目的で利用する • Amazon EC2 (AMI), Amazon EBS, Amazon S3 のバックアップに対応
32. ご清聴ありがとうございました！！ (宣伝)今年も、Storage-JAWSで更に地域支部、 専門支部とのコラボをやっていきますので、 よろしくお願いします！ Thank you!!