SLIDESMANIA.COM 2025-03-12: Storage-JAWS #7

● “What's New with AWS” や re:Invent 2024 のアーカイブ等を参考に、 S3に関する2024年以降のアップ デートを中心に整理しました。 ● 免責事項 ○ 非公式なリキャップなので、取りこぼしや不正確な情報が含まれている可能性があります。 ○ 個人的な見解も多々含みます。 はじめに

SLIDESMANIA.COM 早川裕志 (Hiroshi Hayakawa) AWS Ambassadors AWS Community Builders (Security & Identity) Japan AWS Top Engineers (Services) Japan AWS All Certifications Engineers AWS Samurai 2024 (JAWS-UG配信部） GameDay沼の住⼈🦄: 🥇 x5 🥈 x1 🥉 x4 好きなサービス: S3, GuardDuty Photo from AWS Blog re:Invent 2024

オブジェクト数（〜 2013） 8億 50億 100億 1020億 400億 1兆 2兆 開始後約7年 2500倍

オブジェクト数（〜 2021） Apr. 2021 100兆 2兆

オブジェクト数（全期間） Dec. 2024 400兆+ 2兆 +300兆 in 3.5yrs

機能アップデート数 257 169 （独⾃基準での分類）

基本機能の強化 2024/11 Higher S3 Bucket Limits ● Up to 1M buckets (default 10k) ● Extra charge to over 2,000 buckets ($0.02/bucket) 2024/10 ListBuckets API Updates ● Region and bucket name filters ● Pagination 2024/10 Service Quota Support for General Purpose Buckets 2024/08 Conditional Writes (if-none-match) 2024/11 Conditional Writes (if-match) 2024/11 Enforcement Conditional Writes for General Purpose Buckets 2024/11 Conditional Deletes for Directory Buckets バケット数 上限緩和 条件付き リクエスト

Express One Zoneの強化 2024/09 SSE-KMS 2024/11 Lifecycle Expirations 2024/11 Append Data Object 2024/11 Additional Regions ● Asia Pacific (Mumbai) ● Europe (Ireland) ● US East (Ohio) 2023/11 GA ● US East (N. Virginia) ● US West (Oregon) ● Europe (Stockholm) ● Asia Pacific (Tokyo) 2024/11 Conditional Deletes 2024/12 Supported in Dedicated Local Zones 2024/07 Logging of all events in CloudTrail 2024/02 Integration with SageMaker 2024/02 Shared Cache for Mountpoint for S3

S3 Tables & S3 Metadata Tables 2025/01 Schema Definition with CreateTable API 2025/01 10,000 tables per table bucket 2024/12 S3 Metadata Tables (Preview) ● US East (N. Virginia) ● US East (Ohio) ● US West (Oregon) 2024/12 S3 Tables ● US East (N. Virginia) ● US East (Ohio) ● US West (Oregon) 2025/01 Additional Regions ● Europe (Frankfurt) ● Europe (Ireland) ● Europe (London) ● Europe (Stockholm) ● Asia Pacific (Tokyo)

SLIDESMANIA.COM データの保管から活用へ

SLIDESMANIA.COM Purpose-builtなバケット

S3のスケールがもたらす好循環 ● Erasure Coding ○ 少ない容量オーバーヘッドで、高い耐障害性を実現（ 11-9s) ○ シャードを大量のスピンドルに分散 (Shuffle Sharding) ■ 高スループット ■ Tail Latencyへの対処 ■ リロケーションによるホットスポットへの分散 Object Shard#1 Shard#2 Shard#3 Shard#4 Shard#5 Parity Shard#1 Parity Shard#2 Parity Shard#3 Parity Shard#4 Shard#1 Shard#2 Parity Shard#1 AZ1 Shard#3 Parity Shard#2 Parity Shard#3 AZ2 Shard#4 Shard#5 Parity Shard#4 AZ3

Directory Bucketの裏側を妄想してみる ● Single AZによるネットワークレイテンシの最小化 ● ランダムアクセスに強い SSDの採用とインデックス管理の最適化 ○ ShardStore ■ S3の新しいKVSの実装（40,000行を超えるRustコードで実装されている） ■ KVSはLSM-Treeで構成されているが、書き込み増幅を減らすために シャードデータを外部に格納 (SSD向けストレージに関する論文を引用） ■ LSM-Treeはエクステント保存されているチャンクへのポインタを保持 ■ LSM-Tree自体もエクステント上にチャンクとして保存される

Table Bucketの裏側を妄想してみる ● IcebergとParquetに特化 ○ 抽象化のレベルをテーブルレベルに引き上げたことで、テーブルの背後にあるストレージとデータ パスを自動的に最適化可能に ○ S3のネームスペースをデータをより最適化された方法でレイアウトするように調整 ○ バケット内のすべてのデータが ParquetとIcebergであることを把握しているため、ショートカットを 取ってテーブルをより良いものにすることができる ○ より少数の大きなParquetファイルにデータをCompact化し、ストレージコストを最適化 ● Iceberg自体へのコントリビューション

Client-side & Integration Client-side Integration 2024/05 Zero ETL with AOSS 2024/09 Storage Browser for Amazon S3 (Preview) 2024/12 Storage Browser for Amazon S3 (GA) 2024/12 Transfer Family Web Apps 2024/07 Access Grants Integration with SageMaker Studio 2024/11 Access Grants Integration with Redshift 2024/12 Access Grants Integration with Glue 2024/09 ListCallerAccessGrants API

その他 2024/05 No Charge on Unauthorized Requests 2024/06 GuardDuty Malware Protection for S3 2024/08 Additional Context to HTTP 403 Errors 2024/08 No Charge on Unauthorized Requests (Completed) 2024/10 Static Website Hosting with Amplify 2024/09 Default Minimum Object Size for Lifecycle Transition Rule 403系 Misc.

● データの保管から活⽤に向けた多数のアップデート ● S3は Purpose-built なストレージの総称へ ● 基本機能やユーザビリティの強化に加えて、 様々な⽤途に対応する「⼤⼈の余裕」を感じさせる Super Storage Service に進化 まとめ

SLIDESMANIA.COM