S3成長記録 in 2024 - オレたちのS3はどこに向かうのか？- @Storage-JAWS#7

Storage-JAWS #7（2025/03/12）の発表資料です。
内容まとめはのちほど。

Transcript

1. SLIDESMANIA.COM 2025-03-12: Storage-JAWS #7
2. • “What's New with AWS” や re:Invent 2024 のアーカイブ等を参考に、 S3に関する2024年以降のアップ デートを中心に整理しました。 • 免責事項 ◦ 非公式なリキャップなので、取りこぼしや不正確な情報が含まれている可能性があります。 ◦ 個人的な見解も多々含みます。 はじめに
3. SLIDESMANIA.COM 早川裕志 (Hiroshi Hayakawa) AWS Ambassadors AWS Community Builders (Security & Identity) Japan AWS Top Engineers (Services) Japan AWS All Certifications Engineers AWS Samurai 2024 (JAWS-UG配信部） GameDay沼の住⼈🦄: 🥇 x5 🥈 x1 🥉 x4 好きなサービス: S3, GuardDuty Photo from AWS Blog re:Invent 2024
4. オブジェクト数（〜 2013） 8億 50億 100億 1020億 400億 1兆 2兆 開始後約7年 2500倍
5. オブジェクト数（〜 2021） Apr. 2021 100兆 2兆
6. オブジェクト数（全期間） Dec. 2024 400兆+ 2兆 +300兆 in 3.5yrs
7. 機能アップデート数 257 169 （独⾃基準での分類）
8. 基本機能の強化 2024/11 Higher S3 Bucket Limits • Up to 1M buckets (default 10k) • Extra charge to over 2,000 buckets ($0.02/bucket) 2024/10 ListBuckets API Updates • Region and bucket name filters • Pagination 2024/10 Service Quota Support for General Purpose Buckets 2024/08 Conditional Writes (if-none-match) 2024/11 Conditional Writes (if-match) 2024/11 Enforcement Conditional Writes for General Purpose Buckets 2024/11 Conditional Deletes for Directory Buckets バケット数 上限緩和 条件付き リクエスト
9. Express One Zoneの強化 2024/09 SSE-KMS 2024/11 Lifecycle Expirations 2024/11 Append Data Object 2024/11 Additional Regions • Asia Pacific (Mumbai) • Europe (Ireland) • US East (Ohio) 2023/11 GA • US East (N. Virginia) • US West (Oregon) • Europe (Stockholm) • Asia Pacific (Tokyo) 2024/11 Conditional Deletes 2024/12 Supported in Dedicated Local Zones 2024/07 Logging of all events in CloudTrail 2024/02 Integration with SageMaker 2024/02 Shared Cache for Mountpoint for S3
10. S3 Tables & S3 Metadata Tables 2025/01 Schema Definition with CreateTable API 2025/01 10,000 tables per table bucket 2024/12 S3 Metadata Tables (Preview) • US East (N. Virginia) • US East (Ohio) • US West (Oregon) 2024/12 S3 Tables • US East (N. Virginia) • US East (Ohio) • US West (Oregon) 2025/01 Additional Regions • Europe (Frankfurt) • Europe (Ireland) • Europe (London) • Europe (Stockholm) • Asia Pacific (Tokyo)
11. SLIDESMANIA.COM データの保管から活用へ
12. SLIDESMANIA.COM Purpose-builtなバケット
13. S3のスケールがもたらす好循環 • Erasure Coding ◦ 少ない容量オーバーヘッドで、高い耐障害性を実現（ 11-9s) ◦ シャードを大量のスピンドルに分散 (Shuffle Sharding) ▪ 高スループット ▪ Tail Latencyへの対処 ▪ リロケーションによるホットスポットへの分散 Object Shard#1 Shard#2 Shard#3 Shard#4 Shard#5 Parity Shard#1 Parity Shard#2 Parity Shard#3 Parity Shard#4 Shard#1 Shard#2 Parity Shard#1 AZ1 Shard#3 Parity Shard#2 Parity Shard#3 AZ2 Shard#4 Shard#5 Parity Shard#4 AZ3
14. Directory Bucketの裏側を妄想してみる • Single AZによるネットワークレイテンシの最小化 • ランダムアクセスに強い SSDの採用とインデックス管理の最適化 ◦ ShardStore ▪ S3の新しいKVSの実装（40,000行を超えるRustコードで実装されている） ▪ KVSはLSM-Treeで構成されているが、書き込み増幅を減らすために シャードデータを外部に格納 (SSD向けストレージに関する論文を引用） ▪ LSM-Treeはエクステント保存されているチャンクへのポインタを保持 ▪ LSM-Tree自体もエクステント上にチャンクとして保存される
15. Table Bucketの裏側を妄想してみる • IcebergとParquetに特化 ◦ 抽象化のレベルをテーブルレベルに引き上げたことで、テーブルの背後にあるストレージとデータ パスを自動的に最適化可能に ◦ S3のネームスペースをデータをより最適化された方法でレイアウトするように調整 ◦ バケット内のすべてのデータが ParquetとIcebergであることを把握しているため、ショートカットを 取ってテーブルをより良いものにすることができる ◦ より少数の大きなParquetファイルにデータをCompact化し、ストレージコストを最適化 • Iceberg自体へのコントリビューション
16. Client-side & Integration Client-side Integration 2024/05 Zero ETL with AOSS 2024/09 Storage Browser for Amazon S3 (Preview) 2024/12 Storage Browser for Amazon S3 (GA) 2024/12 Transfer Family Web Apps 2024/07 Access Grants Integration with SageMaker Studio 2024/11 Access Grants Integration with Redshift 2024/12 Access Grants Integration with Glue 2024/09 ListCallerAccessGrants API
17. その他 2024/05 No Charge on Unauthorized Requests 2024/06 GuardDuty Malware Protection for S3 2024/08 Additional Context to HTTP 403 Errors 2024/08 No Charge on Unauthorized Requests (Completed) 2024/10 Static Website Hosting with Amplify 2024/09 Default Minimum Object Size for Lifecycle Transition Rule 403系 Misc.
18. • データの保管から活⽤に向けた多数のアップデート • S3は Purpose-built なストレージの総称へ • 基本機能やユーザビリティの強化に加えて、 様々な⽤途に対応する「⼤⼈の余裕」を感じさせる Super Storage Service に進化 まとめ
19. SLIDESMANIA.COM