Simple Storage Service(S3) is not simple

Simple Storage Service(S3) is not simple JAWS-UG 茨城 #17 秋の推しAWSサービスLTまつり！
株式会社スリーシェイク Sreake事業部 IwatsukaYura Copyright © 3-shake, Inc. All Rights Reserved. 1

自己紹介 • • • • • 岩塚由楽（IwatsukaYura / @yura_builder）所属：スリーシェイク
経歴 ◦ ソフトウェアエンジニア2年 Go言語大好き興味：オブザーバビリティ、AWS Copyright © 3-shake, Inc. All Rights Reserved. 2

目次 1. 2. 3. 4. S3とは？ S3でできること S3の推しポイントまとめ Copyright
© 3-shake, Inc. All Rights Reserved. 4

改めてS3とは • • • データを格納・管理できるオブジェクトストレージサービス ◦ ファイルシステムとは異なり、「キー・データ本体・メタデータ」の組み合わせで保存している主な特徴 ◦
容量が無制限 ◦ 高い耐久性 (99.999999999%) ◦ APIを通じた様々な操作が可能 ◦ 他AWSサービスとの連携が可能 2006 年 3 月 Release Copyright © 3-shake, Inc. All Rights Reserved. 6

改めてS3とは EFSやEBSとの違いについてサービス保存形式機能 S3 オブジェクトストレージネットワーク経由でアクセス可能な、ほぼ無制限ストレージ
EFS ファイルストレージ複数のインスタンスで共有できるファイルシステム EBS ブロックストレージ EC2専用の仮想HDD Copyright © 3-shake, Inc. All Rights Reserved. 7

改めてS3とは S3の正式名称は「Simple Storage Service」・・・ほんとにSimple？？ Copyright © 3-shake, Inc. All
Rights Reserved. 8

S3でできること基本的なユースケースとしては 1. ファイルやバックアップの保存先 2. 静的Webサイトのホスティング 3. 署名付きURLでの、セキュアなアクセスやブラウザからの直接アップロード 4.
イベント通知で、サーバーレス処理の起点 Copyright © 3-shake, Inc. All Rights Reserved. 10

S3でできること 1. データ保護・ガバナンス 2. 分析・データレイク・バージョニング・Object Lock ・レプリケーション・S3
Access Grants ・ライフサイクル管理・データレイク基盤利用・S3 Tables ・S3 Metadata 3. AI・機械学習 4. 大規模運用・アプリ開発・S3 Vectors ・S3 Express One Zone ・Mountpoint for Amazon S3 ・S3 Batch Operations ・条件付き書き込み・Multi-Region Access Points 11

S3の推しポイント 1. S3の耐久性 2. 条件付き書き込み 13

S3の推しポイント -S3の耐久性- S3の耐久性について！！ 14

S3の推しポイント -S3の耐久性- 99.999999999% これがS3のデータの耐久性を表す数字具体的に言うと。。。「1000万個のファイルを預けて、1個消えるのに平均1万年かかる」どのように実現しているのか？ 15

S3の推しポイント -S3の耐久性- 1. 2. 3. 最低3つのAZに分けて保存。冗長コピーが減ったら AWSが自動検知し、勝手に作り直す
checksumで定期検査 16

S3の推しポイント -条件付き書き込み- S3の条件付き書き込みについて！！ 17

S3の推しポイント -条件付き書き込み- S3で同一キーに同時に書き込み処理を行ったら？ →何も指定しないと、後のものだけ残る 18

S3の推しポイント -条件付き書き込み条件付き書き込みで、同じキーへの意図しない上書きを防ぐ 19

S3の推しポイント -条件書き込み- 補足：コード例 20

まとめ    高い耐久性と拡張性コスト最適化安全な運用と機能進化データ消失を防ぐ極めて高い耐久性と、データ量に応じた柔軟な自動拡張。
アクセス頻度に応じたクラス選択と自動ライフサイクル管理によるコスト抑制。強力なアクセス制御と、条件付き書き込み等の高度な機能拡張を継続的に実現。 S3はすごい！！ (けどシンプルじゃない！！) 22

参考資料 - https://docs.aws.amazon.com/AmazonS3/latest/userguid e/DataDurability.html - https://aws.amazon.com/jp/s3/storage-classes/ - https://d1.awsstatic.com/events/reinvent/2019/REPEAT _1_Beyond_eleven_nines_Lessons_from_the_Amazon_S3_ culture_of_durability_STG331-R1.pdf
- https://aws.amazon.com/jp/about-aws/whats-new/2024 /08/amazon-s3-conditional-writes/ - https://docs.aws.amazon.com/AmazonS3/latest/userguid e/conditional-writes.html - https://docs.aws.amazon.com/AmazonS3/latest/userguid e/conditional-writes-enforce.html 24

Simple Storage Service(S3) is not simple

Simple Storage Service(S3) is not simple

Yura Iwatsuka

More Decks by Yura Iwatsuka

Other Decks in Programming

Featured

Transcript