「オブジェクト作成の最初の 30 日間は頻繁にアクセスされますが、最初の 30 日を超えるとほとんどアクセスされません」 と真面目に向き合ってみる

Transcript

1. 「オブジェクト作成の最初の 30 日間は頻繁にアクセスされます が、最初の 30 日を超えるとほとんどアクセスされません」 と真面目に向き合ってみる 2024/3/14 Storage-JAWS #3 かわごえ 1
2. 2 かわごえ / Hikaru KAWAGOE • 金融系SIer • Storage-JAWS/CDK支部運営 • Community Builder (2023~) • 2023 Japan AWS Top Engineer
3. いきなりですが問題 ある会社には、それぞれのサイズが約 5 MB の大量のファイルを生成す るアプリケーションがあります。ファイルは Amazon S3 に保存されます。 会社のポリシーでは、ファイルを削除するには 4 年間保存する必要があ ります。ファイルには複製が容易ではない重要なビジネス データが含ま れているため、常に即時アクセスが必要です。ファイルは、オブジェク ト作成の最初の 30 日間は頻繁にアクセスされますが、最初の 30 日を超 えるとほとんどアクセスされません。最もコスト効率の高いストレージ ソリューションはどれですか? 3
4. いきなりですが問題 1. オブジェクト作成から 30 日以内にファイルを S3 Standard から S3 Glacier に移動するための S3 バ ケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除 します。 2. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 1 ゾーン - 低頻度アクセス (S3 1 ゾー ン - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除します。 3. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後に ファイルを削除します。 4. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクト作成から 4 年後に ファイルを S3 Glacier に移動します。 4
5. いきなりですが問題 1. オブジェクト作成から 30 日以内にファイルを S3 Standard から S3 Glacier に移動するための S3 バ ケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除 します。 2. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 1 ゾーン - 低頻度アクセス (S3 1 ゾー ン - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除します。 3. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセ ス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。 オブジェクトの作成から 4 年後にファイルを削除します。 4. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクト作成から 4 年後に ファイルを S3 Glacier に移動します。 5
6. いきなりですが問題 1. オブジェクト作成から 30 日以内にファイルを S3 Standard から S3 Glacier に移動するための S3 バ ケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除 します。 2. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 1 ゾーン - 低頻度アクセス (S3 1 ゾー ン - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後にファイルを削除します。 3. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクトの作成から 4 年後に ファイルを削除します。 4. オブジェクト作成から 30 日以内にファイルを S3 標準から S3 標準 - 低頻度アクセス (S3 標準 - IA) に移動する S3 バケット ライフサイクル ポリシーを作成します。オブジェクト作成から 4 年後に ファイルを S3 Glacier に移動します。 6 ほんとに？
7. このLTは 「最初の1年はStandardで残り6年はGlacier〜」 よくやりがちなこれ、実は爆弾抱えてんじゃないの？ っていう疑問を晴しにきました 7
8. よければ一緒にS3のコストのページを見ましょう https://aws.amazon.com/jp/s3/pricing/ 8
9. S3のコストざっくり体系 ストレージクラス ストレージ料金 PUT、COPY、POST、LIST (1,000 リクエスト) GET、SELECT、他 (1,000 リクエスト) ライフサイクル移行 (1,000 リクエスト) S3 標準 0.025USD/GB 0.0047USD 0.00037USD - S3 標準 - 低頻度アクセス 0.0138USD/GB 0.01USD 0.001USD 0.01USD S3 Glacier Instant Retrieval 0.005USD/GB 0.02USD 0.01USD 0.02USD S3 Glacier Flexible Retrieval (旧 S3 Glacier) 0.0045USD/GB 0.03426USD 0.00037USD 0.03426USD S3 Glacier Deep Archive 0.002USD/GB 0.065USD 0.00037USD 0.065USD S3 One Zone - 低頻度アクセス 0.011USD/GB 0.01USD 0.001USD 0.01USD 9 ※ S3 Intelligent-TieringやExpress One Zoneは今回は除外 ※ サイズによって傾斜がありますが細かい点は割愛します
10. の前にS3のコストざっくり体系 ストレージクラス ストレージ料金 PUT、COPY、POST、LIST (1,000 リクエスト) GET、SELECT、他 (1,000 リクエスト) ライフサイクル移行 (1,000 リクエスト) S3 標準 0.025USD/GB 0.0047USD 0.00037USD - S3 標準 - 低頻度アクセス 0.0138USD/GB 0.01USD 0.001USD 0.01USD S3 Glacier Instant Retrieval 0.005USD/GB 0.02USD 0.01USD 0.02USD S3 Glacier Flexible Retrieval (旧 S3 Glacier) 0.0045USD/GB 0.03426USD 0.00037USD 0.03426USD S3 Glacier Deep Archive 0.002USD/GB 0.065USD 0.00037USD 0.065USD S3 One Zone - 低頻度アクセス 0.011USD/GB 0.01USD 0.001USD 0.01USD 10 使用した量 に対する課金 ※ S3 Intelligent-TieringやExpress One Zoneは今回は除外 ※ サイズによって傾斜がありますが細かい点は割愛します
11. の前にS3のコストざっくり体系 ストレージクラス ストレージ料金 PUT、COPY、POST、LIST (1,000 リクエスト) GET、SELECT、他 (1,000 リクエスト) ライフサイクル移行 (1,000 リクエスト) S3 標準 0.025USD/GB 0.0047USD 0.00037USD - S3 標準 - 低頻度アクセス 0.0138USD/GB 0.01USD 0.001USD 0.01USD S3 Glacier Instant Retrieval 0.005USD/GB 0.02USD 0.01USD 0.02USD S3 Glacier Flexible Retrieval (旧 S3 Glacier) 0.0045USD/GB 0.03426USD 0.00037USD 0.03426USD S3 Glacier Deep Archive 0.002USD/GB 0.065USD 0.00037USD 0.065USD S3 One Zone - 低頻度アクセス 0.011USD/GB 0.01USD 0.001USD 0.01USD 11 ストレージクラスの 移行に伴う課金 ※ S3 Intelligent-TieringやExpress One Zoneは今回は除外 ※ サイズによって傾斜がありますが細かい点は割愛します
12. 今日登場いただくログの方 12 AWS CloudTrail
13. （私の環境での）1ファイルサイズ/1日あたりのファイル数 13 ログ 平均1ファイルサイズ 1日あたりファイル数 CloudTrail 10KBぐらい 30 アカウントの利用状況によって大きく異なります、あくまで私の環境の情報なので注意
14. 真面目に計算してみるの前に ** S3 標準 – IA および S3 1 ゾーン – IA ストレージの課金対象最小オブジェクトサイ ズは 128 KB です。128 KB より小さいサイズのオブジェクトを保存することもできます が、適切なストレージクラス料金で 128 KB のストレージとして課金されます。 S3 標準 – IA、S3 1 ゾーン – IA のストレージには、最小ストレージ期間 30 日分の料金が課金されま す。30 日が経過する前に削除されたオブジェクトには、残りの日数分のストレージ料金に 等しい日割り料金が発生します。30 日が経過する前にオブジェクトが削除されたり、上書 きされたり、別のストレージクラスに移行されたりした場合、通常のストレージ利用料金 に加えて、その 30 日の残りの料金が日割りで請求されます。これには、File Gateway に よって実行されたファイル操作の結果には削除されたオブジェクトが含まれます。30 日以 上保存されたオブジェクトについては、30 日の最小料金が発生しません。 14 https://aws.amazon.com/jp/s3/pricing/
15. 真面目に計算してみるの前に S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive に保存されている各オブジェク トの場合、Amazon S3 はメタデータに対する課金可能な 40 KB のオーバーヘッド を追加し、それは、S3 標準レートで請求される 8 KB と S3 Glacier Flexible Retrieval ま たは S3 Deep Archive レートで請求される 32 KB から構成されます。 15 https://aws.amazon.com/jp/s3/pricing/
16. 最小サイズが128KBになる S3 標準 –IA S3 1ゾーン S3 Glacier Instant Retrieval 16
17. オーバーヘッドが40KB追加される S3 Glacier Flexible Retrieval S3 Glacier Deep Archive 17
18. ストレージに対する課金データ量（日あたり） 18 ログ S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス CloudTrail 0.3MB 3.8MB 3.8MB 1.5MB 1.5MB 3.8MB 全てアクセス状況・システムの利用状況によって異なりますので注意
19. さあ行ってみよう！ オブジェクト作成の最初の 30 日間は頻繁にアクセ スされますが、最初の 30 日を超えるとほとんどア クセスされません 19
20. 同じ量で1ヶ月増加するとすると 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 料金 0.000207 0.00125 0.0004 0.000162 0.00004455 0.001 移行コスト - 0.01 0.02 0.03426 0.065 0.01 合計 0.000207 0.01125 0.0204 0.034422 0.06504455 0.0111 20
21. 同じ量で1ヶ月増加するとして60日後 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 料金 0.000207 0.00125 0.0004 0.000162 0.00004455 0.001 移行コスト - 0.01 0.02 0.03426 0.065 0.01 合計 0.000207 0.01125 0.0204 0.034422 0.06504455 0.0111 21
22. 同じ量で1ヶ月増加するとして60日後 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 料金 0.000207 0.00125 0.0004 0.000162 0.00004455 0.001 移行コスト - 0.01 0.02 0.03426 0.065 0.01 合計 0.000207 0.01125 0.0204 0.034422 0.06504455 0.0111 22
23. 問題文に立ち返る ある会社には、それぞれのサイズが 約 5 MB の大量のファイル を生成するアプリケーションがあります。ファイルは Amazon S3 に保存され ます。会社のポリシーでは、ファイルを削除するには 4 年間保存する必要があ ります。ファイルには複製が容易ではない重要なビジネス データが含まれてい るため、常に即時アクセスが必要です。ファイルは、オブジェクト作成の最初 の 30 日間は頻繁にアクセスされますが、最初の 30 日を超えるとほとんどアク セスされません。最もコスト効率の高いストレージ ソリューションはどれです か? 23
24. 5MBの大量のファイル 24 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 容量 500GB 500GB 500GB 500GB 500GB 500GB オブジェク ト数 100,000 100,000 100,000 100,000 100,000 100,000
25. 同じ量で1ヶ月増加するとして60日後 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 料金 11.5 6.25 2.0 1.8 4.95 5.0 移行コスト - 1.0 2.0 3.426 6.5 1.0 合計 11.5 7.25 4 5.226 6.995 6 25
26. 問題文に立ち返る ある会社には、それぞれのサイズが約 5 MB の大量のファイルを生成するアプ リケーションがあります。ファイルは Amazon S3 に保存されます。会社のポ リシーでは、ファイルを削除するには 4 年間保存する必要があります。 ファイルには複製が容易ではない重要なビジネス データが 含まれているため、常に即時アクセスが必要です。ファイルは、 オブジェクト作成の最初の 30 日間は頻繁にアクセスされますが、最初の 30 日 を超えるとほとんどアクセスされません。最もコスト効率の高いストレージ ソ リューションはどれですか? 26
27. 正解は 種別 S3 標準 S3 標準 - 低頻度 アクセス S3 Glacier Instant Retrieval S3 Glacier Flexible Retrieval (旧 S3 Glacier) S3 Glacier Deep Archive S3 One Zone - 低 頻度アクセス ストレージ 料金 11.5 6.25 2.0 1.8 4.95 5.0 移行コスト - 1.0 2.0 3.426 6.5 1.0 合計 11.5 7.25 4 5.226 6.995 6 27
28. まとめ S3のストレージクラスで コストを理由に移行したい時には 「データ量」 「ファイル数」 「1ファイルごとのサイズ」 を考慮してコスト効率が最もいいものを選択する 28
29. まとめ 別のストレージクラスに移行することで 逆にコストが上がることもあるので注意 とはいえ事前に見積もりするのは難しい 標準から始め、ファクトベースで移行先を決める 29
30. 30 EOF