「S3 Express One ZoneとEFSアーカイブを少しだけ詳しくなろう」re:Growth 2023 in Sapporo

by Yasutaka OHMURA

Slide 1

Slide 1 text

re:Growth 2023 in Sapporo Storage Services Updates

Slide 2

Slide 2 text

2 Theme ストレージサービスのアップデート振り返り S3 Express One Zone と EFS アーカイブを少しだけ詳しくなろう

Slide 3

Slide 3 text

3 Agenda 1. はじめに（今ここ） 2. 自己紹介 3. S3 Express One Zoneを少し深掘り 4. EFS アーカイブを少し深掘り

Slide 4

Slide 4 text

大村保貴 (Yasutaka Ohmura) クラスメソッド株式会社 AWS事業本部カスタマーソリューション部ソリューションアーキテクト仕事 ● エンプラ企業中心にAWSやSaaSを利用した環境の設計、コンサルティング ● 専門はHPC（スパコン）、ライフサイエンスを少々経歴 ● ITインフラのコンサル→ IoTサービスのインフラ → クラスメソッド受賞 ● 2023 Japan AWS Top Engineers ● 2023 Japan AWS All Certiﬁcations Engineers 趣味 ● 網走郷土史、コーヒー Proﬁle 4

Slide 5

Slide 5 text

Amazon S3 5

Slide 6

Slide 6 text

6 Amazon S3 アップデート一覧 ● Amazon S3 Express One Zone ストレージクラスの発表 ○ Amazon EMR とS3 Express One Zone でデータの処理と分析を加速 ○ Athena と S3 Express One Zone でデータレイクのクエリを高速化 ○ Mountpoint for Amazon S3 が S3 Express One Zone をサポート ● Amazon S3 CSI ドライバーのマウントポイントが一般提供開始 ● ML (機械学習) トレーニング用に行う S3 のデータ転送が自動的に高速化 ● 新しいアクセス制御方式 Amazon S3 Access Grants を発表

Slide 7

Slide 7 text

7 Amazon S3 Express One Zone AWS Black Belt Online Seminar re:Invent 2023アップデート速報

Slide 8

Slide 8 text

8 Amazon S3 Express One Zone 特徴 ● レイテンシ重視、高頻度アクセス向け ● 特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス ● S3 Express One Zone 用のバケットはディレクトリバケットと呼ばれる ● AWS CLI、S3 API は同じく使える（aws s3 sync 〜） ● Amazon Athena、Amazon EMR などの他 AWS サービスからもアクセス可能 ● Mountpoint for Amazon S3 を利用して EC2 に S3 バケットのマウントをサポート ● 東京リージョン提供中 S3 標準と比較して最大 10 倍高速なアクセススピードを実現

Slide 9

Slide 9 text

9 Amazon S3 Express One Zone 価格 ● PUT, COPY などのリクエスト料金は S3 標準に比べ半額 ● GBあたりの保存単価は S3 標準に比べ約 7 倍もお高い ○ S3 標準: $0.025/GB ○ S3 Express One Zone: $0.18/GB ストレージコストは割高

Slide 10

Slide 10 text

10 Amazon S3 Express One Zone ● AI/ML トレーニング、HPC（スパコン）を使った並列演算処理などで大量のデータ処理 ● Athenaからのクエリパフォーマンス改善。最大 2.1 倍高速化とのことユースケース AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)

Slide 11

Slide 11 text

11 Amazon S3 Express One Zone S3 標準は段階的なスケーリング S3 Express One Zone は瞬時毎秒数千トランザクションのスパイクリクエストに耐えられる AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)

Slide 12

Slide 12 text

12 Amazon S3 Express One Zone S3 Express One Zone のデータはシングル AZ 内で冗長化されて保管されます。そのため、AZ 障害によりデータを消失する可能性があります。データはシングル AZ 保管 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 標準 S3 Express One Zone

Slide 13

Slide 13 text

13 Amazon S3 Express One Zone シングル AZ 以外は同等の設計となっており、耐久性は 99.999999999%（イレブンナイン）です。耐久性もSLAも同じ項目 S3 標準 S3 Express One Zone 設計上の耐久性 99.999999999% 99.999999999% 設計上の可用性 99.99% 99.95% 可用性（SLA） 99.9% 99.9% 新しく追加されたExpress 1ゾーンストレージクラスを比較してみた #AWSreInvent

Slide 14

Slide 14 text

14 Amazon S3 Express One Zone 同リージョン内の他ゾーンからのアクセス可能他ゾーンからのリクエストでもデータ転送料金はかからない AZ 跨ぎの通信料は発生しない

Slide 15

Slide 15 text

15 Amazon S3 Express One Zone S3 と S3 Express では名前空間が異なります ● s3 ● s3express ← New!! IAM ポリシーの書き方に注意 AWS Black Belt Online Seminar re:Invent 2023アップデート速報

Slide 16

Slide 16 text

16 Amazon S3 Express One Zone 　 AWS管理ポリシーの AmazonS3FullAccess でもアクセスできない

Slide 17

Slide 17 text

17 Amazon S3 Express One Zone 　 Gateway 型の VPC エンドポイントは別に必要

Slide 18

Slide 18 text

18 Amazon S3 Express One Zone Amazon S3 features not supported by S3 Express One Zone ● バージョニング ● バケットにタグ付け ● プライベートリンク ● S3 ライフサイクル ● S3 オブジェクトロック ● MFA 削除 ● リクエスタ支払い ● S3 ストレージレンズ ● S3 サーバーアクセスログ ● SSE-KMS ● などなど S3 のよく知られている機能はだいたい利用できない

Slide 19

Slide 19 text

19 Amazon S3 Express One Zone バージョニング有効が前提条件の AWS Backup は使えないです。 AWS Backup 非対応 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 Express One Zone

Slide 20

Slide 20 text

20 Amazon S3 Express One Zone AWS re:Invent 2023 - CEO Keynote with Adam Selipsky

Slide 21

Slide 21 text

Amazon EFS 21

Slide 22

Slide 22 text

22 Amazon EFS アップデート一覧 ● データの長期保存に適した EFS アーカイブストレージクラス追加 ● Elastic スループットモードの最大 IOPS 性能が向上 ● 低頻度アクセス（IA）ストレージクラスの利用料引き下げ ● ライフサイクル管理で 128KiB 未満のファイルサイズをサポート ● EFS レプリケーションのフェイルバックをサポート

Slide 23

Slide 23 text

23 Amazon EFS Archive 　保存単価の安いストレージクラス追加

Slide 24

Slide 24 text

24 Amazon EFS Archive 特徴 ● 保存単価は低頻度アクセスストレージクラスの半額 ● ライフサイクル管理の設定必要（n 日後に移動設定） ● Elastic スループットモードだけが利用可能なストレージクラス ● 東京リージョン提供中アーカイブストレージクラス追加

Slide 25

Slide 25 text

25 Amazon EFS Archive 価格 ● 保存単価（GBあたりの月額） ○ 標準: $0.36 ○ 低頻度アクセス: $0.02（94%割引） ○ アーカイブ: $0.01（更に50%割引）アーカイブストレージクラスは最低保管期間として 90 日が設定されています。 90 日以内にデータを削除しても 90 日分の利用料がかかります。最低保管期間のルールあり

Slide 26

Slide 26 text

26 Amazon EFS Archive 年に数回の頻度でアクセスするようなデータユースケース AWS re:Invent 2023 - [LAUNCH] Lower costs by up to 97% with Amazon EFS Archive (STG228)

Slide 27

Slide 27 text

27 Amazon EFS Archive とくべつ遅くなるわけではないです。レイテンシは低頻度アクセスと同じストレージクラスレイテンシ標準最短 250μ 秒低頻度アクセス 2桁ミリ秒前半アーカイブ 2桁ミリ秒前半

Slide 28

Slide 28 text

28 Amazon EFS Archive 　使えるのは Elastic スループットモードだけ

Slide 29

Slide 29 text

29 Amazon EFS 　最大 IOPS が向上したのも Elastic スループットモードだけ

Slide 30

Slide 30 text

30 Amazon EFS リージョナルタイプのものだけ低頻度アクセスクラスの値下げが適用されるパターン

Slide 31

Slide 31 text

Level Up? 31

Slide 32

Slide 32 text

32 Amazon S3 Express One Zone まとめ ● レイテンシ重視、高頻度アクセス向け ● 特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス ● 保存コストはお高め S3 に 7 つ目の新しいストレージクラスが追加された AWS Black Belt Online Seminar re:Invent 2023アップデート速報

Slide 33

Slide 33 text

33 Amazon EFS Archive まとめ ● 保存単価は低頻度アクセスストレージクラスの半額 ● Elastic スループットモードだけが使える EFS に新しいストレージクラスとしてアーカイブが追加された