Upgrade to Pro — share decks privately, control downloads, hide ads and more …

「S3 Express One ZoneとEFSアーカイブを少しだけ詳しくなろう」re:Growth 2023 in Sapporo

Yasutaka OHMURA
December 14, 2023
500

「S3 Express One ZoneとEFSアーカイブを少しだけ詳しくなろう」re:Growth 2023 in Sapporo

re:Invent2023で発表された新機能ついて少し深掘りしたアップデート紹介資料です。あと、表紙がかわいいです。

Yasutaka OHMURA

December 14, 2023
Tweet

Transcript

  1. 3 Agenda 1. はじめに(今ここ) 2. 自己紹介 3. S3 Express One

    Zoneを少し深掘り 4. EFS アーカイブを少し深掘り
  2. 大村 保貴 (Yasutaka Ohmura) クラスメソッド株式会社 AWS事業本部 カスタマーソリューション部 ソリューションアーキテクト 仕事 •

    エンプラ企業中心にAWSやSaaSを利用した環境の設計、コンサルティング • 専門はHPC(スパコン)、ライフサイエンスを少々 経歴 • ITインフラのコンサル→ IoTサービスのインフラ → クラスメソッド 受賞 • 2023 Japan AWS Top Engineers • 2023 Japan AWS All Certifications Engineers 趣味 • 網走郷土史、コーヒー Profile 4
  3. 6 Amazon S3 アップデート一覧 • Amazon S3 Express One Zone

    ストレージクラスの発表 ◦ Amazon EMR とS3 Express One Zone でデータの処理と分析を加速 ◦ Athena と S3 Express One Zone でデータレイクのクエリを高速化 ◦ Mountpoint for Amazon S3 が S3 Express One Zone をサポート • Amazon S3 CSI ドライバーのマウントポイントが一般提供開始 • ML (機械学習) トレーニング用に行う S3 のデータ転送が自動的に高速化 • 新しいアクセス制御方式 Amazon S3 Access Grants を発表
  4. 7 Amazon S3 Express One Zone AWS Black Belt Online

    Seminar re:Invent 2023アップデート速報
  5. 8 Amazon S3 Express One Zone 特徴 • レイテンシ重視、高頻度アクセス向け •

    特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス • S3 Express One Zone 用のバケットはディレクトリバケットと呼ばれる • AWS CLI、S3 API は同じく使える(aws s3 sync 〜) • Amazon Athena、Amazon EMR などの他 AWS サービスからもアクセス可能 • Mountpoint for Amazon S3 を利用して EC2 に S3 バケットのマウントをサポート • 東京リージョン提供中 S3 標準と比較して最大 10 倍高速なアクセススピードを実現
  6. 9 Amazon S3 Express One Zone 価格 • PUT, COPY

    などのリクエスト料金は S3 標準 に比べ半額 • GBあたりの保存単価は S3 標準 に比べ約 7 倍もお高い ◦ S3 標準: $0.025/GB ◦ S3 Express One Zone: $0.18/GB ストレージコストは割高
  7. 10 Amazon S3 Express One Zone • AI/ML トレーニング、HPC(スパコン)を使った並列演算処理などで大量のデータ処理 •

    Athenaからのクエリパフォーマンス改善。最大 2.1 倍高速化とのこと ユースケース AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)
  8. 11 Amazon S3 Express One Zone S3 標準は段階的なスケーリング S3 Express

    One Zone は瞬時 毎秒数千トランザクションのスパイクリクエストに耐えられる AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230)
  9. 12 Amazon S3 Express One Zone S3 Express One Zone

    のデータはシングル AZ 内で冗長化されて保管されます。 そのため、AZ 障害によりデータを消失する可能性があります。 データはシングル AZ 保管 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 標準 S3 Express One Zone
  10. 13 Amazon S3 Express One Zone シングル AZ 以外は同等の設計となっており、耐久性は 99.999999999%(イレブンナイン)です。

    耐久性もSLAも同じ 項目 S3 標準 S3 Express One Zone 設計上の耐久性 99.999999999% 99.999999999% 設計上の可用性 99.99% 99.95% 可用性(SLA) 99.9% 99.9% 新しく追加されたExpress 1ゾーンストレージクラスを比較してみた #AWSreInvent
  11. 15 Amazon S3 Express One Zone S3 と S3 Express

    では名前空間が異なります • s3 • s3express ← New!! IAM ポリシーの書き方に注意 AWS Black Belt Online Seminar re:Invent 2023アップデート速報
  12. 17 Amazon S3 Express One Zone   Gateway 型の VPC

    エンドポイントは別に必要
  13. 18 Amazon S3 Express One Zone Amazon S3 features not

    supported by S3 Express One Zone • バージョニング • バケットにタグ付け • プライベートリンク • S3 ライフサイクル • S3 オブジェクトロック • MFA 削除 • リクエスタ支払い • S3 ストレージレンズ • S3 サーバーアクセスログ • SSE-KMS • などなど S3 のよく知られている機能はだいたい利用できない
  14. 19 Amazon S3 Express One Zone バージョニング有効が前提条件の AWS Backup は使えないです。

    AWS Backup 非対応 AWS re:Invent 2023 - [LAUNCH] Deep dive on Amazon S3 Express One Zone storage class (STG230) S3 Express One Zone
  15. 22 Amazon EFS アップデート一覧 • データの長期保存に適した EFS アーカイブ ストレージクラス追加 •

    Elastic スループットモードの最大 IOPS 性能が向上 • 低頻度アクセス(IA)ストレージクラスの利用料引き下げ • ライフサイクル管理で 128KiB 未満のファイルサイズをサポート • EFS レプリケーションのフェイルバックをサポート
  16. 24 Amazon EFS Archive 特徴 • 保存単価は低頻度アクセスストレージクラスの半額 • ライフサイクル管理の設定必要(n 日後に移動設定)

    • Elastic スループットモードだけが利用可能なストレージクラス • 東京リージョン提供中 アーカイブストレージクラス追加
  17. 25 Amazon EFS Archive 価格 • 保存単価(GBあたりの月額) ◦ 標準: $0.36

    ◦ 低頻度アクセス: $0.02(94%割引) ◦ アーカイブ: $0.01(更に50%割引) アーカイブ ストレージクラスは最低保管期間として 90 日が設定されています。 90 日以内にデータを削除しても 90 日分の利用料がかかります。 最低保管期間のルールあり
  18. 32 Amazon S3 Express One Zone まとめ • レイテンシ重視、高頻度アクセス向け •

    特に小さなオブジェクトに対してアクセスが多いときに効果的なストレージクラス • 保存コストはお高め S3 に 7 つ目の新しいストレージクラスが追加された AWS Black Belt Online Seminar re:Invent 2023アップデート速報
  19. 34