Amazon S3 Express One Zone & AWS re:Invent 2023 現地体験談

by kazuno fukuda

Slide 1

Slide 1 text

性能チェック & AWS re:Invent 2023 現地体験談 JAWS-UG 名古屋 2023年 AWS re:Inventの復習 Fukuda Kazuno

Slide 2

Slide 2 text

目次自己紹介 1. S3 Express One Zone について 2. 性能チェックしてみた 3. re:Invent 現地体験談 4.

Slide 3

Slide 3 text

自己紹介 Kazuno Fukuda Kazuno Fukuda

Slide 4

Slide 4 text

最もデータアクセスが高速で、高いパフォーマンスを発揮する新しいストレージクラス専用HW/SWを利用し、Standardの10倍高速に性能に対するレイテンシの影響が大きいアプリケーションでデータアクセスを高速化できる Amazon S3 Express One Zone 処理全体の所要時間短縮に効果的

Slide 5

Slide 5 text

リクエスト料金は S3 Standard よりも50%安い Amazon S3 Express One Zone ストレージ料金 $0.18/GB PUT, COPY, POST, LIST requests $0.0024/1,000 requests 512KBを超えるPUTリクエストに対しては、$0.0075/GB の追加料金 GET, SELECT, and all other requests $0.00019/1,000 requests 512KBを超えるGETリクエストに対しては、$0.0014/GB の追加料金保存時の料金は割高料金（東京リージョン）

Slide 6

Slide 6 text

Amazon S3 Express One Zone バケットタイプ：ディレクトリバケット認証モデル：CreateSession 例) bucket-name--apne1-az1--x-s3 新しい「ディレクトリバケット」は、このストレージクラスに特有新しいCreateSession関数は、特定のバケットへのアクセスを5分間許可するセッショントークンを返す AWS SDKの最新バージョンでは、セッションの作成は自動的に行われる。ディレクトリのバケット名は、AWSリージョン内で一意特殊な形式のサフィックスでAZのIDを指定しなければならない

Slide 7

Slide 7 text

Amazon S3 Express One Zone オブジェクトは単一のAWSアベイラビリティゾーン内の専用ハードウェア上に保存、複製される早さに全フリ！従来のS3のユースケースとは異なる

Slide 8

Slide 8 text

Use Cases 高速に動作する要件がある場合に、一時保存のストレージとして使用するのが最適そう。 S3 Express で読み書きを行い、裏で S3 Standard に複製しておくわりと限定的ですかね...?

Slide 9

Slide 9 text

AWS Lambda と Python Boto3 で性能チェック

Slide 10

Slide 10 text

StorageClass を指定する Python で実行時間を簡易計測 1.4KBと30.2KBのファイルを1万回 2.3MBのファイルを3000回

Slide 11

Slide 11 text

Python で実行時間を簡易計測 1.4KBと30.2KBのファイルを1万回 2.3MBのファイルを3000回

Slide 12

Slide 12 text

Lambda の設定 Lambda の設定メモリが小さいと性能差が出ませんでした。

Slide 13

Slide 13 text

アップロードダウンロード実行結果 4倍ぐらいの性能差は出せた（10倍は出せなかった）

Slide 14

Slide 14 text

Amazon S3 Express One Zone にアクセスするために Lambda レイヤーで追加する Boto3 を最新バージョンにする必要がある

Slide 15

Slide 15 text

Amazon S3 Express One Zone にアクセスするために AmazonS3FullAccess ポリシーでは権限不足ポリシーを追加する S3express:XXXX S3express:CreateSession

Slide 16

Slide 16 text

ちょっと残念だったこと AWS SDK for Rust が S3 Express One Zone にまだ非対応でした...

Slide 17

Slide 17 text

まとめ ME | The EcoCyclix 高速って魅力的ユースケースは限定的？実測値で4倍ほどの性能差 SDKのバージョンに注意ポリシーまわりにも注意

Slide 18

Slide 18 text

現地体験談

Slide 19

Slide 19 text

STEP 1 Presentations are communication tools that can be demonstrations. STEP 2 Presentations are communication tools that can be demonstrations. STEP 3 Presentations are communication tools that can be demonstrations. XLは簡単にもらえない re:Invent パーカーの話

Slide 20

Slide 20 text

STEP 1 Presentations are communication tools that can be demonstrations. STEP 2 Presentations are communication tools that can be demonstrations. STEP 3 Presentations are communication tools that can be demonstrations. 裏地の毛玉で黒色の服が悲惨なことに re:Invent パーカーの話

Slide 21

Slide 21 text

AI関連のWorkshopは 1時間以上前に並ばないと足切りにあう！予約したセッションでも、 10分前に行かないといけない！（ちゃんと読めば書いてある）