Amazon S3 Express One Zone & AWS re:Invent 2023 現地体験談

JAWS-UG 名古屋 2023年 "AWS re:Invent"の復習（2023.12.18）での登壇資料「Amazon S3 Express One Zone & AWS re:Invent 2023 現地体験談」です。

Transcript

1. 性能チェック & AWS re:Invent 2023 現地体験談 JAWS-UG 名古屋 2023年 AWS re:Inventの復習 Fukuda Kazuno
2. 目次 自己紹介 1. S3 Express One Zone について 2. 性能チェックしてみた 3. re:Invent 現地体験談 4.
3. 自己紹介 Kazuno Fukuda Kazuno Fukuda
4. 最もデータアクセスが高速で、 高いパフォーマンスを発揮する新しいストレージクラス 専用HW/SWを利用し、Standardの10倍高速に 性能に対するレイテンシの影響が大きいアプリケーションで データアクセスを高速化できる Amazon S3 Express One Zone 処理全体の所要時間短縮に効果的
5. リクエスト料金は S3 Standard よりも50%安い Amazon S3 Express One Zone ストレージ料金 $0.18/GB PUT, COPY, POST, LIST requests $0.0024/1,000 requests 512KBを超えるPUTリクエストに対しては、$0.0075/GB の追加料金 GET, SELECT, and all other requests $0.00019/1,000 requests 512KBを超えるGETリクエストに対しては、$0.0014/GB の追加料金 保存時の料金は割高 料金（東京リージョン）
6. Amazon S3 Express One Zone バケットタイプ：ディレクトリバケット 認証モデル：CreateSession 例) bucket-name--apne1-az1--x-s3 新しい「ディレクトリバケット」は、このストレージクラスに特有 新しいCreateSession関数は、特定のバケットへのアクセスを5分間許可する セッショントークンを返す AWS SDKの最新バージョンでは、セッションの作成は自動的に行われる。 ディレクトリのバケット名は、AWSリージョン内で一意 特殊な形式のサフィックスでAZのIDを指定しなければならない
7. Amazon S3 Express One Zone オブジェクトは単一のAWSアベイラビリティゾーン内の 専用ハードウェア上に保存、複製される 早さに全フリ！ 従来のS3のユースケースとは異なる
8. Use Cases 高速に動作する要件がある場合に、 一時保存のストレージとして使用するのが最適そう。 S3 Express で読み書きを行い、 裏で S3 Standard に複製しておく わりと限定的ですかね...?
9. AWS Lambda と Python Boto3 で 性能チェック
10. StorageClass を指定する Python で実行時間を簡易計測 1.4KBと30.2KBのファイルを1万回 2.3MBのファイルを3000回
11. Python で実行時間を簡易計測 1.4KBと30.2KBのファイルを1万回 2.3MBのファイルを3000回
12. Lambda の設定 Lambda の設定 メモリが小さいと性能差が出ませんでした。
13. アップロード ダウンロード 実行結果 4倍ぐらいの性能差は出せた（10倍は出せなかった）
14. Amazon S3 Express One Zone にアクセスするために Lambda レイヤーで追加する Boto3 を最新バージョンにする必要がある
15. Amazon S3 Express One Zone にアクセスするために AmazonS3FullAccess ポリシーでは権限不足 ポリシーを追加する S3express:XXXX S3express:CreateSession
16. ちょっと残念だったこと AWS SDK for Rust が S3 Express One Zone にまだ非対応でした...
17. まとめ ME | The EcoCyclix 高速って魅力的 ユースケースは限定的？ 実測値で4倍ほどの性能差 SDKのバージョンに注意 ポリシーまわりにも注意
18. 現地体験談
19. STEP 1 Presentations are communication tools that can be demonstrations. STEP 2 Presentations are communication tools that can be demonstrations. STEP 3 Presentations are communication tools that can be demonstrations. XLは簡単にもらえない re:Invent パーカーの話
20. STEP 1 Presentations are communication tools that can be demonstrations. STEP 2 Presentations are communication tools that can be demonstrations. STEP 3 Presentations are communication tools that can be demonstrations. 裏地の毛玉で 黒色の服が悲惨なことに re:Invent パーカーの話
21. AI関連のWorkshopは 1時間以上前に並ばないと 足切りにあう！ 予約したセッションでも、 10分前に行かないと いけない！ （ちゃんと読めば書いてある）
22. Workshopも良いけど、 もおすすめ！ Code Talk, Chalk Talk