S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか/try-to-query-s3-glacier-from-athena

JAWS-UG朝会 #72
https://jawsug-asa.connpass.com/event/358269/

Transcript

1. 2025/8/7(木) JAWS-UG朝会 #72 S3 Glacier のデータを Athena からクエリしようとしたら どうなるのか
2. 自己紹介 2 • 最近やっていた・いること ◦ Terraform を用いた AWS リソース構築支援 ◦ AWS Control Tower を用いたマルチアカウント環境での AWS Security Hub、Amazon GuardDuty 展開 ◦ AWS リソース負荷軽減、構成検討 ◦ コスト最適化アセスメント ◦ Amazon QuickSight や Amazon Athena を利用した データ分析・可視化 • 名前（ニックネーム） ◦ 木谷 映見（emi） • 部署 ◦ クラスメソッド株式会社 ◦ クラウド事業本部コンサルティング部 • 趣味 ◦ コーヒー、ドーナツ、サウナ、 ホットヨガ、漫画、音楽など AWS Certified Cloud Practitioner バ ッ ジ AWS Certified AI Practitioner バ ッ ジ AWS Certified Solutions Architect - Professional バ ッ ジ AWS Certified DevOps Engineer - Professional バ ッ ジ AWS Certified Advanced Networking - Specialty バ ッ ジ AWS Certified Machine Learning - Specialty AWS Certified Security - Specialty バ ッ ジ AWS Certified SysOps Administrator - Associate バ ッ ジ AWS Certified Developer - Associate バ ッ ジ AWS Certified Solutions Architect - Associate バ ッ ジ AWS Certified Data Engineer - Associate バ ッ ジ AWS Certified Machine Learning Engineer - Associate バ ッ ジ AWS Certified Cloud Practitioner バ ッ ジ AWS Certified AI Practitioner バ ッ ジ AWS Certified Solutions Architect - Professional バ ッ ジ AWS Certified DevOps Engineer - Professional バ ッ ジ AWS Certified Advanced Networking - Specialty バ ッ ジ AWS Certified Machine Learning - Specialty AWS Certified Security - Specialty バ ッ ジ AWS Certified SysOps Administrator - Associate バ ッ ジ AWS Certified Developer - Associate バ ッ ジ AWS Certified Solutions Architect - Associate バ ッ ジ AWS Certified Data Engineer - Associate バ ッ ジ AWS Certified Machine Learning Engineer - Associate バ ッ ジ 最近はカフェインを控えています
3. 目次 3 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
4. S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか 4 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
5. S3 Glacier のデータを Athena からクエリしようとしたら どうなるのか
6. 6 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ？
7. S3 ストレージクラスのおさらい 7 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
8. S3 ストレージクラスのおさらい
9. 9 S3 ストレージクラスのおさらい
10. 10 ⚫ S3 Glacier Deep Archive ⚫ 特徴・用途 ⚫ アクセスがほとんどなく、取り出しに時間がかかる長期間保存データ ⚫ ストレージ料金：すべてのストレージクラスの中で最も低額 ⚫ 取り出し料金 ⚫ 標準：高額 ⚫ 大容量：低額 ⚫ 取り出しにかかる時間 ⚫ 標準：12 時間以内 ⚫ 大容量：48 時間以内 S3 ストレージクラスのおさらい データ取得の前に、 別途取り出し操作が必要です S3 Glacier Deep Archive
11. 11 ⚫ S3 Glacier Flexible Retrieval ⚫ 特徴・用途 ⚫ アクセスがほとんどなく、必要に応じて取り出し方法を柔軟に選択できる長期間保存データ ⚫ すぐにアクセスする必要がない場合、大量データの無料取り出しも可能 ⚫ ストレージ料金：S3 Glacier Instant Retrieval より低額 ⚫ 取り出し料金 ⚫ 迅速：高額 ⚫ 標準：低額 ⚫ 大容量：無料 ⚫ 取り出しにかかる時間 ⚫ 迅速：1～5 分 ⚫ 標準：3～5 時間 ⚫ 大容量：5～12 時間 S3 ストレージクラスのおさらい データ取得の前に、 別途取り出し操作が必要です S3 Glacier Flexible Retrieval
12. 12 ⚫ S3 Glacier Instant Retrieval ⚫ 特徴・用途 ⚫ アクセスはほとんどないが、即時取り出しが必要な長期間保存データ ⚫ ストレージ料金：S3 1 ゾーン IA より低額 ⚫ 取り出し料金 ⚫ S3 1 ゾーン IA より高額 ⚫ 取り出しにかかる時間 ⚫ 即時取り出し可能 S3 ストレージクラスのおさらい 取り出し操作不要で、 データ取得できます S3 Glacier Instant Retrieval
13. 検証イメージと結果 13 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
14. 検証イメージと結果
15. 15 ⚫ Athena Partition Projection で クエリする範囲のデータで、一部を Glacier 系のストレージクラスに 変更し、クエリできるか検証します。 検証イメージと結果 Athena のパーティション射影（Partition Projection）を理解するためにイメージ図を書いた | DevelopersIO https://dev.classmethod.jp/articles/athena-partition-projection-image/
16. 16 ⚫ 全データが S3 Standard にある場合 ⚫ キュー内の時間：102 ms ⚫ 実行時間：11.878 sec ⚫ スキャンしたデータ：5.96 KB ⚫ 結果：72（行） 検証イメージと結果
17. 17 ⚫ 一部のデータを S3 Glacier Deep Archive に移動 ⚫ キュー内の時間：139 ms ⚫ 実行時間：11.031 sec ⚫ スキャンしたデータ：3.78 KB ⚫ 結果：45（行） 検証イメージと結果 Glacier Deep Archive に変更したデータが取得されていない スキャンしたデータ量も減っている ↓ Glacier Deep Archive のデータはそもそもスキャンされない挙動になる模様
18. 18 ⚫ 一部のデータを Glacier Flexible Retrieval (旧 Glacier) に移動 ⚫ キュー内の時間：58 ms ⚫ 実行時間：11.552 sec ⚫ スキャンしたデータ：3.09 KB ⚫ 結果：36（行） 検証イメージと結果 Glacier Flexible Retrieval (旧 Glacier) に変更したデータが取得されていない スキャンしたデータ量も減っている ↓ Glacier Flexible Retrieval (旧 Glacier) のデータは そもそもスキャンされない挙動になる模様
19. 19 ⚫ 一部のデータを Glacier Instant Retrieval に移動 ⚫ キュー内の時間：112 ms ⚫ 実行時間：11.568 sec ⚫ スキャンしたデータ：3.09 KB ⚫ 結果：36（行） 検証イメージと結果 Glacier Instant Retrieval に変更したデータは取得できている スキャンしたデータ量は変わらない ↓ Glacier Instant Retrieval は即時取り出しが可能で取り出し操作が不要なので 取得できたと考えられる 実行時間はやや長くなっている
20. 検証イメージと結果 20 ⚫ S3 Glacier のデータを Athena からクエリしようとしたらどうなるのか ⚫ S3 ストレージクラスのおさらい ⚫ 検証イメージと結果 ⚫ コストに関する注意事項
21. コストに関する注意事項
22. 22 ⚫ S3 Glacier Instant Retrieval は S3 Standard と異なりデータを取得する際に料金が 発生する ⚫ アクセスが少ないデータに関してはライフサイクルポリシーで Glacier へ移行することも 考えられるが、Glacier への PUT リクエストが S3 Standard の保存料金よりも 高額になる場合があるため、1 オブジェクトのサイズが小さくオブジェクト数が 大量にあるケースでは、Glacier へのライフサイクルポリシーで移行することによって 逆にコスト増になってしまう場合がある ⚫ データ 1 つ 1 つが小さい場合は、ライフサイクルポリシーで Glacier へ移行 するのではなく、そのまま削除してしまう方がコスト削減になる ⚫ ※DELETE リクエストおよび CANCEL リクエストは無料 コストに関する注意事項
23. 参考 23 ⚫ 料金 - Amazon S3 ｜AWS https://aws.amazon.com/jp/s3/pricing/ ⚫ ストレージクラス - Amazon S3 ｜AWS https://aws.amazon.com/jp/s3/storage-classes/ ⚫ S3 Glacier 系ストレージクラスのデータを Athena からクエリする時の挙動を確認した | DevelopersIO https://dev.classmethod.jp/articles/athena-s3-storage-classes-glacier/ ⚫ S3 ストレージクラスの選択に迷った時みるチャートを作ってみた（2023年度版） | DevelopersIO https://dev.classmethod.jp/articles/should_i_choice_s3_storage_class_2023/ ⚫ [アップデート]Amazon S3 Glacier Flexible Retrieval でデータの復元時間が最大 85% 短縮されました | DevelopersIO https://dev.classmethod.jp/articles/amazon-s3-glacier-flexible-retrieval-improves-restore-time/