Upgrade to Pro — share decks privately, control downloads, hide ads and more …

意外と知らない?Amazon S3 ストレージクラスのおさらい

Makky12
July 06, 2023

意外と知らない?Amazon S3 ストレージクラスのおさらい

2023/7/6 (木) 19:00〜21:00 に開催された「Storage-JAWS #0」における私のLT「意外と知らない?Amazon S3 ストレージクラスのおさらい」の発表資料になります。

https://storage-jaws.connpass.com/event/287653/

# storagejaws

Makky12

July 06, 2023
Tweet

More Decks by Makky12

Other Decks in Technology

Transcript

  1. © DeNA Co., Ltd. 1
    意外と知らない?Amazon S3
    ストレージクラスのおさらい
    鈴木 正樹(株式会社ディー・エヌ・エー)

    View full-size slide

  2. © DeNA Co., Ltd. 2
    鈴木 正樹
    ・Mobage のサーバーサイド運用・管理
    ・クラウドアーキテクト (主にAWS)
    ・AWS 全般/IaC(AWS CDK, SFW)/TypeScript/Perl
    DeNA エンターテイメント開発事業本部 オープンプラットフォーム
    事業部 ゲームプラットフォーム部 サーバーグループ
    https://github.com/smt7174
    @makky12(SUZUKI Masaki@クラウドエンジニア)
    https://makky12.hatenablog.com
    © DeNA Co., Ltd.
    自己紹介

    View full-size slide

  3. © DeNA Co., Ltd. 3
    アジェンダ
    ストレージクラスって何?
    S3 のストレージクラス
    S3 Glacier のストレージクラス
    まとめ & 宣伝
    5
    4
    3
    各ストレージクラスの説明
    1
    2

    View full-size slide

  4. © DeNA Co., Ltd. 4
    1
    ● 本スライドで紹介する S3 ストレージクラスの仕様は、2023年7月6日現在のものです
    ○ 今後、変更になる可能性があります
    ● 仕様については、必ずAWS 公式ドキュメントをご確認ください
    ○ 内容は十分確認して記載をしておりますが、万が一AWS 公式ドキュメントと
    記載が異なる場合、公式ドキュメントが真となります
    発表に際して

    View full-size slide

  5. © DeNA Co., Ltd. 5
    1. ストレージクラスって何?

    View full-size slide

  6. © DeNA Co., Ltd. 6
    4 ストレージクラスとは
    ● バケット内の各オブジェクト
    (ファイル)単位で設定できる保
    存形式
    ● アクセス頻度・ファイルの種類
    (アーカイブ)などで分けられて
    いる
    ● 各オブジェクトの「プロパティ」
    ->「ストレージクラス」から選択
    可能
    6
    1

    View full-size slide

  7. © DeNA Co., Ltd. 7
    ● コスト(保存コスト)
    ○ 基本的にアクセス頻度が高い・即時取り出し可能なストレージクラスほど高い
    ○ アクセス頻度が低いストレージクラスは取り出しに別途課金される
    ■ 設定を間違えると、逆にコストが高くなってしまうことも...
    ● 取り出し時間
    ○ アーカイブ保存用クラス (S3 Glacier) だと、取り出し時間に差がある
    ■ 最短で即時、最長で48時間
    ○ 取り出す際のビジネス要件(n時間以内に必要)などから判断
    各ストレージクラスで違う点
    2

    View full-size slide

  8. © DeNA Co., Ltd. 8
    2. 各ストレージクラスの説明

    View full-size slide

  9. © DeNA Co., Ltd. 9
    ● ストレージクラスは、大きく下記3つ(実質2つ)に分類される
    1. S3
    ○ 非アーカイブファイル用のストレージクラス(通常使用するのはこちら)
    2. S3 Glacier
    ○ アーカイブファイルのストレージクラス(基本的に大容量)
    ○ Glacier:英語で「氷河」の意味(氷漬けのファイル...みたいな意味合い?)
    3. RSS(低冗長化ストレージ)※非推奨
    ○ オブジェクトを低冗長で保存する用
    ○ 基本的には使用しないこと(本発表でも扱いません)
    各ストレージクラスの説明:大分類
    1

    View full-size slide

  10. © DeNA Co., Ltd. 10
    3. S3 のストレージクラス

    View full-size slide

  11. © DeNA Co., Ltd. 11
    1
    ● 取り出し時間はどれも「即時」(Intelligent-Tiering は設定されたクラス次第)
    S3 ストレージクラス一覧
    クラス名 アクセス頻度 取出時課金 説明
    Standard 高い なし ・通常のファイルを取り出す際に使用
    ・通常「S3」と言ったらこのクラス
    Standard IA
    (S3 IA)
    低い あり ・アクセス頻度が低いファイル保存用(月 1回程度)
    ・IA = Infrequest Access(=低頻度アクセス)
    IA One Zone 低い あり ・基本はS3 IAと同じだが、1つのAZでのみ保存
    ・S3 IAに比べ可用性が低いが、その分低コスト
    ・重要度が低いファイルに最適
    Intelligent-
    Tiering
    不明 なし ・実際のアクセス頻度 (=アクセスがなかった日数)に応じ
    て、適切なクラスがに自動的に設定される
    ・詳細は次スライドで説明
    1

    View full-size slide

  12. © DeNA Co., Ltd. 12
    1
    ● アクセスがなかった日数に応じ、自動でストレージクラスが移動する
    ● S3 Glacierクラスへの移動は、許可が必要(デフォルトでは移動しない)
    Intelligent-Tiering の説明
    Standard S3 IA
    Flexible
    Retrieval
    (standard)
    Deep
    Archive
    (standard)
    30日 60日 90日
    アクセスがあったら、 Standardに戻る
    ・S3 Glacierクラスへの移動は、設定が必要
    ・日数は指定可能(記載日数は最低日数)
    S3 IAから直接Deep Archiveへの移動も可能
    2

    View full-size slide

  13. © DeNA Co., Ltd. 13
    4. S3 Glacier のストレージクラス

    View full-size slide

  14. © DeNA Co., Ltd. 14
    1
    ● 取出時課金はどれも「あり」
    S3 Glacier ストレージクラス一覧
    クラス名 アクセス頻度 取出時間 説明
    Instant
    Rerieval
    四半期に1度 即時 ・即時取り出しが必要なアーカイブファイル用
    Flexible
    Retrieval
    年1回程度 階層により
    異なる
    ・取り出し時間の要求がまばらなアーカイブファイル
    ・クラス内で3階層ある(詳細は次スライドで説明)
    Deep
    Archive
    年1回未満 階層により
    異なる
    ・ほぼアクセスされないアーカイブファイル
    ・クラス内で2階層ある(詳細は次スライドで説明)
    1

    View full-size slide

  15. © DeNA Co., Ltd. 15
    1
    ● 迅速(Expedited)、標準(Standard)、大容量(Bulk) の3階層がある
    ● 用途やビジネス要件に応じ、適切なものを選択する
    Flexible Retrieval と Deep Archive の階層 & 取り出し時間
    迅速 標準 大容量
    Flexible Retrieval 1〜5分 3〜5時間 5〜12時間
    Deep Archive (利用不可) 12時間以内 48時間以内
    2

    View full-size slide

  16. © DeNA Co., Ltd. 16
    5. まとめ & 宣伝

    View full-size slide

  17. © DeNA Co., Ltd. 17
    1
    ● 適切なストレージクラスを設定し、無駄なコストをなくそう
    ○ オブジェクトの種類・アクセス頻度・取り出し時間に応じた最適な設定を
    ○ 取り出し時間は、ビジネス要件を満たせるものを
    ● アクセス頻度が不明な場合は、Intelligent-Tieringを使用する
    ○ アクセスがない日数に応じて、自動的にストレージクラスを変更してくれる
    ○ コスト最適な運用が可能
    ● そうはいっても、なかなか設定しないよね...
    ○ 正直 S3 って、料金がかなり低めだし... (ただ「チリも積もれば...」と言うので)
    まとめ
    1

    View full-size slide

  18. © DeNA Co., Ltd. 18
    DeNA ENGINEERING

    DeNAのエンジニアの技術・文化・チーム等を伝えるポータルサイトです。

    様々な技術発信や、カルチャーの紹介をしています。

    View full-size slide

  19. © DeNA Co., Ltd. 19
    DeNA Engineering
 🔎
    DeNAについてもっと知りたい方は

    勉強会やブログなどの最新情報を得るには
    
 @DeNAxTech 


    View full-size slide

  20. © DeNA Co., Ltd. 20
    Mobage では、エンジニアを募集中です!
    Mobageでは、サーバーサイドエンジニアを積極募集中です。
    Mobageやいろいろなサーバーサイド技術に興味がある方・携わりたい方、お待
    ちしています!
    ※Perl って書いてますが、もちろんPerl 以外のエンジニアもOKです!
    (私も入社するまで Perl は全くやったことなかったです)
    https://herp.careers/v1/denacareer/TWYBVkIr4FA_

    View full-size slide

  21. © DeNA Co., Ltd. 21

    View full-size slide