Upgrade to Pro — share decks privately, control downloads, hide ads and more …

画像サーバーを紆余曲折あってS3 に移行した話【DeNA TechCon 2023】

画像サーバーを紆余曲折あってS3 に移行した話【DeNA TechCon 2023】

youtube:https://youtu.be/-Hajlh9LMf4

概要:
DeNA TechCon 2021 Winter での Lightning Talks です。

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

DeNA_Tech

March 06, 2023
Tweet

More Decks by DeNA_Tech

Other Decks in Technology

Transcript

  1. 画像サーバーを紆余曲折あって
    S3 に移行した話
    IT 本部 IT 基盤部第二グループ 増田英孝

    View full-size slide

  2. 自己紹介
    ● 名前:増田英孝
    ● 入社:2021年(新卒 2 年目)
    ● 所属:IT 本部 IT 基盤部第二グループ
    ○ Mobage、Anycaなどのインフラ運用チーム
    2

    View full-size slide

  3. 画像サーバー群のコストが高い!
    構成
    ● CDN
    ● ロードバランサー
    ○ Elastic Load Balancing(ELB)
    ● Amazon Elastic Compute Cloud(EC2)
    ○ リバースプロキシ 3 台
    ○ 画像サーバー 約 80 台
    ■ 約 40 系統
    ■ 冗長化のため、各系統は 2 台構成
    さあ、どうコスト削減しよう?
    3

    View full-size slide

  4. どうコスト削減しよう?
    コストが高い要因
    ● コンピューティングリソース(EC2)
    ○ =>CPU は低負荷なので、EC2 を集約!
    ● ストレージ
    (Amazon Elastic Block Store, 略:EBS)
    ○ EC2 は要冗長化だが、
    同じ内容の EBS を複数作成すると、
    大容量で高コスト
    ○ => 共有ストレージでコスト節約!
    4

    View full-size slide

  5. Amazon Elastic File System(EFS)でストレージ共有
    EFS は、マネージドなネットワークファイルシステム
    特徴
    ● 複数ホストでストレージを共有可能
    ● 低頻度アクセスストレージならば、EBS よりも安価
    ○ ほとんどの画像は低アクセス頻度
    5

    View full-size slide

  6. EFS でコスト削減?
    新しい構成
    ● リバースプロキシ廃止
    ○ 画像サーバー 40 系統をまとめたので不要
    ● 画像サーバー 3 台
    ○ 画像は 1 つの EFS に集約
    メリット
    ● EC2 のコストを大幅削減
    ● ストレージのコストも大幅削減
    ● 既存の画像アップロード処理を流用可能
    デメリット
    ● 特になし
    6

    View full-size slide

  7. ストレージのコストが下がらない!?
    ● EFS の低頻度アクセスストレージならば、EBS よりも安価
    ○ ただし、ファイルサイズが 128 KB 以上であることが必要
    ○ しかし、移行対象の画像のほとんどは 128 KB 未満なので、使用不可。。。
    ○ => コスト削減見込みが移行コストに見合わない
    ○ => 多少の処理変更を許容して Amazon Simple Strage Service(S3)へ!
    7

    View full-size slide

  8. S3 でコスト削減!
    新しい構成
    ● 画像は S3 に移行
    メリット
    ● EC2 のコストを大幅削減
    ● ストレージのコストも大幅削減
    デメリット
    ● 既存の画像アップロード処理は流用不可
    8

    View full-size slide

  9. まとめ
    ● 画像を EFS に移行しようと思ったが、
    結局 S3 に移行してコスト削減
    ● EFS の低頻度アクセスストレージを使用するなら、
    ファイルサイズが 128 KB 以上であるか要確認!
    9

    View full-size slide