画像サーバーを紆余曲折あってS3 に移行した話【DeNA TechCon 2023】

youtube：https://youtu.be/-Hajlh9LMf4

概要：
DeNA TechCon 2021 Winter での Lightning Talks です。

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

Transcript

1. 画像サーバーを紆余曲折あって S3 に移行した話 IT 本部 IT 基盤部第二グループ　増田英孝
2. 自己紹介 • 名前：増田英孝 • 入社：2021年（新卒 2 年目） • 所属：IT 本部 IT 基盤部第二グループ ◦ Mobage、Anycaなどのインフラ運用チーム 2
3. 画像サーバー群のコストが高い！ 構成 • CDN • ロードバランサー ◦ Elastic Load Balancing（ELB） • Amazon Elastic Compute Cloud（EC2） ◦ リバースプロキシ 3 台 ◦ 画像サーバー 約 80 台 ▪ 約 40 系統 ▪ 冗長化のため、各系統は 2 台構成 さあ、どうコスト削減しよう？ 3
4. どうコスト削減しよう？ コストが高い要因 • コンピューティングリソース（EC2） ◦ =>CPU は低負荷なので、EC2 を集約！ • ストレージ （Amazon Elastic Block Store, 略：EBS） ◦ EC2 は要冗長化だが、 同じ内容の EBS を複数作成すると、 大容量で高コスト ◦ => 共有ストレージでコスト節約！ 4
5. Amazon Elastic File System（EFS）でストレージ共有 EFS は、マネージドなネットワークファイルシステム 特徴 • 複数ホストでストレージを共有可能 • 低頻度アクセスストレージならば、EBS よりも安価 ◦ ほとんどの画像は低アクセス頻度 5
6. EFS でコスト削減？ 新しい構成 • リバースプロキシ廃止 ◦ 画像サーバー 40 系統をまとめたので不要 • 画像サーバー 3 台 ◦ 画像は 1 つの EFS に集約 メリット • EC2 のコストを大幅削減 • ストレージのコストも大幅削減 • 既存の画像アップロード処理を流用可能 デメリット • 特になし 6
7. ストレージのコストが下がらない！？ • EFS の低頻度アクセスストレージならば、EBS よりも安価 ◦ ただし、ファイルサイズが 128 KB 以上であることが必要 ◦ しかし、移行対象の画像のほとんどは 128 KB 未満なので、使用不可。。。 ◦ => コスト削減見込みが移行コストに見合わない ◦ => 多少の処理変更を許容して Amazon Simple Strage Service（S3）へ！ 7
8. S3 でコスト削減！ 新しい構成 • 画像は S3 に移行 メリット • EC2 のコストを大幅削減 • ストレージのコストも大幅削減 デメリット • 既存の画像アップロード処理は流用不可 8
9. まとめ • 画像を EFS に移行しようと思ったが、 結局 S3 に移行してコスト削減 • EFS の低頻度アクセスストレージを使用するなら、 ファイルサイズが 128 KB 以上であるか要確認！ 9