画像サーバーを紆余曲折あってS3 に移行した話【DeNA TechCon 2023】

youtube：https://youtu.be/-Hajlh9LMf4

概要：
DeNA TechCon 2021 Winter での Lightning Talks です。

◆ You Tube チャンネル登録はこちら↓
https://youtube.com/c/denatech?sub_confirmation=1

◆ Twitter
https://twitter.com/DeNAxTech

◆ DeNA Engineering
https://engineering.dena.com/

◆ DeNA Engineer Blog
https://engineering.dena.com/blog/

◆ DeNA TechCon 2022 公式サイト
https://techcon2022.dena.dev/spring/

Transcript

1. 画像サーバーを紆余曲折あって
   S3 に移行した話
   IT 本部 IT 基盤部第二グループ　増田英孝
   

   View Slide

2. 自己紹介
   ● 名前：増田英孝
   ● 入社：2021年（新卒 2 年目）
   ● 所属：IT 本部 IT 基盤部第二グループ
   ○ Mobage、Anycaなどのインフラ運用チーム
   2
   

   View Slide

3. 画像サーバー群のコストが高い！
   構成
   ● CDN
   ● ロードバランサー
   ○ Elastic Load Balancing（ELB）
   ● Amazon Elastic Compute Cloud（EC2）
   ○ リバースプロキシ 3 台
   ○ 画像サーバー 約 80 台
   ■ 約 40 系統
   ■ 冗長化のため、各系統は 2 台構成
   さあ、どうコスト削減しよう？
   3
   

   View Slide

4. どうコスト削減しよう？
   コストが高い要因
   ● コンピューティングリソース（EC2）
   ○ =>CPU は低負荷なので、EC2 を集約！
   ● ストレージ
   （Amazon Elastic Block Store, 略：EBS）
   ○ EC2 は要冗長化だが、
   同じ内容の EBS を複数作成すると、
   大容量で高コスト
   ○ => 共有ストレージでコスト節約！
   4
   

   View Slide

5. Amazon Elastic File System（EFS）でストレージ共有
   EFS は、マネージドなネットワークファイルシステム
   特徴
   ● 複数ホストでストレージを共有可能
   ● 低頻度アクセスストレージならば、EBS よりも安価
   ○ ほとんどの画像は低アクセス頻度
   5
   

   View Slide

6. EFS でコスト削減？
   新しい構成
   ● リバースプロキシ廃止
   ○ 画像サーバー 40 系統をまとめたので不要
   ● 画像サーバー 3 台
   ○ 画像は 1 つの EFS に集約
   メリット
   ● EC2 のコストを大幅削減
   ● ストレージのコストも大幅削減
   ● 既存の画像アップロード処理を流用可能
   デメリット
   ● 特になし
   6
   

   View Slide

7. ストレージのコストが下がらない！？
   ● EFS の低頻度アクセスストレージならば、EBS よりも安価
   ○ ただし、ファイルサイズが 128 KB 以上であることが必要
   ○ しかし、移行対象の画像のほとんどは 128 KB 未満なので、使用不可。。。
   ○ => コスト削減見込みが移行コストに見合わない
   ○ => 多少の処理変更を許容して Amazon Simple Strage Service（S3）へ！
   7
   

   View Slide

8. S3 でコスト削減！
   新しい構成
   ● 画像は S3 に移行
   メリット
   ● EC2 のコストを大幅削減
   ● ストレージのコストも大幅削減
   デメリット
   ● 既存の画像アップロード処理は流用不可
   8
   

   View Slide

9. まとめ
   ● 画像を EFS に移行しようと思ったが、
   結局 S3 に移行してコスト削減
   ● EFS の低頻度アクセスストレージを使用するなら、
   ファイルサイズが 128 KB 以上であるか要確認！
   9
   

   View Slide