AWSのコストを４桁万円削減して円安をなかったことにした話

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Copyright © GMO Research, Inc. All rights reserved. 3 2.前提弊社のシステムはオンプレミス環境からクラウド環境に「リフトアンドシフト」式で移行をしています。つまり移行のタイミングではクラウドネイティブではなく、EC2でオンプレを焼き直すような構成を取っていました。上記のような前提なので、これから説明する内容は特に目新しいテクニックではなく、知っている人にとっては当たり前の事になります。一つでも知らない事があって、役に立つと良いなと思って共有していきます。

Slide 5

Slide 5 text

Copyright © GMO Research, Inc. All rights reserved. 4 3.コスト対策でやったこと ■Saving Plans(SP)の購入元々、AWSのコスト削減で最初に考えられるリザーブドインスタンスを購入していました。数年前からECS Fargate を使ったコンテナ化を進めているのと、以降で出てくるインスタンス見直しをしているというのもあり、RIと合わせてSavings Plansも購入しています。 Savings Plansとは RIと同様に1年または3年の期間で、一貫したコンピューティング使用量 (USD/時間で測定) を契約する代わりに、Amazon EC2、AWS Lambda、AWS Fargate の低額の使用料金がオファーされる柔軟な料金モデル（柔軟な分RIより割引率は低い）

Slide 6

Slide 6 text

Copyright © GMO Research, Inc. All rights reserved. 5 3.コスト対策でやったこと ■AWS Compute Optimizerを有効化 AWS Compute OptimizerはAWSリソースのパフォーマンス最適化とコスト削減を支援してくれます。機械学習によりワークロードに最適なコスト効率の良いリソースを提案してくれます。わざわざ数百台あるEC2のリソースを担当者が確認して回る必要がないので、とても簡単にコスト削減のとっかかりを得ることが出来ます。 AWS Compute Optimizerは無料で提供されています。コスト的なデメリット無しなので有効化しない理由が無いと思います。インスタンス詳細で確認できるアカウント配下の全インスタンスを一覧で確認する事もできる

Slide 7

Slide 7 text

Copyright © GMO Research, Inc. All rights reserved. 6 3.コスト対策でやったこと ■EC2のインスタンスタイプ見直し AWS Compute Optimizerを有効化したので、まずは過剰なプロビジョニングと判定されているEC2について、実際のリソース使用状況を念のためzabbixで確認しながら、スケールダウンを行いました。 ※素のAWS Compute Optimizerではメモリの使用量についてはリコメンド対象にならないので、EC2にCloudWatchエージェントをインストールしてメモリの値を取れるようにすると更にやりやすくなります。 AWS Compute Optimizerの概要ページにも記載があります https://aws.amazon.com/jp/compute-optimizer/

Slide 8

Slide 8 text

Copyright © GMO Research, Inc. All rights reserved. 7 3.コスト対策でやったこと ■EBSボリュームのサイズを適正化 EBSについても大きく取りすぎているサーバーが多かったので、適正なサイズに変更を行いました。但し、EBSは大きくする事は簡単ですが、小さくするには別ボリュームを作ってデータをコピーし、OSからの参照先を切り替えるという非常に面倒な作業をする必要があります。そんな面倒な事をするのにコストメリットを感じなかったので、OSバージョンアップ時に一律ディスクサイズの見直しをして適正なサイズに変更しています。 ※クラウドサービスは大きくするのは簡単で小さくするのは難しいので小さく始めましょう

Slide 9

Slide 9 text

Copyright © GMO Research, Inc. All rights reserved. 8 3.コスト対策でやったこと ■停止したままになっている不要インスタンスを削除停止ステータスのまま残っているインスタンスがあったため、イメージを取得して削除しました。 EC2インスタンスは停止するとCPUリソースに関しては課金されません。ですがEBSボリュームについては停止したインスタンスについていても課金対象となります。 ※EC2インスタンスの価格表はCPUの利用時間単価が書いてあるので、停止したら全ての課金が止まるという勘違いをしないようにしましょう。

Slide 10

Slide 10 text

Copyright © GMO Research, Inc. All rights reserved. 9 3.コスト対策でやったこと ■古くて不要になったAMIを削除サーバーに対して設定変更を行う前や後に切り戻しのためにAmazon マシンイメージ(AMI) を作成する運用があります。この取得したAMIはEBSの利用サイズ分課金されます。不要になったイメージが放置されていたので無駄に課金が発生していました。これを整理して削除しました。 AMIはEBSボリュームの実使用量を圧縮して保存するためEBSをそのまま置いておくよりはコストが安くなります。

Slide 11

Slide 11 text

Copyright © GMO Research, Inc. All rights reserved. 10 3.コスト対策でやったこと ■ S3に保存しているログを一定期間でGlacierに移動 S3にアプリケーションのログやアクセスログを保存していますが、直近のログ以外が利用されるケースは少ないため、一定期間経過後にGlacierへの移動を行うようにしました。 S3 Glacier とは標準ストレージと比較して価格は20%（80%割引）すぐに取り出す事が出来ない(利用まで1分～12時間かかる) 取り出す際に別途料金が発生する最小オブジェクトサイズが40KB 最小ストレージ期間が90日安価ですが制約が多いので古いログの様に保管の必要があるけれど直ぐ取り出すことが出来なくても良いデータに向いています

Slide 12

Slide 12 text

Copyright © GMO Research, Inc. All rights reserved. 11 3.コスト対策でやったこと ■ EFS（Elastic File System）の低頻度アクセスを利用する共有ディスクとして利用しているEFSについて、古いデータの利用頻度が低い事を確認し90日経過後に低頻度アクセスに移動する事にしました。 GMORのケースではEFSの料金が約90％削減されました。低頻度アクセスとは標準ストレージと比較して価格は8%(92%割引) 取り出す際に別途料金が発生する最小請求サイズが128KB

Slide 13

Slide 13 text

Copyright © GMO Research, Inc. All rights reserved. 12 3.コスト対策でやったこと ■ Fargate Spot の利用コンテナで動作するアプリケーションのステージング環境についてはFargate Spot を利用する事でコストを70%削減しました。 Fargate Spot とは通常のタスクと比較して7割引きで利用できるサービス指定プラットフォームバージョンが1.3.0以降で利用できる但し、AWS側の都合によっていつタスクが終了するのかわからないキャパシティープロバイダー戦略で割合を指定出来る上記の特徴を考慮して、GMORではある程度落ちても問題ないステージング環境で利用しています。

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Copyright © GMO Research, Inc. All rights reserved. 14 5.まとめ ■改善を行う上で大事なこと当たり前ですが、継続してウォッチし続ける事が一番大事だと思います。出来るならロールを定義して担当者を付けるのが良いそうです。 👇 ■AWSの定義するコスト最適化ベストプラクティス https://wa.aws.amazon.com/wellarchitected/2020-07-02T19-33- 23/wat.pillar.costOptimization.ja.html

Slide 16

Slide 16 text

Copyright © GMO Research, Inc. All rights reserved. 15 本文書は、GMOリサーチ株式会社が著作権その他の権利を有する営業秘密です。当社の許可なく複製し利用すること、また漏洩することは「著作権法」「不正競争防止法」によって禁じられております。 This document and all information contained in this document are the legal property of GMO Research, Inc. Any distribution, copying, or disclosure of information contained in this document without the consent of GMO Research, Inc. is strictly forbidden by the Japanese Intellectual Property Rights Law and Fair Competition Law.