AWSコスト削減ポイント紹介（v20241205）

2024年12月5日のパーソルテクノロジー株式会社主催「FinOps入門×三大クラウドコスト削減術」セミナーの講演資料です。
https://connpass.com/event/335617/

FinOpsの目指すべきゴールは正しくはコスト削減ではないのですが、今回はあえて削減の部分にフォーカス当てて、AWSにおけるクラウドコスト削減に関するノウハウや、FinOpsならぬFinOopsな失敗談などを紹介します。

Transcript

1. © Hitachi, Ltd. 2024. All rights reserved. AWSコスト削減ポイント紹介 株式会社 日立製作所 Hitachi Application Reliability Centers(HARC) Japan 2024年12月5日 松沢 敏志 © Hitachi, Ltd. 2024. All rights reserved. FinOps入門×三大クラウドコスト削減術
2. © Hitachi, Ltd. 2024. All rights reserved. 自己紹介 1 松沢 敏志 (まつざわ さとし) シニアクラウドアーキテクト @ 株式会社 日立製作所 / HARC＊1 Japan 現在: - クラウドエンジニアリング/SRE/FinOpsチームのテックリード - クラウド技術/SRE/FinOpsの普及啓発 - サードパーティー製ツールも含めたクラウドに関連する技術相談 過去: - Linuxカーネルなどのソフトウェア開発、Linux/KubernetesなどのOSSのL3サポートエンジニア - 国内ハイパーコンバージドインフラ事業などの企画/立ち上げ、クラウドCoE組織の立ち上げ/推進、など その他: - 2021-2023 Japan AWS Top Engineersなどに受賞 - 好きなもの = 真っ赤なスポーツカー x ロック音楽 - 趣味 = 投資 x 仕事 x 子どもたちと遊ぶこと © Hitachi, Ltd. 2024. All rights reserved. 1 ＊1: Hitachi Application Reliability Centersの略、日本市場ではハルクと読む。 FinOps Foundation Japan Chapterという名の コミュニティーのオーガナイザー 的なことをやってますｗ
3. © Hitachi, Ltd. 2024. All rights reserved. 本日話すこと © Hitachi, Ltd. 2024. All rights reserved. 2 AWSにおけるクラウドコスト削減に関するノウハウや FinOpsならぬFinOopsな失敗談を紹介します！ ✓ よくあるコスト最適化ポイント ✓ ウッカリやらかしがちなポイント ✓ アーキテクチャー最適化の話
4. © Hitachi, Ltd. 2024. All rights reserved. © Hitachi, Ltd. 2024. All rights reserved. 3 よくあるコスト最適化のポイント
5. © Hitachi, Ltd. 2024. All rights reserved. よくあるコスト最適化のポイント 4 コンピューティングの適正化 ✓ 過剰なサイジングの見直し ✓ コストメリットの高い最新世代の利用 ✓ コストメリットの高いGravitonの利用 未使用リソースの停止 ✓ アイドル状態のリソースの停止/削除 ✓ 未割当のEBSやElastic IPなどの削除 ✓ 不要なスナップショットの削除 スケーリングの調整 ✓ 夜間休日など未使用時のリソース停止 ✓ オートスケーリングによるリソース増減 ストレージ/ネットワークの適正化 ✓ 用途に合わせたストレージサービスの選択 ✓ アーカイブなどのストレージ階層の変更 ✓ AZ間/リージョン間/外部通信の適正化 ライセンスの適正化 ✓ 既存ライセンスの持ち込み(BYOL) ✓ ソフトウェアライセンスの安いOSSの活用 料金(レート)の適正化 ✓ RI/SPなどのコミットメント割引の購入 ✓ スポットインスタンスの活用 ✓ ボリュームディスカウント/プライベートオファー クラウドにおける一般的なコスト最適化ポイントとしては以下のようなものがあります。
6. © Hitachi, Ltd. 2024. All rights reserved. 最適化の候補となる具体的なリソースを見つける簡単な方法 5 それはコスト最適化のレコメンデーションを提供するAWSの各種サービスを使うことです！ AWS Compute Optimizer ※標準機能のみなら無償利用可能 Cost Optimization Hub ※無償利用可能 AWS Trusted Advisor ※Business以上のSupportプランが必要 Cost Optimization Hub でレコメンデーションを 一元的に管理可能 とはいえ、こんなところに最適化の機会がありそうだ、というあくまで気づきとして利用し、 本当にレコメンデーションを受け入れていいかの詳細調査は絶対にしてください！ 未使用リソースの停止 インスタンスの適正化 料金(レート)の適正化 参考: AWS Trusted Advisor公式ドキュメント 参考: AWS Compute Optimizer公式ドキュメント 参考: AWS Billing and Cost Management公式ドキュメント
7. © Hitachi, Ltd. 2024. All rights reserved. © Hitachi, Ltd. 2024. All rights reserved. 6 ウッカリやらかしがちなポイント
8. © Hitachi, Ltd. 2024. All rights reserved. S3ライフサイクルルールの落とし穴 7 S3 Glacierへ自動移行するライフサイクルルールを設定したら逆に高くなってしまった!? 落とし穴 メタデータ付与 & リクエスト料金 → 小さいオブジェクトを大量に保有している場合は、そのままアーカイブへ入れるのではなく、 オブジェクトを結合して1オブジェクトのサイズを大きくしたうえでアーカイブしましょう！ • S3 GlacierまたはS3 Glacier Deep Archiveにアーカイブされるオブジェクトごとに、メタデータ用と して追加で32KBのストレージが追加される → 仮にアーカイブ移行で単価がざっくり1/5~1/10になったとして、オブジェクトが非常に小さいサイズだとメタデータ分の料金増加が無視できなくなる!? • ライフサイクルルールによるS3 GlacierまたはS3 Glacier Deep Archiveへのオブジェクト移行には、 ストレージクラスに応じたリクエスト料金（1000リクエスト単位）がかかる → サーバーごとの各種ログファイルを毎日別オブジェクトとしてアップロードするといったように非常に小さいサイズのオブジェクトを膨大に保管しているケースでは、 ライフサイクルルールによるリクエスト数がねずみ算式に増えあがってしまう!? 参考: Amazon S3 料金
9. © Hitachi, Ltd. 2024. All rights reserved. SP/RIの全額前払いの落とし穴 8 割引率が最大となる全額前払いオプションでSP/RIを買ったら逆に高くなってしまった!? 割引率が高くなるからと言って全額前払いオプションが常に正解とは限りません。先行き 不透明な場合は、前払い額を減らしてリスクヘッジするという選択肢も考慮しましょう。 落とし穴 米ドル/日本円の為替 → • コミットメント割引を購入する際の為替の影響を受けるため、円安に振れたときに全額前払いで購入すると 全額前払いによるメリットを帳消し、むしろマイナスにしてしまう可能性がある たとえば、m6i.xlargeのインスタンスを使っていて、新たにCompute Savings Plansを購入する場合、割引 率は3年間全額前払いだと53%、3年間前払いなしで48%と、わずか5%の差しかありません。 一方、米ドル/日本円は2022年1月時点では1ドル115円前後でしたが、2024年6末時点で160円前後、 2024年9中時点で140円前後と二桁パーセントを超える大きな変動がありました。 そのため、昨今では簡単に全額前払いのメリットを帳消しにする可能性をはらんでることを理解しましょう。
10. © Hitachi, Ltd. 2024. All rights reserved. 各種リコメンデーション機能の落とし穴 9 コスト最適化のレコメンデーションに従ってSP購入などをしたら逆に高くなってしまった!? レコメンデーション算出のために過去何日分の統計データを扱うかを定義するルックバック 期間という概念があることを認識しつつ、すべてを鵜呑みにしないことがやはり重要です。 落とし穴 ルックバック期間 → • 前回のコスト最適化の改善サイクルで変更を適用していたとしても、ルックバック期間によっては変更前の 統計情報が含まれてしまうため、その場合は過剰なレコメンデーションになってしまう可能性がある レコメンデーション機能によってルックバック期間は異なりますが、たとえばSP/RIレコメンデーションでは7日、30日、 60日といったルックバック期間を設定することができます。また、各種レコメンデーション機能にはルックバック期間 以外にも、レコメンデーション内容を調整する設定パラメータが存在します。 たとえば、Compute Optimizerでは、CPU使用率とメモリ使用率がともに80%未満を99.5パーセンタイルで 維持するキャパシティを備えたレコメンデーションをデフォルトでは提供しますが、これらの判定しきい値は調整する ことができます。個人的には、一番ユルイ、かなり余裕を持たせた判定からスタートするのがオススメです。 レコメンデーション算出の ために過去何日分の統 計データを扱うかを定義 するパラメータ
11. © Hitachi, Ltd. 2024. All rights reserved. © Hitachi, Ltd. 2024. All rights reserved. 10 アーキテクチャー最適化の話！
12. © Hitachi, Ltd. 2024. All rights reserved. Computing とりあえずCloudWatch Logsへ転送しておこう、をやめた話 11 Amazon CloudWatch すべてのログ Amazon CloudWatch Amazon S3(標準) Instances Containers 解析に使わないログをS3に格納することでCloudWatch Logsのコストを大幅削減 インジェスト料金 $0.38~0.76/GB 参考: Amazon CloudWatch 料金表 および Amazon S3 料金 ストア料金 $0.033 /圧縮後GB エラーログなど すべてのログ Instances Containers ストア料金 $0.033 /圧縮後GB ストア料金 $0.025/GB ~0.023/GB Computing インジェスト料金 $0.0047 /千リクエスト インジェスト料金 $0.38/GB ~0.76/GB After Before
13. © Hitachi, Ltd. 2024. All rights reserved. チームの成長にあわせてよりコストメリットの高いサービスに移行した話 12 処理単価を安くするためにLambda化 ゼロスケールの恩恵を得るためLambda化 Amazon Elastic Compute Cloud (Amazon EC2) Amazon Elastic Container Service (Amazon ECS) AWS Lambda AWS Glue AWS Lambda 時間 処理量 ➢ コード量が少ないアプリケーション: サクッと直接Lambda化 ➢ コード量が大きいアプリケーション: serverless-expressのようなラ イブラリーを使って内部のAPIの作りは変えず、入り口の作りだけを修正 え、128MBメモリーで動かして 処理時間が同じなら コストはザックリ1/4くらいだと!? 使い慣れたテクノロジーから特性にあわせてより適したサービスへ移行によりコストを削減 あとから ➢ 処理時間15分未満の軽い処理: サクッとLambda化 ➢ 上記以外: Glueを引き続き活用 フルマネージドだし、開発もしたくないし で選択したものの結局既存部品だけでは 満足せずPythonスクリプト作りがち^^; 料金をもっと安く…あれ？どうせ作るんなら Lambdaでもよかったんじゃない？ あとから Before Before After After 参考: AWS Glue 料金 および AWS Lambda 料金
14. © Hitachi, Ltd. 2024. All rights reserved. サイロ化したシステムの一部機能を共通プラットフォーム化した話 13 NAT gateway VPC … … … After Amazon EKS Amazon EKS … Spoke Spoke Spoke Spoke NAT gateway VPC NAT gateway VPC NAT gateway VPC … NAT gateway VPC NAT gateway Hub … 乱立していたEKSクラスターを共通化 Before After Before 乱立していたNATゲートウェイを共通化 コ、コントロール プレーンだけに 数百万/月だと!? NAT Gatewayの デプロイに数百万/月 …え、うそでしょ!? ビジネス価値を直接生まない機能を個々のチームから分離、共通化してコストを削減
15. © Hitachi, Ltd. 2024. All rights reserved. 最後に © Hitachi, Ltd. 2024. All rights reserved. 14 AWSにおけるクラウドコスト削減に関するノウハウや FinOpsならぬFinOopsな失敗談を紹介しました！ ✓ よくあるコスト最適化ポイント ✓ ウッカリやらかしがちなポイント ✓ アーキテクチャー最適化の話
17. 表記に関する注意事項 ▪他社商品名、商標などの引用に関する表示 – Amazon Web Services、AWS、Powered by AWS ロゴは、Amazon.com, Inc. またはその関連会社の商標です。 – その他記載の会社名、製品名は、それぞれの会社の商標または登録商標です。 ▪サービス・製品の仕様に対する表示 この資料に記載している製品・サービス仕様は、2024年11月現在のものです。 製品・サービスの改良などにより予告なく記載されている仕様が変更になることがあります。