Cookpad Lounge #4 SRE 座談会 AWS コスト最適化の取り組み

Transcript

1. AWS コスト最適化の取り組み mozamimy @ Cookpad Lounge #4

2. はじめに • 以下の記事の内容がベースに最近の事情も含めてお話します ◦ https://techlife.cookpad.com/entry/cost-and-ri-optimization-in-cookpad ◦ https://techlife.cookpad.com/entry/how-to-describe-infra-cost

3. コストそのものや、その変化を 「説明」できることが 求められる

4. 「説明」できるようになって得られるもの • 購入決裁 (稟議) の資料を作りやすくなる • 予算をクリアできるかどうか予測できるようになる • オーバーしそうなときの打ち手を考える助けになる •

   問題をお金で解決するかどうかの判断材料になる • 事業のコストパフォーマンスを測れる

5. クックパッドにおける AWS コスト管理術

6. 全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •

   まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱

7. Costco (内製 AWS コスト管理ツール)

8. 全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •

   まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱

9. 予算の設定

10. 全体観 • 年間の予算を決める • 月次コストレポートをまとめて部長や本部長に共有 • 週次の SRE 定例ミーティングで共有 •

    まずそうであれば具体的なコスト最適化の作業に移る • AWS の機能の Cost Explorer と内製ツールの Costco の二本柱

11. 月次レポート

12. AWS コストを分類して 現状を知る方法

13. Cost allocation tags / Cost Explorer • これに始まりこれに終わるといっても過言ではない (?) •

    AWS の機能のひとつ ◦ https://docs.aws.amazon.com/awsaccountbilling/latest/aboutv2/cost-alloc-tags.html ◦ https://console.aws.amazon.com/billing/home?#/preferences/tags • 特定のキーのタグの値をもつリソースに絞ってコストを集計できる ◦ Cost Explorer を使って可視化できる

14. Project タグ • 社内ルールとして AWS リソースに Project タグを付与することを強制している • コストがどのプロジェクトにかかっているのかを把握できる

    • もちろん必要に応じて他の cost allocation tags を設定しても OK ◦ Environment や Owner など ◦ ともかく Project タグがあれば最低限の分類はできる

15. Project タグによるコスト分類と可視化

16. Project タグをめぐる問題点 • 😩 そもそも付け忘れる • 😩 表記ゆれする ◦ e.g.

    cookpad_all vs cookpad (現在は cookpad で統一) ◦ 好き勝手に値の種類を増やすと治安が崩壊 • 😩 typo する • 😩 コンテキストが失われて値の意味がわからなくなる • 😩 値が非推奨になっていることに気づけない

17. Project タグを管理する仕組み • Project タグのないリソースを検知するツール ◦ infra-compliance ▪ AWS Config

    & auto remediation & SSM Automation のあわせ技 ◦ Tagcop ▪ 定期的にリソースをクロールして検知したらアラートをあげる素朴なバッチ • Project タグの値のバリエーションをホワイトリスト管理にする ◦ tech/terraform の project_tag_whitelist.txt • Costco では複数のタグをまとめて カテゴリとして管理

18. infra-compliance によるタグ監視 • Config rule で AWS リソースがルールを満たしているかをチェックできる ◦ https://docs.aws.amazon.com/config/latest/developerguide/managed-rules-by-aws-config.html

    ◦ DynamoDB テーブルを監視する rule • タグなしリソースが生じて noncompliant 状態になると Lambda function や SSM Automation を実行できる • SSM Automation を利用している ◦ SSM document (手続きを YAML で書いたもの) を実行 ◦ 自動でタグ付け、できない場合はアラートに

19. YAML DE PUROGURAMINGU • コード ◦ Project タグがない EBS volume

    の親となっている EC2 インスタンスの Project タグを自動でセットしてく れる SSM document ◦ もし detach されていて宙ぶらりんならアラートをあげる ◦ 雰囲気だけ感じてくれ!! • AWS API を適当にコールするだけの処理を書くなら Lambda より楽 • if が出てきたあたりで警戒、 10 ステップを超えたりネストまでしたら もうやめたほうがいいと思う

20. Terraform 管理リポジトリでホワイトリスト管理 • ホワイトリスト (プレーンテキスト) • 既存のプロジェクトではリストに含まれている値を使う • リストにない値を追加するときは pull

    request で SRE にレビューをもらう ◦ リソースの追加と一緒にやると natural ◦ 表記ゆれ・typo・みだりな値のバリエーションの増加・治安の悪化を防ぐ

21. Costco でコスト管理の世界が 広がります

22. ここまで紹介してなかった Costco の機能 • Project タグを管理 • AWS 予算・進捗を管理 •

    AWS の決裁と消化状況を管理 ◦ Workday と連携 • Route 53 で購入したドメインの請求一覧 • 月次レポート管理 • コストアノマリ管理

23. コストアノマリトラッカー

24. ツールたち • Costco ◦ 内製 AWS コストコンソール • infra-compliance /

    Tagcop ◦ Project タグの監視 • Burimuon ◦ RI の状況を管理 • Lunala ◦ AWS 開発者アカウントのリソースを自動削除するツール

25. Burimuon

26. Lunala

27. None

28. アウトライン • なぜ AWS コストの最適化をやるのか • クックパッドにおける AWS コスト管理術 ◦

    全体観 ◦ コスト管理のための内製のコンソールアプリケーション • まとめ・これからについて

29. なぜ AWS コストの最適化を やるのか

30. なぜ AWS コストの最適化をやるのか • 表面的 ◦ 組織運用の仕組みとして「予算」が決まっているから ◦ お金は有限のリソースだから •

    もうちょっとつっこんで ◦ 直接利益を生んでいるわけではない ◦ 利益率を上げるためにインフラコストは減れば減るほど良い ◦ より価値ある投資ができるようになる ◦ 持続可能かつチャレンジができる組織になるために必要

31. • 現状のコスト状況の把握 • それをもとにした予測 AWS コスト最適化に必要なこと

32. まとめ・これからについて

33. まとめ・これからについて • 高いレベルでコスト状況を把握 /改善できるようになった • とはいえ未分類となっているコストも少なくない • 継続して見ていくことが重要 ◦ ノウハウが失われないようにする

    • さらに細やかなコスト状況の把握がしたい場面もある ◦ e.g. ECS クラスタ内での各アプリケーションの利用状況