「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1

ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です！
https://yuru-sre.connpass.com/event/292063/

Transcript

1. Datadog⼊れてみたらAWSの料⾦ が爆発した話 @ゆるSRE勉強会 #1 Cloudbase 株式会社 @ryuke
2. 株式会社メルカリ Microservices Platform CI/CD @ryuke 岩井 ⿓之介 Cloudbase株式会社 Platform / SRE チーム (2人) Go / terraform / Datadog 趣味 前職 現在 SNS https://twitter.com/i_ryuke Pokemon Sleep 6645-5328-5408
4. システム構成
5. システム構成
6. スキャンワークフローをStep Functionsで実現 +
7. 品質の問題が⽬⽴つように →監視を強化しよう！
8. を導⼊した
9. の導入 サイドカーコンテナとしてDatadog Agentを設定 Lambdaレイヤーとして既存の関数に追加
10. の導入
11. 😊
12. が、
13. ところが...
14. ところが... ん？
15. ところが...
16. 🤯
17. 原因：Datadog AgentのイメージのプルがNAT Gatewayを経由していた 100MB 500MB $0.062/GB
18. $0.01/GB $0.062/GB 対応策：プルスルーキャッシュリポジトリ+VPC Endpoint
19. その後
20. その後
21. 😊
22. まとめ - 今回の学び • Datadog Agentのコンテナイメージは意外と⼤きいので注意 ◦ サーバーが少なくワーカーが多いような環境でハマる可能性あり ◦ プルスルーキャッシュリポジトリなどの⽅法で通信量を抑えられる ▪ GCPでは mirror.gcr.io, Azureでは Cache for ACR などが使える
23. まとめ - 料⾦の監視について • 監視まわりの開発は気を抜くとお⾦が吹っ⾶ぶ即死系の罠が多いがち ◦ ログやメトリクスの従量課⾦など ◦ 予算、料⾦の監視をちゃんと設定しておく • が、難しい... ◦ 粒度：チームごとなのか、サービス（EC2 etc…）なのか ◦ 感度：粒度を下げすぎると、ノイズが増える • 「料⾦の監視」に有⽤な知⾒をお持ちの⽅、ぜひ教えてください！！
24. ク ラ ウ ド 運 ⽤ を 安 全 に