Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
Search
Ryunosuke Iwai
August 29, 2023
Technology
12
9.2k
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です!
https://yuru-sre.connpass.com/event/292063/
Ryunosuke Iwai
August 29, 2023
Tweet
Share
More Decks by Ryunosuke Iwai
See All by Ryunosuke Iwai
バッチ処理のSLOをどう設計するか
rynsuke
9
760
スタートアップにおける、チーム拡大を見据えたコンポーネント分割の取り組み
rynsuke
3
2.7k
Error Tracking for Logsを用いたバッチ処理のエラー監視
rynsuke
2
780
Notionではじめるライフハックのススメ
rynsuke
1
720
LLM Meetup Tokyo #2 手続きを記憶するコマンド型エージェントの実装
rynsuke
3
2.7k
Other Decks in Technology
See All in Technology
コードや知識を組み込む / Incorporate Code and knowledge
ks91
PRO
0
160
実例で紹介するRAG導入時の知見と精度向上の勘所
yamahiro
7
2.2k
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
3
3.3k
[2024/04/23]tbls活用事例 〜 ビューポイントから データベースを整理してみた話 〜
tosite
0
110
成長をサポートするピープルマネジメントのやり方
sioncojp
9
1.4k
【基本】データベース設計
oracle4engineer
PRO
2
250
Building Dashboards as a Hobby
egmc
0
420
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
1.1k
いいたいことちゃんという
tkengo
0
260
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
1.1k
Handling focus in 2024
tahia910
0
540
Google Cloud Next '24 Recap(Cloud Run/k8s)
mokocm
0
370
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
12
1k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
21
1.6k
A Philosophy of Restraint
colly
197
16k
jQuery: Nuts, Bolts and Bling
dougneiner
60
7.2k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
126
32k
Raft: Consensus for Rubyists
vanstee
133
6.3k
GitHub's CSS Performance
jonrohan
1025
450k
What the flash - Photography Introduction
edds
64
11k
Code Reviewing Like a Champion
maltzj
515
39k
Fontdeck: Realign not Redesign
paulrobertlloyd
76
4.9k
From Idea to $5000 a Month in 5 Months
shpigford
378
45k
Fashionably flexible responsive web design (full day workshop)
malarkey
398
65k
Transcript
Datadog⼊れてみたらAWSの料⾦ が爆発した話 @ゆるSRE勉強会 #1 Cloudbase 株式会社 @ryuke
株式会社メルカリ Microservices Platform CI/CD @ryuke 岩井 ⿓之介 Cloudbase株式会社 Platform /
SRE チーム (2人) Go / terraform / Datadog 趣味 前職 現在 SNS https://twitter.com/i_ryuke Pokemon Sleep 6645-5328-5408
None
システム構成
システム構成
スキャンワークフローをStep Functionsで実現 +
品質の問題が⽬⽴つように →監視を強化しよう!
を導⼊した
の導入 サイドカーコンテナとしてDatadog Agentを設定 Lambdaレイヤーとして既存の関数に追加
の導入
😊
が、
ところが...
ところが... ん?
ところが...
🤯
原因:Datadog AgentのイメージのプルがNAT Gatewayを経由していた 100MB 500MB $0.062/GB
$0.01/GB $0.062/GB 対応策:プルスルーキャッシュリポジトリ+VPC Endpoint
その後
その後
😊
まとめ - 今回の学び • Datadog Agentのコンテナイメージは意外と⼤きいので注意 ◦ サーバーが少なくワーカーが多いような環境でハマる可能性あり ◦ プルスルーキャッシュリポジトリなどの⽅法で通信量を抑えられる
▪ GCPでは mirror.gcr.io, Azureでは Cache for ACR などが使える
まとめ - 料⾦の監視について • 監視まわりの開発は気を抜くとお⾦が吹っ⾶ぶ即死系の罠が多いがち ◦ ログやメトリクスの従量課⾦など ◦ 予算、料⾦の監視をちゃんと設定しておく •
が、難しい... ◦ 粒度:チームごとなのか、サービス(EC2 etc…)なのか ◦ 感度:粒度を下げすぎると、ノイズが増える • 「料⾦の監視」に有⽤な知⾒をお持ちの⽅、ぜひ教えてください!!
ク ラ ウ ド 運 ⽤ を 安 全 に