Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
Search
Ryunosuke Iwai
August 29, 2023
Technology
12
9.8k
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です!
https://yuru-sre.connpass.com/event/292063/
Ryunosuke Iwai
August 29, 2023
Tweet
Share
More Decks by Ryunosuke Iwai
See All by Ryunosuke Iwai
2024/08/19 PEK Recap | データで振り返るPEK2024
rynsuke
2
160
バッチ処理のSLOをどう設計するか
rynsuke
10
1k
スタートアップにおける、チーム拡大を見据えたコンポーネント分割の取り組み
rynsuke
3
3.1k
Error Tracking for Logsを用いたバッチ処理のエラー監視
rynsuke
2
1.1k
Notionではじめるライフハックのススメ
rynsuke
8
1.2k
LLM Meetup Tokyo #2 手続きを記憶するコマンド型エージェントの実装
rynsuke
3
2.9k
Other Decks in Technology
See All in Technology
なぜクラウドサービスで Web コンソールを提供するのか
shuta13
3
980
New Relicで実践する外形監視
aeonpeople
1
110
実践ジオフェンス 効率的に開発するために
navitimejapan
PRO
2
130
マーケットプレイス版Oracle WebCenter Content For OCI
oracle4engineer
PRO
1
160
技術力あげたい
hisaichi5518
2
2.8k
Our Journey from in-House CD System to Open Source
ffjlabo
0
100
中規模・ミドルTier開発組織におけるDevRelの戦略と実行と成果 - DevRel Guild Conference Mini -
leveragestech
2
260
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
0
13k
プロデザ! BY リクルートvol.22_様々なプロダクト経験の中で活きたPdMのスキル
recruitengineers
PRO
3
170
技術ブログや登壇資料を秒で作るコツ伝授します
minorun365
PRO
16
4.3k
[RSJ24] Object Retrieval in Large-Scale Indoor Environments Using Dense Text with a Multi-Modal Large Language Model
keio_smilab
PRO
0
220
Oracle Database Backup Service:サービス概要のご紹介
oracle4engineer
PRO
0
4k
Featured
See All Featured
Optimizing for Happiness
mojombo
375
69k
Build your cross-platform service in a week with App Engine
jlugia
228
18k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.4k
The Cost Of JavaScript in 2023
addyosmani
39
5.1k
The Art of Programming - Codeland 2020
erikaheidi
48
13k
Navigating Team Friction
lara
183
13k
Making the Leap to Tech Lead
cromwellryan
128
8.8k
Ruby is Unlike a Banana
tanoku
96
10k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
42
2k
The World Runs on Bad Software
bkeepers
PRO
64
11k
Web Components: a chance to create the future
zenorocha
308
41k
How STYLIGHT went responsive
nonsquared
93
5.1k
Transcript
Datadog⼊れてみたらAWSの料⾦ が爆発した話 @ゆるSRE勉強会 #1 Cloudbase 株式会社 @ryuke
株式会社メルカリ Microservices Platform CI/CD @ryuke 岩井 ⿓之介 Cloudbase株式会社 Platform /
SRE チーム (2人) Go / terraform / Datadog 趣味 前職 現在 SNS https://twitter.com/i_ryuke Pokemon Sleep 6645-5328-5408
None
システム構成
システム構成
スキャンワークフローをStep Functionsで実現 +
品質の問題が⽬⽴つように →監視を強化しよう!
を導⼊した
の導入 サイドカーコンテナとしてDatadog Agentを設定 Lambdaレイヤーとして既存の関数に追加
の導入
😊
が、
ところが...
ところが... ん?
ところが...
🤯
原因:Datadog AgentのイメージのプルがNAT Gatewayを経由していた 100MB 500MB $0.062/GB
$0.01/GB $0.062/GB 対応策:プルスルーキャッシュリポジトリ+VPC Endpoint
その後
その後
😊
まとめ - 今回の学び • Datadog Agentのコンテナイメージは意外と⼤きいので注意 ◦ サーバーが少なくワーカーが多いような環境でハマる可能性あり ◦ プルスルーキャッシュリポジトリなどの⽅法で通信量を抑えられる
▪ GCPでは mirror.gcr.io, Azureでは Cache for ACR などが使える
まとめ - 料⾦の監視について • 監視まわりの開発は気を抜くとお⾦が吹っ⾶ぶ即死系の罠が多いがち ◦ ログやメトリクスの従量課⾦など ◦ 予算、料⾦の監視をちゃんと設定しておく •
が、難しい... ◦ 粒度:チームごとなのか、サービス(EC2 etc…)なのか ◦ 感度:粒度を下げすぎると、ノイズが増える • 「料⾦の監視」に有⽤な知⾒をお持ちの⽅、ぜひ教えてください!!
ク ラ ウ ド 運 ⽤ を 安 全 に