Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
Search
Ryunosuke Iwai
August 29, 2023
Technology
12
9.6k
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です!
https://yuru-sre.connpass.com/event/292063/
Ryunosuke Iwai
August 29, 2023
Tweet
Share
More Decks by Ryunosuke Iwai
See All by Ryunosuke Iwai
バッチ処理のSLOをどう設計するか
rynsuke
10
940
スタートアップにおける、チーム拡大を見据えたコンポーネント分割の取り組み
rynsuke
3
3k
Error Tracking for Logsを用いたバッチ処理のエラー監視
rynsuke
2
980
Notionではじめるライフハックのススメ
rynsuke
7
1k
LLM Meetup Tokyo #2 手続きを記憶するコマンド型エージェントの実装
rynsuke
3
2.8k
Other Decks in Technology
See All in Technology
コンテナ・K8s研修 - 後半 Kubernetes 基礎&ハンズオン【MIXI 24新卒技術研修】
mixi_engineers
PRO
1
120
ギークの理想が7つ集まるエムスリーで夢を叶えよう - エムスリー株式会社
m3_engineering
1
260
dxd2024-生成AIに振り回された3か月間の成功と失敗/dxd2024-link-and-motivation
lmi
2
260
テストケースの自動生成に生成AIの導入を試みた話と生成AIによる今後の期待
shift_evolve
0
180
CTOから見た事業開発とプロダクト開発 / My Perspective on Business and Product Development as CTO
keisuke69
4
960
AutomatedLabを使って内部ペンテストを勉強しよう! -やられ社内ネットワークの自動構築-
n_etupirka
1
610
テスト・設計研修【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
170
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
LINE WORKSへ簡単通知!Incoming Webhookアプリの紹介
mmclsntr
0
110
【基調講演】変える、今ここから ― IoTとAIで紡ぐ未来
soracom
PRO
0
310
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
データベース研修 分析向けSQL入門【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
110
Featured
See All Featured
How to train your dragon (web standard)
notwaldorf
79
5.5k
ParisWeb 2013: Learning to Love: Crash Course in Emotional UX Design
dotmariusz
105
6.8k
Practical Orchestrator
shlominoach
185
10k
Web Components: a chance to create the future
zenorocha
307
41k
KATA
mclloyd
20
13k
For a Future-Friendly Web
brad_frost
173
9.2k
Art, The Web, and Tiny UX
lynnandtonic
291
20k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
Designing for humans not robots
tammielis
247
25k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Code Review Best Practice
trishagee
58
16k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
Transcript
Datadog⼊れてみたらAWSの料⾦ が爆発した話 @ゆるSRE勉強会 #1 Cloudbase 株式会社 @ryuke
株式会社メルカリ Microservices Platform CI/CD @ryuke 岩井 ⿓之介 Cloudbase株式会社 Platform /
SRE チーム (2人) Go / terraform / Datadog 趣味 前職 現在 SNS https://twitter.com/i_ryuke Pokemon Sleep 6645-5328-5408
None
システム構成
システム構成
スキャンワークフローをStep Functionsで実現 +
品質の問題が⽬⽴つように →監視を強化しよう!
を導⼊した
の導入 サイドカーコンテナとしてDatadog Agentを設定 Lambdaレイヤーとして既存の関数に追加
の導入
😊
が、
ところが...
ところが... ん?
ところが...
🤯
原因:Datadog AgentのイメージのプルがNAT Gatewayを経由していた 100MB 500MB $0.062/GB
$0.01/GB $0.062/GB 対応策:プルスルーキャッシュリポジトリ+VPC Endpoint
その後
その後
😊
まとめ - 今回の学び • Datadog Agentのコンテナイメージは意外と⼤きいので注意 ◦ サーバーが少なくワーカーが多いような環境でハマる可能性あり ◦ プルスルーキャッシュリポジトリなどの⽅法で通信量を抑えられる
▪ GCPでは mirror.gcr.io, Azureでは Cache for ACR などが使える
まとめ - 料⾦の監視について • 監視まわりの開発は気を抜くとお⾦が吹っ⾶ぶ即死系の罠が多いがち ◦ ログやメトリクスの従量課⾦など ◦ 予算、料⾦の監視をちゃんと設定しておく •
が、難しい... ◦ 粒度:チームごとなのか、サービス(EC2 etc…)なのか ◦ 感度:粒度を下げすぎると、ノイズが増える • 「料⾦の監視」に有⽤な知⾒をお持ちの⽅、ぜひ教えてください!!
ク ラ ウ ド 運 ⽤ を 安 全 に