Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
コストに関するヒヤリハットのお話 ~コスト超過で手遅れにならないためにすべきこと~
Search
Red Frasco
December 21, 2023
Technology
0
450
コストに関するヒヤリハットのお話 ~コスト超過で手遅れにならないためにすべきこと~
2023/12/07 に開催された 2023年ヒヤリハット大反省会@新宿(
https://findy.connpass.com/event/302579/)の登壇資料です
。
Red Frasco
December 21, 2023
Tweet
Share
More Decks by Red Frasco
See All by Red Frasco
Datadog Synthetics 活用事例紹介
red_frasco
0
420
バッチ処理が終わらない!? -処理時間を90%削減した話-
red_frasco
1
330
不動産情報サイトにおけるデータ収集で頑張ったこと
red_frasco
0
290
不動産情報サイトにおけるリアルタイムデータ分析基盤の活用
red_frasco
1
270
Spring Boot 2 から 3 へバージョンアップしてみた
red_frasco
4
17k
チーム一丸となって信頼性向上! 多種多様な監視でサイトを守る取り組みの紹介
red_frasco
1
1.5k
Red Frasco 会社紹介
red_frasco
3
24k
AWS環境におけるSpring BootアプリケーションのCI/CDをCircleCIで構築した話
red_frasco
2
710
Feature 環境の自動生成と Blue Green Deployment で効率的かつ安全なリリースプロセスを構築
red_frasco
1
460
Other Decks in Technology
See All in Technology
LLM 機能を支える Langfuse / ClickHouse のサーバレス化
yuu26
3
130
Vision Language Modelと自動運転AIの最前線_20250730
yuyamaguchi
3
1.1k
JAWS AI/ML #30 AI コーディング IDE "Kiro" を触ってみよう
inariku
3
270
Google Agentspaceを実際に導入した効果と今後の展望
mixi_engineers
PRO
2
330
【CEDEC2025】ブランド力アップのためのコンテンツマーケティング~ゲーム会社における情報資産の活かし方~
cygames
PRO
0
230
OPENLOGI Company Profile for engineer
hr01
1
37k
Segment Anything Modelの最新動向:SAM2とその発展系
tenten0727
0
340
AIに目を奪われすぎて、周りの困っている人間が見えなくなっていませんか?
cap120
1
430
Agent Development Kitで始める生成 AI エージェント実践開発
danishi
0
120
Claude Codeから我々が学ぶべきこと
s4yuba
6
1.8k
「育てる」サーバーレス 〜チーム開発研修で学んだ、小さく始めて大きく拡張するAWS設計〜
yu_kod
1
250
LLMでAI-OCR、実際どうなの? / llm_ai_ocr_layerx_bet_ai_day_lt
sbrf248
0
430
Featured
See All Featured
KATA
mclloyd
31
14k
Building a Modern Day E-commerce SEO Strategy
aleyda
43
7.4k
Java REST API Framework Comparison - PWX 2021
mraible
32
8.8k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Scaling GitHub
holman
461
140k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
182
54k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
229
22k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
Become a Pro
speakerdeck
PRO
29
5.5k
Documentation Writing (for coders)
carmenintech
73
5k
Transcript
コストに関するヒヤリハットのお話 2023年ヒヤリハット⼤反省会@新宿 コスト超過で⼿遅れにならないためにすべきこと
⽬次 1. ⾃⼰紹介/弊社紹介 2. コストに関するヒヤリハット事例(おしながき) 1. Datadogの外形監視(Synthetics)を追加しただけなのに請求額 が︕︖ 2. GCP
Dataflowでインスタンスが80台に・・・︕︖ 3. iOSアプリで爆速開発︕でもCircleCIからの明細が・・・ 3. 事故(⼿遅れ)にならないために何ができるか 4. まとめ
⾃⼰紹介 猪熊 朔也 ( いのくま さくや ) / @sinocloudon -
株式会社 Red Frasco - インフラエンジニア u経歴 - ⾦融系 SIer, リクルート(SUUMO), ⾦融系スタートアップ, 現職 uその他コメント - うどんが好きです - ラーメン⼆郎が好きです - うどん脳 をプロフィールアイコンにすることが多いです 3
株式会社Red Frasco • https://www.red-frasco.com/ • 不動産業界に特化したプロダクト開発・集客⽀援を実施 4
5 導⼊編
みなさんコスト管理してますか︖ • インフラはもちろんですが、開発を営むためには多くのコスト を管理しなければなりません • インフラ利⽤料 • AWS, GCP, Azure
など • 開発ツール • GitHub Enterprise, CircleCI, TablePlus, InteliJ など • 監視・モニタリングツール • Datadog, PagerDuty, Sentry など 6
コスト管理は難しい • コスト管理のよくあるお悩み • そもそも予算計画を思いっきりはずしてしまう • 計画外の案件追加によるコスト増 / 案件中⽌・延期によるコスト減 •
予測できないドル円レート • コスト運⽤作業を⾃動化したいと思いつつ結局⼿作業 • 予実の差分理由を解明するまで時間がかかる • 請求書を⾒てビックリする 7
8 実際にあったコストに関する ヒヤリハット事例を共有します
9 本編
10 Datadogの外形監視(Synthetics)を追加しただけなのに請求額が︕︖
11 テスト実⾏数が通常時の4倍に跳ね上がっている ⇩ 通常の使⽤量
Datadog Synthetics がすべてのリージョンからテスト実⾏していた • 新規構築中のシステム向けの監視設定を夏休み前に追加 • 夏休み明け、Datadog Synthetics のテスト実⾏が爆発的に増えて いることに気づく
• デフォルト設定のままだと Datadog Synthetics は全世界23リー ジョンから1分間隔でテストを実⾏する • その結果、3週間で通常時の1.5倍のコストがかかってしまった • 契約量の⾒直しやログ量削減によるコストカットによりトータルでの 予算超過を回避 12
13
14 GCP Dataflowでインスタンスが80台に・・・︕︖
マネージドサービスが勝⼿に⼤量のリソースを使⽤しまう • Dataflow で重い処理を実⾏していた • 最⼤インスタンス数を指定していなかった • 処理量に応じてインスタンスが80台くらいに跳ね上がる • すぐ気づいたので慌てて処理を停⽌
15
16 iOSアプリで爆速開発︕でもCircleCIからの明細が・・・
マネージドサービスが勝⼿に⼤量のリソースを使⽤する • iOS アプリのリニューアルを実施 • 案件も佳境に⼊り、毎⽇ビルドしまくる • 1回のビルド時間は⼤体30分前後 • ⾯⽩いように
CircleCI のクレジットが⾶んでいく • 必要経費ではあるが、想定よりも多くのコストがかかってし まった 17
18 (再)コスト管理は難しい…
19 では事故を起こさないためには どうすればよいのでしょうか︖
アラートの活⽤と定例での定点観測でコスト超過リスクを最⼩化 • アラートの活⽤ • Datadog の場合、推定使⽤量メトリクス が取得できるため、使⽤量ア ラートを設定することが可能 • https://docs.datadoghq.com/ja/account_management/billing/usage_metrics/
• ツール次第だが、アラート設定できるものは積極的に活⽤ • しきい値監視と異常監視とセットで運⽤ • しきい値を超えてからでは⼿遅れになる可能性 • 急激なリソースの増減は異常監視によって早期に検知しやすい • ⼤量の ECS の vCPU/Mem を増強した • 機械学習⽤インスタンスを⼤量に起動した など 20
21
アラートの活⽤と定例での定点観測でコスト超過リスクを最⼩化 • 定例での定点観測 • アラート設定ができないものは定期的なモニタリングでカバー • CircleCI は 定期的に使⽤量ダッシュボードを⾒るしか⼿段がない •
定例の中でコスト最適化施策も議論する • AWS の場合、アカウント軸 -> サービス軸 の順にドリルダウンしてコスト⽐率の⼤きい ところから最適化施策を考える • 例えば、こんなことを取り組んできました • 不要なVPC Endpoint を削除 • CloudWatch Logs への PutLogEvents を必要最⼩限にする • S3に保存されたログのライフサイクル設定 • Fargate SPOT を開発環境に導⼊ • CircleCI の残余クレジットを使い切る 22
23 まとめ
無駄を省いて筋⾁質なインフラを⽬指しましょう︕ • コストに関するヒヤリハット事例を3つ紹介しました • アラート・定期的なモニタリングだけでなく、⽇頃からコスト 削減策を実⾏することで超過リスクに備える • インフラ利⽤料だけでなく、開発で使⽤するツールについても コスト最適化の余地がないか検討する 24
Thanks for listening!