Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減...
Search
のんピ
March 01, 2025
Technology
1.5k
1
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025
JAWS DAYS 2025の登壇資料です。
のんピ
March 01, 2025
Transcript
24 slides
Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c のんピ Track C-6
DevelopersIO流!アマゾンの奥地で技術の限界に挑戦:LT7人衆、熱き戦い
• 所属 ◦ クラウド事業本部コンサルティング部 • 名前(ニックネーム) ◦ ⼭本涼太 (のんピ) •
出⾝ ◦ 島根県 • 好きなAWSサービス ◦ Amazon FSx for NetApp ONTAP ◦ AWS Transit Gateway ◦ AWS CDK • 最近の趣味 ◦ パケットキャプチャ 自己紹介 ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c @non-97 @non____97 @non____97
こんなことありませんか? ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
CloudWatch Logsに流しているDBの ログに対する課金が高すぎる!!!! ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
この悩みを聞いてよく挙げられる構成 Logsに出力したログをData Firehoseを介してS3バケットにPUTする形
ここでCloudWatch Logsの料金体系を見てみよう • データ取り込み料金が比較的高い • 保存料金はログが自動圧縮されることも後押しして比較的安い 項目 コスト 1 USD
= 150円換算 データ取り込みサイズ (Standard) 0.76 USD/GB 114円/GB データ取り込みサイズ (IA) 0.38 USD/GB 57円/GB 保存 (圧縮後のデータサイズ) 0.033 USD/GB 4.95円/GB (圧縮率15%の場合は0.74円) Logs Insights (スキャン量) 0.0076 USD/GB 1.14円/GB ※ 2025/2/29時点の東京リージョンの料金
CloudWatch LogsとS3のストレージ料金を見てみよう Logsのデータ取り込みサイズほどの差はない 項目 コスト 1 USD = 150円換算 Logs
保存 (圧縮後のデータサイズ) 0.033 USD/GB 4.95円/GB (圧縮率15%の場合は0.74円) S3 Standard 保存 0.023 USD/GB 3.45円/GB S3 Standard IA 保存 0.0125 USD/GB 1.86円/GB S3 Glacier Instant Retrieval 保存 0.004 USD/GB 0.6円/GB S3 Glacier Deep Archive 保存 0.00099 USD/GB 0.15円/GB ※ 2025/2/28時点の東京リージョンの料金 ※ ストレージサイズに応じて料金が階層的に変動する場合最 初の階層の料金を記載
先ほどのアーキテクチャだと 5KB単位のデータ取り込み : 0.036 USD/GB (5.4円/GB) ログの保存料金が若干安くなるが、Data Firehoseの料金がプラスでかかる = 4円安くするために5円払うイメージ
Logsのデータ取り込みサイズにかかる課金の逆転は難しい
つまりはコスト削減のためには CloudWatch Logsの取り込み料金に対するフォローが必要
私の経験 監査ログ取得の関係でログを月10TBペースで出力 + Logs Insightを実行すると数TBに対してスキャンが実行され、一回の実行で 数千円から1万円程度の課金が発生することも (当時はLogsのフィールドインデックス機能GA前)
アプローチの整理 ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
考えられる方法 1. CloudWatch Logs Infrequent Access (Logs IA)に流す 2. DBインスタンスのログファイルをS3に流す仕組みの自作
Pros/Cons パターン Pros Cons Logs IAに流す • 手間がかからない • ログ欠損のリスクが少ない
• メトリクスフィルターやサブスクリプション フィルターを使用できない • ログの取り込み料金は Logs Standard と比較して半額程度しか削減できない S3に流す仕組みの自作 • ログ取り込みコストの大幅削減が可能 • Athenaのパーティション分割による ログ分析時のコストの減少 • 処理の中でログの種別ごとに出力先を 変更することも可能 • PostgreSQLの場合有効 • ログ欠損の可能性がある • ログをリアルタイムで確認できない • 特定の文字列が含まれるログが出力さ れた場合の通知実装のハードルが高い • 仕組みのメンテナンスが必要
ロマンを追い求めるなら DBインスタンスのログファイルを S3に流す仕組みの自作
DBインスタンスのログファイルをS3に流す 仕組み ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
前提 • 紹介するアーキテクチャの導入を積極的にお勧めするものではない • Consに挙げた内容はよく理解した上で導入すること ◦ 特にAurora MySQLはローカルストレージ使用率が15%以上 or 24時間経過後にログを削除し始めるため、ログ欠損のリスクが高い
• ログを見た上でアクションする運用が全くイメージ着いていないなら 「ログを取得しない」選択肢もある ◦ 「ログの見方が分からない」は勉強すれば良いだけ ◦ 「このログを取る意味が全く分からない」は特に再考の余地あり コストとログ運用のバランスを考えて導入しよう
アーキテクチャ
ポイント1 : LastWrittenによる絞り込みと重複ログファイルの抽出 S3バケット上に存在しないものをのみをPUTして、Lambdaのコストを削減
ポイント2 : S3オブジェクトの圧縮 S3は自動で圧縮を行わないため Lambda関数内でgzip level 6で圧縮 圧縮率は1.5%ほどになることも
コスト試算 SFnやLogsの料金合わせても理論上は30 USD/month ほどで運用可能 117万円/月が4,500円/月になるなら検討の価値を感じる 項目 値 アーキテクチャ Arm リクエスト数
6 / hour 10分に一回起動 各リクエストの実行時間 10,000 msec 平均10秒想定 メモリサイズ 128 MB デフォルト エフェメラルストレージサイズ 512 MB デフォルト ログファイルのフィルタリング用 Lambdaのコスト = 0.07 USD / month 項目 値 アーキテクチャ Arm リクエスト数 60 / hour 1分に1ログファイル出力される想定 各リクエストの実行時間 40,000 msec 平均40秒想定 メモリサイズ 1,024 MB 圧縮処理の高速化のために増強 エフェメラルストレージサイズ 2,048 MB 最大の1GiBのログファイルに対応 RDSログのS3バケットへの PUT用Lambdaのコスト = 23.47 USD / month
細かいところは以下ブログを見て!!!
最後にお願い ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
• RDSやAuroraのログをS3やData Firehoseに流せるように して欲しい ◦ CloudFrontの標準ログV2ができたならできるはず!! ◦ 標準ログV2と同じくVended Logsを使うような場合はLogs IAと同じ
ログ取り込み料金 • CloudWatch Logs IAでメトリクスフィルターと サブスクリプションフィルターを使えるようにして欲しい ◦ Logs Standardの立ち位置を考えると難しいような気もする... みんなでフィードバックしよう! ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
フィードバックしてユーザーの声を届けよう ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c
More Decks by のんピ
See All by のんピ
AWS Network Firewallの設計/運用の勘所 #NW_JAWS
non97
4
3.8k
コスト最適重視でAurora PostgreSQLのログ分析基盤を作ってみた #jawsug_tokyo
non97
2
2.2k
VPC間の接続方法を整理してみた #自治体クラウド勉強会
non97
1
2.8k
Amazon FSx for NetApp ONTAPを利用するにあたっての要件整理と設計のポイント
non97
1
1.1k
Amazon FSx for NetApp ONTAPのパフォーマンスチューニング要素をまとめてみた #cm_odyssey #devio2024
non97
0
1.7k
Amazon FSx for Net App ONTAPにおけるファイルシステム/SVM/ボリューム/qtreeの分割の考え方を整理してみる #storagejaws
non97
1
2.3k
オンプレミスネットワークとVPCとを接続する際に考慮すべきポイントを考えてみた #自治体クラウド勉強会
non97
1
7.7k
上手く活用すればコスト削減につながる、ONTAPの Temperature Sensitive Storage Efficiency (TSSE) の紹介
non97
0
1.2k
Amazon FSx for NetApp ONTAPへの移行方法を整理してみた
non97
0
2.6k
Other Decks in Technology
See All in Technology
HTTP QUERY時代の型安全な検索APIをKotlinで設計する
sansantech
PRO
1
120
Terraform 0 to 100:100個以上のリポジトリを常に最新にし続けるための自動化
sue445
3
1.3k
現地速報! Microsoft Ignite アップデートレポート
kasada
1
430
パスワードのない鍵で、 データを手元に置く
ginjihayashi
0
390
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
AWS DevOps Agentの構造から読み解く運用 AI エージェントの設計原則/aws-devops-agent-design-principles
tomoki10
0
230
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
260
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
190
Agent Routerで作るマルチテナント 推論基盤 #CNDW2026 / Building Multi-Tenant Inference Platform with Agent Router #CNDW2026
everpeace
5
580
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2k
AWS Well-Arhitected Frameworkセキュリティの柱 について
miu_crescent
PRO
2
170
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
410
Featured
See All Featured
DBのスキルで生き残る技術 - AI時代におけるテーブル設計の勘所
soudai
PRO
68
60k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
130k
My Coaching Mixtape
mlcsv
0
390
How To Speak Unicorn (iThemes Webinar)
marktimemedia
1
640
The #1 spot is gone: here's how to win anyway
tamaranovitovic
4
1.2k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
254
23k
The Straight Up "How To Draw Better" Workshop
denniskardys
239
140k
Tips & Tricks on How to Get Your First Job In Tech
honzajavorek
1
850
Mozcon NYC 2025: Stop Losing SEO Traffic
samtorres
1
610
How People are Using Generative and Agentic AI to Supercharge Their Products, Projects, Services and Value Streams Today
helenjbeal
2
400
How to Grow Your eCommerce with AI & Automation
katarinadahlin
PRO
2
360
Claude Code どこまでも/ Claude Code Everywhere
nwiizo
68
61k