Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減...

Aurora PostgreSQLがCloudWatch Logsに 出力するログの課金を削減してみる #jawsdays2025

JAWS DAYS 2025の登壇資料です。

のんピ

March 01, 2025
Tweet

More Decks by のんピ

Other Decks in Technology

Transcript

  1. • 所属 ◦ クラウド事業本部コンサルティング部 • 名前(ニックネーム) ◦ ⼭本涼太 (のんピ) •

    出⾝ ◦ 島根県 • 好きなAWSサービス ◦ Amazon FSx for NetApp ONTAP ◦ AWS Transit Gateway ◦ AWS CDK • 最近の趣味 ◦ パケットキャプチャ 自己紹介 ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c @non-97 @non____97 @non____97
  2. ここでCloudWatch Logsの料金体系を見てみよう • データ取り込み料金が比較的高い • 保存料金はログが自動圧縮されることも後押しして比較的安い 項目 コスト 1 USD

    = 150円換算 データ取り込みサイズ (Standard) 0.76 USD/GB 114円/GB データ取り込みサイズ (IA) 0.38 USD/GB 57円/GB 保存 (圧縮後のデータサイズ) 0.033 USD/GB 4.95円/GB (圧縮率15%の場合は0.74円) Logs Insights (スキャン量) 0.0076 USD/GB 1.14円/GB ※ 2025/2/29時点の東京リージョンの料金
  3. CloudWatch LogsとS3のストレージ料金を見てみよう Logsのデータ取り込みサイズほどの差はない 項目 コスト 1 USD = 150円換算 Logs

    保存 (圧縮後のデータサイズ) 0.033 USD/GB 4.95円/GB (圧縮率15%の場合は0.74円) S3 Standard 保存 0.023 USD/GB 3.45円/GB S3 Standard IA 保存 0.0125 USD/GB 1.86円/GB S3 Glacier Instant Retrieval 保存 0.004 USD/GB 0.6円/GB S3 Glacier Deep Archive 保存 0.00099 USD/GB 0.15円/GB ※ 2025/2/28時点の東京リージョンの料金 ※ ストレージサイズに応じて料金が階層的に変動する場合最 初の階層の料金を記載
  4. Pros/Cons パターン Pros Cons Logs IAに流す • 手間がかからない • ログ欠損のリスクが少ない

    • メトリクスフィルターやサブスクリプション フィルターを使用できない • ログの取り込み料金は Logs Standard と比較して半額程度しか削減できない S3に流す仕組みの自作 • ログ取り込みコストの大幅削減が可能 • Athenaのパーティション分割による ログ分析時のコストの減少 • 処理の中でログの種別ごとに出力先を 変更することも可能 • PostgreSQLの場合有効 • ログ欠損の可能性がある • ログをリアルタイムで確認できない • 特定の文字列が含まれるログが出力さ れた場合の通知実装のハードルが高い • 仕組みのメンテナンスが必要
  5. 前提 • 紹介するアーキテクチャの導入を積極的にお勧めするものではない • Consに挙げた内容はよく理解した上で導入すること ◦ 特にAurora MySQLはローカルストレージ使用率が15%以上 or 24時間経過後にログを削除し始めるため、ログ欠損のリスクが高い

    • ログを見た上でアクションする運用が全くイメージ着いていないなら 「ログを取得しない」選択肢もある ◦ 「ログの見方が分からない」は勉強すれば良いだけ ◦ 「このログを取る意味が全く分からない」は特に再考の余地あり コストとログ運用のバランスを考えて導入しよう
  6. コスト試算 SFnやLogsの料金合わせても理論上は30 USD/month ほどで運用可能 117万円/月が4,500円/月になるなら検討の価値を感じる 項目 値 アーキテクチャ Arm リクエスト数

    6 / hour 10分に一回起動 各リクエストの実行時間 10,000 msec 平均10秒想定 メモリサイズ 128 MB デフォルト エフェメラルストレージサイズ 512 MB デフォルト ログファイルのフィルタリング用 Lambdaのコスト = 0.07 USD / month 項目 値 アーキテクチャ Arm リクエスト数 60 / hour 1分に1ログファイル出力される想定 各リクエストの実行時間 40,000 msec 平均40秒想定 メモリサイズ 1,024 MB 圧縮処理の高速化のために増強 エフェメラルストレージサイズ 2,048 MB 最大の1GiBのログファイルに対応 RDSログのS3バケットへの PUT用Lambdaのコスト = 23.47 USD / month
  7. • RDSやAuroraのログをS3やData Firehoseに流せるように して欲しい ◦ CloudFrontの標準ログV2ができたならできるはず!! ◦ 標準ログV2と同じくVended Logsを使うような場合はLogs IAと同じ

    ログ取り込み料金 • CloudWatch Logs IAでメトリクスフィルターと サブスクリプションフィルターを使えるようにして欲しい ◦ Logs Standardの立ち位置を考えると難しいような気もする... みんなでフィードバックしよう! ハッシュタグ:#jawsdays2025 #jawsug #jawsdays2025_c