Datadogのログコスト最適化

Japan Datadog User Group Meetup#15@東京 での登壇資料です。
https://datadog-jp.connpass.com/event/378380/

Transcript

1. 2026.02/26 NEALLE Datadogのログコスト最適化 1
2. 2 氏名 所属 経歴 森原 大地 ／ Daichi Morihara 
 株式会社ニーリー
 プロダクト統括本部 プラットフォームエンジニアリングG 
 SRE / プラットフォームエンジニアリング 
 趣味 ゴルフ󰝱筋トレ🏋UFC観戦🥊 2024- 
 新卒で株式会社ニーリーに入社 
 SREとしてサービスの信頼性と開発生産性の向上に取り組む 
 
 自己紹介 
 @daichi_morihara
3. 3 事業・プロダクト紹介 
 BtoBtoCのVertical SaaS「Park Direct」を運営 

4. 目次
 4 1. Datadogのログコストの構造 
 
 2. ログコストの削減施策 
 
 3. 結果・まとめ 
 
 
 目次

5. ログコストの構造 5 1. ログの取り込み 
 (Ingested Logs) ・内容：収集・処理パースにかかる費 用
 ・課金体系：ボリュームベース(例： $0.1/Gb)
 ・対策：ログ送信量の削減
 ２. ログのインデックス化 
 (Indexed Logs) ・内容：検索・可視化・アラートのため に保存するプロセス
 ・課金体系：高額。ログイベント数と 保持期間に依存(例：15日保持で $2.55/100万イベント)
 Datadogログコストの構造 

6. ログコストの構造 
 6 1. ログの取り込み 
 (Ingested Logs) 
 ・内容：収集・処理パースにかかる費 用
 ・課金体系：ボリュームベース(例： $0.1/Gb)
 ・対策：ログ送信量の削減
 ２. ログのインデックス化 
 (Indexed Logs) ・内容：検索・可視化・アラートのため に保存するプロセス
 ・課金体系：高額。ログイベント数と 保持期間に依存(例：15日保持で $2.55/100万イベント)
 ログコストの主要因であり、ここの最 適化が効果的。
 Datadogログコストの構造：支配的な要因は「インデックス化」 

7. ログコストの削減施策 1. ALBログのインデックス除外 SLI/SLO計測に必要なデータのみを抽出し、元ログのインデックス化を停止する。 
 ２. 保持期間の環境別最適化 
 コスト削減を実現した2つのアプローチ 
 全てのログを一律設定するのではなく、環境(prod/dev/stg)の用途に合わせて、保持期 間を設定する。

8. 8 ・ALBログはDatadog上ではリクエスト成功率・レイテンシーといったSLI/SLO の監視のみに使用 
 
 ・ALBログはAWS S3に保管され、Athenaで分析可能 
 
 ・Datadogのログはカスタムメトリクス生成→ログのインデックス化の順番で処 理される
 施策①：ALBログをインデックス対象から除外 
 ログコストの削減施策
9. 9 ・ALBログはDatadog上ではリクエスト成功率・レイテンシーといったSLI/SLO の監視のみに使用 
 
 ・ALBログはAWS S3に保管され、Athenaで分析可能 
 
 ・Datadogのログはカスタムメトリクス生成→ログのインデックス化の順番で処 理される
 施策①：ALBログをインデックス対象から除外 
 ログコストの削減施策 ↓
 ・ALBログからSLI/SLOに使用するカスタムメトリクスを生成すれば、イン デックス化しないという選択が可能に！
10. 10 ログコストの削減施策 
 実装ステップ１：Logs Pipelineによる属性の抽出と正規化 
 Logs Pipelineを通して必要な情報(Attribute) を抽出する

11. 11 ログコストの削減施策 
 実装ステップ２：Generate Metricsでログを「数値」に変換 
 抽出した属性(Attribute)を使用して、カスタムメトリクスを作成する。
 ログを保存せずに、必要な情報の監視が可能になる 

12. 12 ログコストの削減施策 
 実装ステップ３：インデックス除外設定 
 ALBログと判断できるタグを条件に、Index Exclusion Filterを適用

13. 13 ログコストの削減施策 
 結果：ログ保存せずにSLI/SLOの算出が可能に 
 ・生成したメトリクスを使用してダッシュボードおよびSLI/SLO監視は機能し続け る
 ・カスタムメトリクス生成のコストは発生するが、ログのインデックス化より安価で ある

14. ログコストの削減施策 
 施策②：環境ごとのインデックス保持期間の最適化 
 After 
 ・本番環境のみ90日の保持期間 
 ・dev/stg環境では30日の保持期間 
 Before 
 ・全環境で一律で90日の保持期間 

15. 成果
 15 • ログコストを70%削減(メトリクスコスト増加を考慮すると40%削減) 
 • 90日保持のインデックスログは90%近く削減 
 
 コスト削減結果 
 *この外れ値は月次の大量のバッチ処理の影響 

16. • Datadogのログコストはインデックス化が支配的 
 
 • ログから必要情報をメトリクスとして抽出し、 
 ログは保持しないという選択肢もある 
 
 • インデックスログの保持期間は環境ごとに分ける 
 まとめ
 16 まとめ