Datadog___AWSコスト最適化.pdf

Transcript

1. Datadog × AWSコスト最適化 あのふじた アノテーション株式会社 カスタマーサクセス部
2. ⾃⼰紹介 2 あのふじた • 所属：アノテーション株式会社 カスタマーサクセス部 • やっていること：CCoE‧SRE内製化⽀援 ◦ AWSやDatadogのコスト最適化‧アラート対応‧その他運⽤⽀援 • 資格：2025 All Cert. 最近 Datadog Fundamentals も取得しました。
3. 今⽇話すこと 3 Datadog×AWSのコスト最適化でやったこと
4. 前提 4 DatadogとAWS 連携のコストの仕組み ユーザアカウント数に関連した課⾦要素はなく主な要素は２つ • ホスト数ベース課⾦ • 使⽤量ベース課⾦ ◦ ※機能単位での課⾦もあり
5. Datadog + AWSの基本的な課⾦要素 5 ホスト数ベース課⾦イメージ
6. Datadog + AWSの基本的な課⾦要素 6 使⽤量ベース課⾦イメージ
7. コスト最適化の検討項⽬ 7 • 短期的なコスト削減の実践 ◦ AWS連携の⾒直し ▪ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ◦ ログの最適化、⽅針決め ▪ 使⽤量ベース課⾦に効果アリ • 定期的なコストチェック ◦ コスト確認画⾯の活⽤ 短期的なコスト削減の実践
8. AWS連携の⾒直し 8 不要なサービスの無効化や制限を検討する Datadog のコンソールからAPIで 収集しているサービスの無効化が可能
9. AWS連携の⾒直し 9 この対応による主なコストインパクト • 監視の必要がないEC2,Lambdaのコスト削減 • Datadog側からの CloudWatch APIs リクエスト数削減 ◦ ※正確にはAWS側のCloudWatch料⾦の削減
10. AWS連携の⾒直し 10 とはいえAPIで収集しているサービスを⼀気に無効化するのは恐怖
11. AWS連携の⾒直し 11 DatadogがCloudWatchのAPIで収集している状況を分析しましょう
12. AWS連携の⾒直し 12 弊社ブログを参考にしていただくと調査できます。
13. AWS連携の⾒直し 13 CloudTrail 証跡を編集しデータイベントを有効化し CloudWatchLogsに吐き出します（数⽇程度のサンプリングがコスト的に優しい） [アップデート] Amazon CloudWatch の GetMetricData イベントが CloudTrail データイベントで取得出来るようになり ました(https://dev.classmethod.jp/articles/cloudwatch-getmetricdata-api-cloudtrail-event/)
14. AWS連携の⾒直し 14 GetMetricDataログを加⼯、集計して分析しましょう ※記事ではjqコマンドを利⽤していますが、CloudWatch Logs Insights や今だと⽣のJSONにそのままSQLが使える Duckdb等の⽅がお⼿軽かもしれません。
15. AWS連携の⾒直し 15 分析結果からAPI利⽤上位の且つDatadogで 利⽤していないサービスについては無効化すると安⼼
16. AWS連携の⾒直し 16 また⼀気に無効化するのではなく収集するリソースのフィルター設定も可能 タグ設定についての運⽤ルールを作成することも有効です。 - フィルターするサービス：タグ名：バリューを記述 - 例: - Lambda:datadog:true → datadog:true - EC2:datadog:true → datadog:true - タグが付与されたLambda,EC2のみ収集する
17. AWS連携の⾒直し 17 利⽤リージョンの絞り込みも有効 - 例: ap-northeast-1, us-east-1 の みに絞る等
18. ここまでのコスト最適化の検討項⽬ 18 • 短期的なコスト削減の実践 ◦ AWS連携の⾒直し ▪ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ◦ ログの最適化、⽅針決め ▪ 使⽤量ベース課⾦に効果アリ • 定期的なコストチェック ◦ コスト確認画⾯の活⽤
19. ログの最適化、⽅針決め 19 Datadogのログのコスト項⽬ Datadogのログ管理における主要コスト項⽬は以下の2点です。 • ログの取り込み量 (GB単位) • インデックス化されたログの保管期間 (イベント数と保持期間) • 利⽤⽬的に応じて複数のインデックスを設定し、ログをセグメント化する。 • インデックスごとに、異なる保持期間や1 ⽇の割り当て (Daily Quota) を設定する。 保持期間のカスタマイズ Daily Quota設定
20. ログの最適化、⽅針決め 20 Datadogのログの保存⽅針 ログをDatadogでインデックス化して保持するか、AWS側で保存するかの⽅針を決定します。 • ⻑期保存が必要なログの扱い: ◦ AWS側での保存: 中⻑期保存が必要なログは、コスト管理や運⽤の観点からAWS側（Amazon S3など）で保存して いく⽅が楽な場合があります。 ‧その他の選択肢 ◦ Datadog Log Archives: Log Archivesを設定することで、ログをS3などのストレージに送信できます。 ◦ Datadog Flex Logs: ⻑期保存が必要で、かつたまに緊急でクエリが必要なログに対しては、Flex Logsを活⽤できます。
21. ログの最適化、⽅針決め 21 ログのフィルター設定 予期せぬコスト上昇を防ぐため、ログの取り込みとインデックス化を適切に制御します。 1. ⼤容量ログの除外フィルター (Exclusion Filter) 設定 ◦ Datadogへの取り込み後に、インデックス化を停⽌する除外フィルターを設定することで、使⽤量を減らすことがで きます。 ◦ ログパターン機能を使⽤して、⼤量のログをグループ化して識別し、そのパターンに対して除外フィルターを追加す るのが効果的です。 ◦ Metrics Without Limits™やログベースのメトリクスを使⽤すれば、除外フィルターでインデックス化を停⽌したログ についても傾向や異常を可視化できます。 2. 適切なインデックス化の実施 ◦ まずは公式のベストプラクティスに従い、適切なインデックス化を⾏うことが重要です
22. ここまでのコスト最適化の検討項⽬ 22 • 短期的なコスト削減の実践 ◦ AWS連携の⾒直し ▪ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ◦ ログの最適化、⽅針決め ▪ 使⽤量ベース課⾦に効果アリ • 定期的なコストチェック ◦ コスト確認画⾯の活⽤等
23. 定期的なコストチェック 23 定期的なコストチェック コスト確認画⾯の活⽤等
24. 定期的なコストチェック 24 定期的なコストチェックで使える機能 • Plan & Usage ◦ Usage & Cost ◦ Usage Attribution • Cloud Cost Management
25. 定期的なコストチェック 25 定期的なコストチェックで使える機能 Plan & Usage - Usage & Cost Usage & Cost • Cost Summary • Usage Summary • Usage Trends を利⽤して視覚的に コストの増減が確認可能。
26. 定期的なコストチェック 26 定期的なコストチェックで使える機能 Plan & Usage - Usage Attribution Usage Attribution • データ利⽤量を確認可能 • 指定のTagで作成 • CSVでのダウンロード可
27. 定期的なコストチェック 27 定期的なコストチェックで使える機能 - Cloud Cost Management https://docs.datadoghq.com/ja/cloud_cost_management/datadog_costs/ 各クラウドコストを横断的に確認できる機能 ※Datadog Cost（プレビュー版）については現在コストがかかりません
28. 定期的なコストチェック 28 紹介した各コスト画⾯を利⽤しながら定期的にコストのチェックを⾏います。  運⽤イメージ 1. ⽉初に前⽉のコストを確認 2. 年間前払い⾦額/12 （⽉予算）を超過、もしくは突発的な増減の確認 3. コスト超過や突発的な増減の要因を調査 4. 利⽤チームへの報告と対応⽅針の決定 5. ⽉次のコスト報告 ※ 突発的な利⽤料増加はアラートを設定し個別対応
29. まとめ 29 DatadogとAWS連携におけるコスト最適化という側⾯に焦点を当ててきました。 Datadogの運⽤において、コスト効率を⾼めるためには、 • 短期的なコスト削減策の実⾏ • 定期的なコストチェック という両輪の確⽴が重要となります。 導⼊中の皆様や導⼊検討の皆様のDatadog運⽤のヒントとなれば嬉しいです。
30. ありがとうございました。