Slide 1

Slide 1 text

Datadog × AWSコスト最適化 あのふじた アノテーション株式会社 カスタマーサクセス部

Slide 2

Slide 2 text

⾃⼰紹介 2 あのふじた ● 所属:アノテーション株式会社 カスタマーサクセス部 ● やっていること:CCoE‧SRE内製化⽀援 ○ AWSやDatadogのコスト最適化‧アラート対応‧その他運⽤⽀援 ● 資格:2025 All Cert. 最近 Datadog Fundamentals も取得しました。

Slide 3

Slide 3 text

今⽇話すこと 3 Datadog×AWSのコスト最適化でやったこと

Slide 4

Slide 4 text

前提 4 DatadogとAWS 連携のコストの仕組み ユーザアカウント数に関連した課⾦要素はなく主な要素は2つ ● ホスト数ベース課⾦ ● 使⽤量ベース課⾦ ○ ※機能単位での課⾦もあり

Slide 5

Slide 5 text

Datadog + AWSの基本的な課⾦要素 5 ホスト数ベース課⾦イメージ

Slide 6

Slide 6 text

Datadog + AWSの基本的な課⾦要素 6 使⽤量ベース課⾦イメージ

Slide 7

Slide 7 text

コスト最適化の検討項⽬ 7 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤ 短期的なコスト削減の実践

Slide 8

Slide 8 text

AWS連携の⾒直し 8 不要なサービスの無効化や制限を検討する Datadog のコンソールからAPIで 収集しているサービスの無効化が可能

Slide 9

Slide 9 text

AWS連携の⾒直し 9 この対応による主なコストインパクト ● 監視の必要がないEC2,Lambdaのコスト削減 ● Datadog側からの CloudWatch APIs リクエスト数削減 ○ ※正確にはAWS側のCloudWatch料⾦の削減

Slide 10

Slide 10 text

AWS連携の⾒直し 10 とはいえAPIで収集しているサービスを⼀気に無効化するのは恐怖

Slide 11

Slide 11 text

AWS連携の⾒直し 11 DatadogがCloudWatchのAPIで収集している状況を分析しましょう

Slide 12

Slide 12 text

AWS連携の⾒直し 12 弊社ブログを参考にしていただくと調査できます。

Slide 13

Slide 13 text

AWS連携の⾒直し 13 CloudTrail 証跡を編集しデータイベントを有効化し CloudWatchLogsに吐き出します(数⽇程度のサンプリングがコスト的に優しい) [アップデート] Amazon CloudWatch の GetMetricData イベントが CloudTrail データイベントで取得出来るようになり ました(https://dev.classmethod.jp/articles/cloudwatch-getmetricdata-api-cloudtrail-event/)

Slide 14

Slide 14 text

AWS連携の⾒直し 14 GetMetricDataログを加⼯、集計して分析しましょう ※記事ではjqコマンドを利⽤していますが、CloudWatch Logs Insights や今だと⽣のJSONにそのままSQLが使える Duckdb等の⽅がお⼿軽かもしれません。

Slide 15

Slide 15 text

AWS連携の⾒直し 15 分析結果からAPI利⽤上位の且つDatadogで 利⽤していないサービスについては無効化すると安⼼

Slide 16

Slide 16 text

AWS連携の⾒直し 16 また⼀気に無効化するのではなく収集するリソースのフィルター設定も可能 タグ設定についての運⽤ルールを作成することも有効です。 - フィルターするサービス:タグ名:バリューを記述 - 例: - Lambda:datadog:true → datadog:true - EC2:datadog:true → datadog:true - タグが付与されたLambda,EC2のみ収集する

Slide 17

Slide 17 text

AWS連携の⾒直し 17 利⽤リージョンの絞り込みも有効 - 例: ap-northeast-1, us-east-1 の みに絞る等

Slide 18

Slide 18 text

ここまでのコスト最適化の検討項⽬ 18 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤

Slide 19

Slide 19 text

ログの最適化、⽅針決め 19 Datadogのログのコスト項⽬ Datadogのログ管理における主要コスト項⽬は以下の2点です。 • ログの取り込み量 (GB単位) • インデックス化されたログの保管期間 (イベント数と保持期間) • 利⽤⽬的に応じて複数のインデックスを設定し、ログをセグメント化する。 • インデックスごとに、異なる保持期間や1 ⽇の割り当て (Daily Quota) を設定する。 保持期間のカスタマイズ Daily Quota設定

Slide 20

Slide 20 text

ログの最適化、⽅針決め 20 Datadogのログの保存⽅針 ログをDatadogでインデックス化して保持するか、AWS側で保存するかの⽅針を決定します。 • ⻑期保存が必要なログの扱い: ◦ AWS側での保存: 中⻑期保存が必要なログは、コスト管理や運⽤の観点からAWS側(Amazon S3など)で保存して いく⽅が楽な場合があります。 ‧その他の選択肢 ◦ Datadog Log Archives: Log Archivesを設定することで、ログをS3などのストレージに送信できます。 ◦ Datadog Flex Logs: ⻑期保存が必要で、かつたまに緊急でクエリが必要なログに対しては、Flex Logsを活⽤できます。

Slide 21

Slide 21 text

ログの最適化、⽅針決め 21 ログのフィルター設定 予期せぬコスト上昇を防ぐため、ログの取り込みとインデックス化を適切に制御します。 1. ⼤容量ログの除外フィルター (Exclusion Filter) 設定 ◦ Datadogへの取り込み後に、インデックス化を停⽌する除外フィルターを設定することで、使⽤量を減らすことがで きます。 ◦ ログパターン機能を使⽤して、⼤量のログをグループ化して識別し、そのパターンに対して除外フィルターを追加す るのが効果的です。 ◦ Metrics Without Limits™やログベースのメトリクスを使⽤すれば、除外フィルターでインデックス化を停⽌したログ についても傾向や異常を可視化できます。 2. 適切なインデックス化の実施 ◦ まずは公式のベストプラクティスに従い、適切なインデックス化を⾏うことが重要です

Slide 22

Slide 22 text

ここまでのコスト最適化の検討項⽬ 22 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤等

Slide 23

Slide 23 text

定期的なコストチェック 23 定期的なコストチェック コスト確認画⾯の活⽤等

Slide 24

Slide 24 text

定期的なコストチェック 24 定期的なコストチェックで使える機能 ● Plan & Usage ○ Usage & Cost ○ Usage Attribution ● Cloud Cost Management

Slide 25

Slide 25 text

定期的なコストチェック 25 定期的なコストチェックで使える機能 Plan & Usage - Usage & Cost Usage & Cost ● Cost Summary ● Usage Summary ● Usage Trends を利⽤して視覚的に コストの増減が確認可能。

Slide 26

Slide 26 text

定期的なコストチェック 26 定期的なコストチェックで使える機能 Plan & Usage - Usage Attribution Usage Attribution ● データ利⽤量を確認可能 ● 指定のTagで作成 ● CSVでのダウンロード可

Slide 27

Slide 27 text

定期的なコストチェック 27 定期的なコストチェックで使える機能 - Cloud Cost Management https://docs.datadoghq.com/ja/cloud_cost_management/datadog_costs/ 各クラウドコストを横断的に確認できる機能 ※Datadog Cost(プレビュー版)については現在コストがかかりません

Slide 28

Slide 28 text

定期的なコストチェック 28 紹介した各コスト画⾯を利⽤しながら定期的にコストのチェックを⾏います。  運⽤イメージ 1. ⽉初に前⽉のコストを確認 2. 年間前払い⾦額/12 (⽉予算)を超過、もしくは突発的な増減の確認 3. コスト超過や突発的な増減の要因を調査 4. 利⽤チームへの報告と対応⽅針の決定 5. ⽉次のコスト報告 ※ 突発的な利⽤料増加はアラートを設定し個別対応

Slide 29

Slide 29 text

まとめ 29 DatadogとAWS連携におけるコスト最適化という側⾯に焦点を当ててきました。 Datadogの運⽤において、コスト効率を⾼めるためには、 ● 短期的なコスト削減策の実⾏ ● 定期的なコストチェック という両輪の確⽴が重要となります。 導⼊中の皆様や導⼊検討の皆様のDatadog運⽤のヒントとなれば嬉しいです。

Slide 30

Slide 30 text

ありがとうございました。

Slide 31

Slide 31 text

No content