Datadog___AWSコスト最適化.pdf
by
anofujita
Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
Datadog × AWSコスト最適化 あのふじた アノテーション株式会社 カスタマーサクセス部
Slide 2
Slide 2 text
⾃⼰紹介 2 あのふじた ● 所属:アノテーション株式会社 カスタマーサクセス部 ● やっていること:CCoE‧SRE内製化⽀援 ○ AWSやDatadogのコスト最適化‧アラート対応‧その他運⽤⽀援 ● 資格:2025 All Cert. 最近 Datadog Fundamentals も取得しました。
Slide 3
Slide 3 text
今⽇話すこと 3 Datadog×AWSのコスト最適化でやったこと
Slide 4
Slide 4 text
前提 4 DatadogとAWS 連携のコストの仕組み ユーザアカウント数に関連した課⾦要素はなく主な要素は2つ ● ホスト数ベース課⾦ ● 使⽤量ベース課⾦ ○ ※機能単位での課⾦もあり
Slide 5
Slide 5 text
Datadog + AWSの基本的な課⾦要素 5 ホスト数ベース課⾦イメージ
Slide 6
Slide 6 text
Datadog + AWSの基本的な課⾦要素 6 使⽤量ベース課⾦イメージ
Slide 7
Slide 7 text
コスト最適化の検討項⽬ 7 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤ 短期的なコスト削減の実践
Slide 8
Slide 8 text
AWS連携の⾒直し 8 不要なサービスの無効化や制限を検討する Datadog のコンソールからAPIで 収集しているサービスの無効化が可能
Slide 9
Slide 9 text
AWS連携の⾒直し 9 この対応による主なコストインパクト ● 監視の必要がないEC2,Lambdaのコスト削減 ● Datadog側からの CloudWatch APIs リクエスト数削減 ○ ※正確にはAWS側のCloudWatch料⾦の削減
Slide 10
Slide 10 text
AWS連携の⾒直し 10 とはいえAPIで収集しているサービスを⼀気に無効化するのは恐怖
Slide 11
Slide 11 text
AWS連携の⾒直し 11 DatadogがCloudWatchのAPIで収集している状況を分析しましょう
Slide 12
Slide 12 text
AWS連携の⾒直し 12 弊社ブログを参考にしていただくと調査できます。
Slide 13
Slide 13 text
AWS連携の⾒直し 13 CloudTrail 証跡を編集しデータイベントを有効化し CloudWatchLogsに吐き出します(数⽇程度のサンプリングがコスト的に優しい) [アップデート] Amazon CloudWatch の GetMetricData イベントが CloudTrail データイベントで取得出来るようになり ました(https://dev.classmethod.jp/articles/cloudwatch-getmetricdata-api-cloudtrail-event/)
Slide 14
Slide 14 text
AWS連携の⾒直し 14 GetMetricDataログを加⼯、集計して分析しましょう ※記事ではjqコマンドを利⽤していますが、CloudWatch Logs Insights や今だと⽣のJSONにそのままSQLが使える Duckdb等の⽅がお⼿軽かもしれません。
Slide 15
Slide 15 text
AWS連携の⾒直し 15 分析結果からAPI利⽤上位の且つDatadogで 利⽤していないサービスについては無効化すると安⼼
Slide 16
Slide 16 text
AWS連携の⾒直し 16 また⼀気に無効化するのではなく収集するリソースのフィルター設定も可能 タグ設定についての運⽤ルールを作成することも有効です。 - フィルターするサービス:タグ名:バリューを記述 - 例: - Lambda:datadog:true → datadog:true - EC2:datadog:true → datadog:true - タグが付与されたLambda,EC2のみ収集する
Slide 17
Slide 17 text
AWS連携の⾒直し 17 利⽤リージョンの絞り込みも有効 - 例: ap-northeast-1, us-east-1 の みに絞る等
Slide 18
Slide 18 text
ここまでのコスト最適化の検討項⽬ 18 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤
Slide 19
Slide 19 text
ログの最適化、⽅針決め 19 Datadogのログのコスト項⽬ Datadogのログ管理における主要コスト項⽬は以下の2点です。 • ログの取り込み量 (GB単位) • インデックス化されたログの保管期間 (イベント数と保持期間) • 利⽤⽬的に応じて複数のインデックスを設定し、ログをセグメント化する。 • インデックスごとに、異なる保持期間や1 ⽇の割り当て (Daily Quota) を設定する。 保持期間のカスタマイズ Daily Quota設定
Slide 20
Slide 20 text
ログの最適化、⽅針決め 20 Datadogのログの保存⽅針 ログをDatadogでインデックス化して保持するか、AWS側で保存するかの⽅針を決定します。 • ⻑期保存が必要なログの扱い: ◦ AWS側での保存: 中⻑期保存が必要なログは、コスト管理や運⽤の観点からAWS側(Amazon S3など)で保存して いく⽅が楽な場合があります。 ‧その他の選択肢 ◦ Datadog Log Archives: Log Archivesを設定することで、ログをS3などのストレージに送信できます。 ◦ Datadog Flex Logs: ⻑期保存が必要で、かつたまに緊急でクエリが必要なログに対しては、Flex Logsを活⽤できます。
Slide 21
Slide 21 text
ログの最適化、⽅針決め 21 ログのフィルター設定 予期せぬコスト上昇を防ぐため、ログの取り込みとインデックス化を適切に制御します。 1. ⼤容量ログの除外フィルター (Exclusion Filter) 設定 ◦ Datadogへの取り込み後に、インデックス化を停⽌する除外フィルターを設定することで、使⽤量を減らすことがで きます。 ◦ ログパターン機能を使⽤して、⼤量のログをグループ化して識別し、そのパターンに対して除外フィルターを追加す るのが効果的です。 ◦ Metrics Without Limits™やログベースのメトリクスを使⽤すれば、除外フィルターでインデックス化を停⽌したログ についても傾向や異常を可視化できます。 2. 適切なインデックス化の実施 ◦ まずは公式のベストプラクティスに従い、適切なインデックス化を⾏うことが重要です
Slide 22
Slide 22 text
ここまでのコスト最適化の検討項⽬ 22 ● 短期的なコスト削減の実践 ○ AWS連携の⾒直し ■ ホスト数/使⽤量ベース課⾦両⽅に効果アリ ○ ログの最適化、⽅針決め ■ 使⽤量ベース課⾦に効果アリ ● 定期的なコストチェック ○ コスト確認画⾯の活⽤等
Slide 23
Slide 23 text
定期的なコストチェック 23 定期的なコストチェック コスト確認画⾯の活⽤等
Slide 24
Slide 24 text
定期的なコストチェック 24 定期的なコストチェックで使える機能 ● Plan & Usage ○ Usage & Cost ○ Usage Attribution ● Cloud Cost Management
Slide 25
Slide 25 text
定期的なコストチェック 25 定期的なコストチェックで使える機能 Plan & Usage - Usage & Cost Usage & Cost ● Cost Summary ● Usage Summary ● Usage Trends を利⽤して視覚的に コストの増減が確認可能。
Slide 26
Slide 26 text
定期的なコストチェック 26 定期的なコストチェックで使える機能 Plan & Usage - Usage Attribution Usage Attribution ● データ利⽤量を確認可能 ● 指定のTagで作成 ● CSVでのダウンロード可
Slide 27
Slide 27 text
定期的なコストチェック 27 定期的なコストチェックで使える機能 - Cloud Cost Management https://docs.datadoghq.com/ja/cloud_cost_management/datadog_costs/ 各クラウドコストを横断的に確認できる機能 ※Datadog Cost(プレビュー版)については現在コストがかかりません
Slide 28
Slide 28 text
定期的なコストチェック 28 紹介した各コスト画⾯を利⽤しながら定期的にコストのチェックを⾏います。 運⽤イメージ 1. ⽉初に前⽉のコストを確認 2. 年間前払い⾦額/12 (⽉予算)を超過、もしくは突発的な増減の確認 3. コスト超過や突発的な増減の要因を調査 4. 利⽤チームへの報告と対応⽅針の決定 5. ⽉次のコスト報告 ※ 突発的な利⽤料増加はアラートを設定し個別対応
Slide 29
Slide 29 text
まとめ 29 DatadogとAWS連携におけるコスト最適化という側⾯に焦点を当ててきました。 Datadogの運⽤において、コスト効率を⾼めるためには、 ● 短期的なコスト削減策の実⾏ ● 定期的なコストチェック という両輪の確⽴が重要となります。 導⼊中の皆様や導⼊検討の皆様のDatadog運⽤のヒントとなれば嬉しいです。
Slide 30
Slide 30 text
ありがとうございました。
Slide 31
Slide 31 text
No content