Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CloudWatch Metric Streamsのススメ

E39a62a5c1f1829cc6ce0ec642424947?s=47 Seigo Watanabe
June 26, 2022
200

CloudWatch Metric Streamsのススメ

E39a62a5c1f1829cc6ce0ec642424947?s=128

Seigo Watanabe

June 26, 2022
Tweet

More Decks by Seigo Watanabe

Transcript

  1. CloudWatch Metric Streams のススメ 渡辺聖剛@Classmethod 2022.06.26 JAWS-UG福岡

  2. 自己紹介 渡辺聖剛 (Seigo Watanabe) • クラスメソッド株式会社 アライアンス統括部 • 好きな AWS

    サービス ◦ ACM ◦ Route 53 ◦ CloudWatch • 在住:福岡 (2020.07〜) • 出身:長崎 (〜1991.03) https://dev.classmethod.jp/author/watanabe-seigo/ 2
  3. Metric Streams !

  4. Amazon CloudWatch Metric Streams https://aws.amazon.com/jp/blogs/news/cloudwatch-metric-streams-send-aws-metrics-to-partners-and-to-your-apps-in-real-time/ 4

  5. 従来のCloudWatch + 3rd PT 監視システム https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/ 5

  6. CloudWatch Metric Streams + 3rd PT 監視システム https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/ 6

  7. 出力先はKinesis Data Firehoseに依存 https://docs.aws.amazon.com/firehose/latest/dev/create-destination.html AWS内 • Amazon S3 / Amazon

    Redshift / OpenSearch Service サードパーティ製品:SaaS • Datadog / Honeycomb / Coralogix / Dynatrace / LogicMonitor / MongoDB Cloud / New Relic / Splunk / Sumo Logic その他 • HTTP Endpoint 7
  8. (API pollingと比較した) Metric Streamsの利点 👍 はやい 👍 やすい 👍 うまい

    8
  9. はやい(低レイテンシ) https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/ 9

  10. やすい(コストダウン)...? ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定   1日あたり

    20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス ※統計 = Min, Max, Average, Sum, SampleCount CloudWatch API 144,000(メトリクス) / 10,000 x 0.3USD = 4.32USD ※API課金にはボリュームディスカウントが効きます https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html https://aws.amazon.com/jp/cloudwatch/pricing/?nc1=h_ls 10
  11. やすい(コストダウン)...? (cont.) ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定   1日あたり

    20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス ※統計 = Min, Max, Average, Sum, SampleCount Metric Sterams 144,000(メトリクス) / 1,000 x 0.01USD = 1.44USD ( < 4.32USD ) 1/3! ...と思ったら、 https://aws.amazon.com/jp/kinesis/data-streams/pricing/ 11
  12. やすい(コストダウン)...? (cont.) ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定   1日あたり

    20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス ※統計 = Min, Max, Average, Sum, SampleCount Metric Sterams 144,000(メトリクス) / 1,000 x 0.01USD = 1.44USD Kinesis Data Firehose 24(時間) x 0.052USD = 1.25USD + データ保存/取得料金(GB課金) 合計 2.69USD + α ( < 4.32USD ) ※東京リージョンの場合 https://aws.amazon.com/jp/kinesis/data-streams/pricing/ 12
  13. やすい(コストダウン)...? (cont.) 使い方によっては 思ったほど安くならない可能性があるかもしれない (でもほぼほぼ安くなるはず) 13

  14. うまい(付加価値) • メトリクスデータをS3やRedshiftに長期保存 ◦ CloudWatchメトリクスの保存期間は15日(1min粒度) / 455日(1h粒度) ◦ S3になら何年でも好きなだけ保存可能 •

    独自分析 ◦ OpenTeremetry・JSON出力対応 ◦ Amazon OSSへ送信+Kibanaで可視化、HTTP Endpoint • 対応SaaSも続々拡充 ◦ ローンチ : Datadog / Dynatrace / New Relic / Splunk / Sumo Logic ◦ 追加対応 : Honeycomb / Coralogix / LogicMonitor / MongoDB Cloud https://aws.amazon.com/jp/about-aws/whats-new/2016/11/cloudwatch-extends-metrics-retention-and-new-user-interface/ 14
  15. 注意点 • 送信するメトリクスはネームスペース単位でコントロール ◦ CloudWatch Metric Strerams側でコントロール ◦ 受信側でフィルタしても課金対象にはなってしまう •

    リージョンに注意 ◦ Metric StreamsとKinesis Data Firehoseはリージョナル ◦ Route 53 や CloudFront などのグローバルサービスは N.Virginiaに作成 • 追加の統計メトリクスも送信可能 ◦ 必要な情報を厳選して追加しよう ◦ 受信側のサポートも要確認 https://dev.classmethod.jp/articles/amazon-cloudwatch-metric-streams-additional-statistics/ 15
  16. PR https://dev.classmethod.jp/articles/202104-instruction-metric-streams-for-new-relic-step-by-step/

  17. Enjoy!

  18. None