$30 off During Our Annual Pro Sale. View Details »

CloudWatch Metric Streamsのススメ

Seigo Watanabe
June 26, 2022
890

CloudWatch Metric Streamsのススメ

Seigo Watanabe

June 26, 2022
Tweet

More Decks by Seigo Watanabe

Transcript

  1. CloudWatch
    Metric Streams のススメ
    渡辺聖剛@Classmethod
    2022.06.26
    JAWS-UG福岡

    View Slide

  2. 自己紹介
    渡辺聖剛 (Seigo Watanabe)
    ● クラスメソッド株式会社
    アライアンス統括部
    ● 好きな AWS サービス
    ○ ACM
    ○ Route 53
    ○ CloudWatch
    ● 在住:福岡 (2020.07〜)
    ● 出身:長崎 (〜1991.03)
    https://dev.classmethod.jp/author/watanabe-seigo/
    2

    View Slide

  3. Metric Streams !

    View Slide

  4. Amazon CloudWatch Metric Streams
    https://aws.amazon.com/jp/blogs/news/cloudwatch-metric-streams-send-aws-metrics-to-partners-and-to-your-apps-in-real-time/
    4

    View Slide

  5. 従来のCloudWatch + 3rd PT 監視システム
    https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/
    5

    View Slide

  6. CloudWatch Metric Streams + 3rd PT 監視システム
    https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/
    6

    View Slide

  7. 出力先はKinesis Data Firehoseに依存
    https://docs.aws.amazon.com/firehose/latest/dev/create-destination.html
    AWS内
    ● Amazon S3 / Amazon Redshift / OpenSearch Service
    サードパーティ製品:SaaS
    ● Datadog / Honeycomb / Coralogix / Dynatrace / LogicMonitor /
    MongoDB Cloud / New Relic / Splunk / Sumo Logic
    その他
    ● HTTP Endpoint
    7

    View Slide

  8. (API pollingと比較した) Metric Streamsの利点
    👍 はやい
    👍 やすい
    👍 うまい
    8

    View Slide

  9. はやい(低レイテンシ)
    https://dev.classmethod.jp/articles/202104-breaking-cloudwatch-metric-stream/
    9

    View Slide

  10. やすい(コストダウン)...?
    ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定
      1日あたり 20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス
    ※統計 = Min, Max, Average, Sum, SampleCount
    CloudWatch API
    144,000(メトリクス) / 10,000 x 0.3USD = 4.32USD
    ※API課金にはボリュームディスカウントが効きます
    https://docs.aws.amazon.com/ja_jp/AmazonCloudWatch/latest/monitoring/metrics-collected-by-CloudWatch-agent.html
    https://aws.amazon.com/jp/cloudwatch/pricing/?nc1=h_ls
    10

    View Slide

  11. やすい(コストダウン)...? (cont.)
    ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定
      1日あたり 20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス
    ※統計 = Min, Max, Average, Sum, SampleCount
    Metric Sterams
    144,000(メトリクス) / 1,000 x 0.01USD = 1.44USD ( < 4.32USD ) 1/3!
    ...と思ったら、
    https://aws.amazon.com/jp/kinesis/data-streams/pricing/
    11

    View Slide

  12. やすい(コストダウン)...? (cont.)
    ex) EC2 1台あたり毎分20メトリック(デフォルト 17 + CW Agent 3)と仮定
      1日あたり 20 x5(統計) x 60(分) x 24(時間) = 144,000 メトリクス
    ※統計 = Min, Max, Average, Sum, SampleCount
    Metric Sterams
    144,000(メトリクス) / 1,000 x 0.01USD = 1.44USD
    Kinesis Data Firehose
    24(時間) x 0.052USD = 1.25USD + データ保存/取得料金(GB課金)
    合計 2.69USD + α ( < 4.32USD )
    ※東京リージョンの場合
    https://aws.amazon.com/jp/kinesis/data-streams/pricing/
    12

    View Slide

  13. やすい(コストダウン)...? (cont.)
    使い方によっては
    思ったほど安くならない可能性があるかもしれない
    (でもほぼほぼ安くなるはず)
    13

    View Slide

  14. うまい(付加価値)
    ● メトリクスデータをS3やRedshiftに長期保存
    ○ CloudWatchメトリクスの保存期間は15日(1min粒度) / 455日(1h粒度)
    ○ S3になら何年でも好きなだけ保存可能
    ● 独自分析
    ○ OpenTeremetry・JSON出力対応
    ○ Amazon OSSへ送信+Kibanaで可視化、HTTP Endpoint
    ● 対応SaaSも続々拡充
    ○ ローンチ : Datadog / Dynatrace / New Relic / Splunk / Sumo Logic
    ○ 追加対応 : Honeycomb / Coralogix / LogicMonitor / MongoDB Cloud
    https://aws.amazon.com/jp/about-aws/whats-new/2016/11/cloudwatch-extends-metrics-retention-and-new-user-interface/
    14

    View Slide

  15. 注意点
    ● 送信するメトリクスはネームスペース単位でコントロール
    ○ CloudWatch Metric Strerams側でコントロール
    ○ 受信側でフィルタしても課金対象にはなってしまう
    ● リージョンに注意
    ○ Metric StreamsとKinesis Data Firehoseはリージョナル
    ○ Route 53 や CloudFront などのグローバルサービスは N.Virginiaに作成
    ● 追加の統計メトリクスも送信可能
    ○ 必要な情報を厳選して追加しよう
    ○ 受信側のサポートも要確認
    https://dev.classmethod.jp/articles/amazon-cloudwatch-metric-streams-additional-statistics/
    15

    View Slide

  16. PR
    https://dev.classmethod.jp/articles/202104-instruction-metric-streams-for-new-relic-step-by-step/

    View Slide

  17. Enjoy!

    View Slide

  18. View Slide