[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと

CLOUDWATCH でできる N 個のこと © 2023, Amazon Web Services, Inc.
or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon CloudWatch でできる n 個のこと Kazuki Saito, Mizuki Tanaka Cloud Support Engineer Amazon Web Services Japan G.K. A W S E X P E R T O N L I N E F O R J A W S - U G

or its affiliates. All rights reserved. 内容についての注意点 • 本資料は 2023 年 9 月時点のサービス内容及び価格に基づいています • AWS のサービスは常にアップデートを続けています • 最新の情報は AWS 公式ウェブサイト (https://aws.amazon.com/) にてご確認ください • 資料作成には十分注意しておりますが、資料内の価格と AWS 公式ウェブサイト記載の価格に相違があった場合、 AWS 公式ウェブサイトの価格を優先とさせていただきます • AWS パートナーが提供する請求代行サービス等をご利用されている場合、本資料で案内するものとは異なる料金体系が適用されている場合があります • その場合は、料金についてはご利用の AWS パートナー等へご確認ください

or its affiliates. All rights reserved. 自己紹介 • 名前: Kazuki Saito • 所属: 技術支援本部クラウドサポートエンジニア (主にネットワーク領域担当) • 経歴: • 大学院で素粒子物理学実験を専攻 • 粒子検出器からのデータ読み出し開発やデータ解析 • 好きな AWS サービス: • Amazon CloudWatch • AWS CloudFormation

or its affiliates. All rights reserved. アジェンダ • Amazon CloudWatch について • Amazon CloudWatch で出来ることを時間の限りご紹介！ • CloudWatch Dashboards を使い倒そう 💪 • Metric Math で複雑なアラームを実現する • Amazon CloudWatch と AWS Chatbot の連携 • CloudWatch Synthetics のスクリプトを自動で生成する • CloudWatch Internet Monitor 活用事例 • CloudWatch エージェントの AWS X-Ray トレースのサポート • etc… • Q & A

or its affiliates. All rights reserved. Amazon CloudWatch とは？ • AWS のモニタリングサービス • 多数のサブサービスから構成される • 70 を超える AWS サービスへ統合 • 用途・利点 • AWS に最適化された監視の実現 • AWS リソースのプロアクティブな効率化 • 発生した/発生する問題への迅速な対応 Amazon CloudWatch CloudWatch Logs CloudWatch Alarms CloudWatch Synthetics CloudWatch Evidently CloudWatch RUM CloudWatch Metrics メトリクスログアラーム外形・統合監視機能フラグ・A/Bテストリアルタイムユーザーモニタリング構造化イベント配信トレース Amazon EventBridge (旧: CloudWatch Events) AWS X-Ray

or its affiliates. All rights reserved. サポートエンジニアから見た Amazon CloudWatch • トラブルシューティングにおける強力なツール • 事象の早期検知・状態の理解 = 原因特定を容易に • モニタリングは一つのツールで実現できるものではない • CloudWatch は多数の機能を提供することで多様な要件をカバー • サポートエンジニアの視点では、カスタマーのお困りポイントと表裏一体 • 機能を把握しきれない・機能選定が難しい…？ • 主要機能 (メトリクス・ログ・アラーム) で満足してしまいがち…？ • CloudWatch の様々な活用法を広めたい！！！

or its affiliates. All rights reserved. CloudWatch Dashboards を使い倒そう💪 • CloudWatch 上の様々なデータを1画面に • データはウィジェットを用いて表示 • グラフ (線, 棒, ゲージ…), アラーム状態, ログなど • 利用可能なダッシュボード • AWS サービス向けの事前定義ダッシュボード • カスタムダッシュボード • ウィジェット配置やタイプ、表示内容を自由に定義 • カスタマイズ性を高める便利機能も

or its affiliates. All rights reserved. Lambda 関数によるカスタムウィジェット C L O U D W A T C H D A S H B O A R D S を使い倒そう 💪 • ほぼ任意の処理や表示が可能なウィジェット • HTML 文書を返却する Lambda 関数を用意 • カスタムウィジェットを通じて関数が呼ばれる • インタラクティブ性の追加 • セキュリティ上の理由から JavaScript は利用不可 • ボタン: 指定した Lambda 関数の呼出など • フォーム: Lambda 関数呼出時の引数へ値を渡す

or its affiliates. All rights reserved. ダッシュボード変数による柔軟性の追加 C L O U D W A T C H D A S H B O A R D S を使い倒そう 💪 • 2023年6月末リリース New! • ダッシュボード定義の任意の箇所を置換可能 • 自動検知されたフィールド (InstanceId など) • 任意の正規表現 • 用途 • リソース・リージョン・環境の切り替え • 垂直注釈による事象発生時刻の可視化 • Logs ウィジェットでフィルター条件変更

or its affiliates. All rights reserved. Metric Math で複雑なアラームを実現する • Metric Math • メトリクスに対して演算処理が可能 • 四則演算に加え、IF や FILL など豊富な関数が提供 • 複数メトリクスの演算結果から1つのメトリクスを出力 • アラームと組み合わせると… • 複数メトリクスを用いた複雑なしきい値条件 • 特定のエラータイプを監視から除外 • 1日の内の特定時間帯のみの監視メトリクスの平均 IF(m2>0, m1, 0) m1 m2

or its affiliates. All rights reserved. 特定のエラータイプを監視から除外する M E T R I C M A T H で複雑なアラームを実現する • TotalErrors (合計エラー数) の監視 • ただし AccessDeniedErrors は問題とならないので、監視の対象から除外したい数式を追加 TotalErrors - AccessDeniedErrors アラーム費用 (対象メトリクス数) の点で不利 ServerErrors + UnexpectedErrors + InvalidRequestErrors

or its affiliates. All rights reserved. 1 日の内の特定時間帯のみの監視 M E T R I C M A T H で複雑なアラームを実現する • 10:00 – 16:59 JST で稼働する EC2 インスタンスを監視 • 稼働時間外ではアラームによる監視を無効化したい数式を追加 IF(1 <= HOUR(m1) && HOUR(m1) <= 7, m1, 0) 17:00 – 09:59 JST では常にしきい値内となるアラーム作成

or its affiliates. All rights reserved. AWS Chatbot とは • AWS が提供するチャットエージェント • AWS 環境の監視・運用、トラブルシューティング • Slack, Microsoft Teams に対応 • Amazon CloudWatch と連携 • 様々なデバイスからの状況把握・初期対応 • スマートフォンからアラート確認 • 保存したコマンドを使った監視・回復オペレーション • チーム・グループ内での情報共有

or its affiliates. All rights reserved. CloudWatch Logs との連携 • Logs Insights クエリの実行と結果の取得 • 基本的なログ調査による事象の理解 • ダッシュボード連携と同様、コマンド実行により実現 • コマンドに加え、保存した Logs Insights クエリも利用可 • 取得されたログの件数が多い場合は… • CSV ファイルとしてダウンロード • 署名付き URL を通じてブラウザから閲覧

or its affiliates. All rights reserved. CloudWatch Synthetics のスクリプトを自動で生成する • CloudWatch Synthetics • エンドポイントや API に対する外形監視のための模擬クライアント「Canary」を作成 • Synthetics は定期的に Canary スクリプトを実行し、ウェブサイトの問題を検知する • レイテンシーの確認や、スクリーンショットの保存・変分検知も可能

or its affiliates. All rights reserved. AWS Synthetics Canary Recorder プラグインが便利！ C L O U D W A T C H S Y N T H E T I C S のスクリプトを自動で生成する • シナリオ • ログインページの外形監視 • ユーザー名とパスワードを入力し、ログインボタンをクリック • 課題 • Python/Selenium もしくは Node.js/Puppeteer を用いた Canary スクリプトが必要に • → AWS Synthetics Canary Recorder プラグインで解決！

or its affiliates. All rights reserved. AWS Synthetics Canary Recorder プラグインが便利！ C L O U D W A T C H S Y N T H E T I C S のスクリプトを自動で生成する • AWS Synthetics Canary Recorder プラグイン • ウェブサイト上のクリックや文字入力の操作を記録 • 同じステップを実行する、Node.js の Canary スクリプトを自動で生成 • Google Chrome の拡張機能として提供アクセス！

or its affiliates. All rights reserved. Synthetics Canary Recorder プラグインの注意点 C L O U D W A T C H S Y N T H E T I C S のスクリプトを自動で生成する • Canary Recorder が生成するスクリプトにはパスワード等が直接含まれる • AWS Secrets Manager への保存がベストプラクティス！ • Canary のスクリプトを以下のように変更 await synthetics.executeStep('Type_7', async function() { await page.type('.wrapper > div > form > .form-group:nth-child(2) > .form-control', ”Test1234!"); }); // Secrets Manager からシークレットを取得 let secrets = await secretsManager.getSecretValue({SecretId: “<SECRET_ID>”}).promise(); let secretsObj = JSON.parse(secrets.SecretString); await synthetics.executeStep('Type_7', async function() { await page.type('.wrapper > div > form > .form-group:nth-child(2) > .form-control’, secretsObj.Password); });

or its affiliates. All rights reserved. CloudWatch Internet Monitor • 2023 年 2 月にリリース New! • AWS 上のアプリケーションへ影響するインターネット上の問題を可視化 • Logs, Metrics, EventBridge Events… • 対象リソース • VPC (VPC 内の ENI が対象) • Network Load Balancer ロードバランサー • CloudFront ディストリビューション • WorkSpaces ディレクトリ

or its affiliates. All rights reserved. CloudWatch Internet Monitor の仕組み • 対象リソースへ直接アクティブ監視をするものではない • 対象リソースへの追加の負荷やコストが生じず、変更も不要 • AWS リージョンとエッジロケーションで取得した膨大なデータを活用！ • 対象リソースのトラフィック特性 (ユーザーロケーション等) と AWS が取得するグローバルネットワークフットプリントを重ね合わせ

or its affiliates. All rights reserved. CloudWatch Internet Monitor 活用事例 – AdTech を例に - • AdTech で利用されているリアルタイム広告オークションの事例 • 入札者 (広告主; DSP) と広告取引所 (Ad exchange) の間のネットワークパフォーマンス • → ユーザーのページビュー・広告体験に影響

or its affiliates. All rights reserved. CloudWatch Internet Monitor 活用事例 – AdTech を例に - • Internet Monitor のインサイトを最適化に活用 • EventBridge 経由でヘルスイベントを受信 • 影響を受ける入札者を一時的に除外 • 応用例 • マルチプレイヤーゲームでのプレイ体験向上 • マッチング優先度調整にネットワークパフォーマンスを考慮 • 参考記事 • AWS blog: Optimizing AdTech end-user experiences Using Amazon CloudWatch Internet Monitor

or its affiliates. All rights reserved. CloudWatch Agent の AWS X-Ray/OTelトレースの統合 CloudWatch Agent: • EC2 インスタンスやオンプレミスサーバーから、システムレベルのメトリクスを収集し、CloudWatch のメトリクスとして送信できるアプリケーション • カスタムアプリケーションから追加のメトリクスを送信したり、サーバー内のログを送信することも可能

or its affiliates. All rights reserved. CloudWatch Agent の AWS X-Ray/OTelトレースの統合 • Observability: • システムの動作状況を把握できている状態 • 3 つの柱：トレース、メトリクス、ログ • OpenTelemetry: • トレース、メトリクス、ログなどのテレメトリデータを作成し管理するための、ベンダーに依存しないオブザーバビリティフレームワーク • https://opentelemetry.io/docs/what-is-opentelemetry/

or its affiliates. All rights reserved. CloudWatch Agent の AWS X-Ray/OTelトレースの統合 • 2023 年 8 月に機能追加 New! • アプリケーションのトレースを X-Ray に簡単に送信できる • トレース収集元に応じて CloudWatch Agent の設定ファイルに追記するのみ • X-Ray SDK or OpenTelemetry SDK のエクスポーター用に設定したアドレス "traces_collected": { "xray": { "bind_address": "127.0.0.1:2000", "tcp_proxy": { "bind_address": "127.0.0.1:2000" } }, "otlp": { "grpc_endpoint": "127.0.0.1:4317", "http_endpoint": "127.0.0.1:4318" } }

or its affiliates. All rights reserved. CloudWatch Metrics で高カーディナリティに立ち向かう • カーディナリティとは • あるデータが取り得る値の数 • 高カーディナリティデータは分析に有効 • 事象の詳細な追跡を可能とする • “メトリクス” は高カーディナリティデータと相性が悪い • 高いストレージ費用、相関関係の消失、… 北海道青森県岩手県 … 都道府県 → カーディナリティ低 Tanaka Saito Suzuki … 氏名 → カーディナリティ高 Node=A Node=F User=Saito

or its affiliates. All rights reserved. Contributor Insights C L O U D W A T C H M E T R I C S で高カーディナリティに立ち向かう • CloudWatch Logs のログデータから高カーディナリティ時系列データを抽出 • 出力は通常の CloudWatch メトリクスと異なる • 限られた方法でのみメトリクスが取得可能 • GetInsightRuleReport API • トップ N コントリビューター、統計データ • アラーム利用不可 • Metric Math 関数 INSIGHT_RULE_METRIC • 統計データのみ、アラーム利用可

or its affiliates. All rights reserved. 埋め込みメトリクス形式 (Embedded Metric Format, EMF) C L O U D W A T C H M E T R I C S で高カーディナリティに立ち向かう • CloudWatch Logs にメトリクスを埋め込む • EMF は、この埋め込みの形式を定めるもの • EMF を用いた構造化ログを出力 • → 自動でログから CloudWatch メトリクスを生成 • ログから複雑な分析が可能 • メトリクスは検知のための最小限の利用 • ログは検知された事象に対する詳細分析に利用 • Logs Insights による相関関係の分析 etc.. 追加の属性を付与可能

or its affiliates. All rights reserved. Contributor Insights と EMF の比較 C L O U D W A T C H M E T R I C S で高カーディナリティに立ち向かう Contributor Insights • 費用: • ログ (取込, 保管, 評価) + ルール数 • 適した場面: • JSON/CLF に従う任意の構造化ログ • メトリクス利用: • 通常のメトリクスと異なり特有の制限 Embedded Metric Format • 費用: • ログ (取込, 保管) + メトリクス数 • 適した場面: • アプリ側で出力ログの形式を変更可能 • OpenTelemetry での計装を利用 • メトリクス利用: • 通常のメトリクスと等価

or its affiliates. All rights reserved. CloudWatch Evidently の RUM 統合 • CloudWatch Evidently • 機能のロールアウト中に、新機能を一部のユーザーに提供 • A/B テスト • チュートリアル • Evidently のサンプルアプリケーションを使用した A/B テスト https://aws.amazon.com/jp/blogs/news/cloudwatch-evidently/

or its affiliates. All rights reserved. CloudWatch Evidently の RUM 統合 • CloudWatch RUM • ウェブアプリケーションに、自動生成されたスクリプトをコピペするのみ • パフォーマンス、JavaScript エラー、HTTP エラーなどを記録 • どのブラウザ・デバイスからアクセスされているかも確認可能 https://aws.amazon.com/jp/blogs/news/cloudwatch-rum/

or its affiliates. All rights reserved. • ウェブアプリケーションに、Evidently を呼び出すコードを実装し、 CloudWatch RUM の自動生成されたスクリプトをコピペする • RUM の config に cookieAttributes を追加 • Evidently の EvaluateFeature API に渡す entityId の値は、cookie から sessionId を拾う • Evidently で、実験の成功を判断するために追跡するメトリクスに、RUM のメトリクスを選択することができる複数の RUM のメトリクスから選択可能 CloudWatch Evidently の RUM 統合

or its affiliates. All rights reserved. CloudWatch Agent で、記録されるメトリクス数を削減 CloudWatch Agent を使って、Auto Scaling グループに登録されている複数の EC2 インスタンスの平均メモリ使用率をメトリクスとして送信したい "metrics": { ... "append_dimensions": { "ImageId": "${aws:ImageId}", "InstanceId": "${aws:InstanceId}", "InstanceType": "${aws:InstanceType}", "AutoScalingGroupName": "${aws:AutoScalingGroupName}" }, "aggregation_dimensions" : [[”AutoScalingGroupName"]] } 全インスタンスの平均メモリ使用率

or its affiliates. All rights reserved. CloudWatch Agent で、記録されるメトリクス数を削減 • 課題 • aggregation_dimensions を使用しても、元のメトリクスも記録される • CloudWatch Agent により記録されるメトリクスはカスタムメトリクスとなるため、メトリクスの数によって課金が発生する "metrics": { "metrics_collected": { "mem": { "measurement": [ "mem_used", "mem_total", "mem_used_percent" ], "metrics_collection_interval": 1, "drop_original_metrics": ["mem_used_percent"], } } ... } 設定変更元のメトリクスは送信されない

or its affiliates. All rights reserved. まとめ • CloudWatch は多数の機能を提供することで多様な要件をカバー • 機能拡充によりできることが増えています！ • CloudWatch Internet Monitor • CloudWatch Agent の X-Ray トレースサポート • CloudWatch Logs 正規表現フィルター • … • 本日お話ししたトピックが1つでもお役にたてば幸いです

[AWS Expert Online for JAWS-UG] Amazon CloudWat...

[AWS Expert Online for JAWS-UG] Amazon CloudWatch で できる n 個のこと

More Decks by awsj communty program manager - Shigeru Numaguchi

Other Decks in How-to & DIY

Featured

Transcript

[AWS Expert Online for JAWS-UG] Amazon CloudWatch でできる n 個のこと