AWS Observability 関連最新アップデート

Transcript

1. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Observability 関連最新アップデート Yuki Miyazaki アマゾンウェブサービスジャパン合同会社 ソリューションアーキテクト 春の Observability 祭り 2024 ~Observability獲得までの旅~
2. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃⼰紹介 宮崎 友貴 Yuki Miyazaki アマゾンウェブサービスジャパン ソリューションアーキテクト 通信業界のお客様を中⼼にご⽀援しています。 好きな AWS サービス 2 Amazon Timestream Amazon CloudWatch
3. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. アジェンダ 3 • Amazon CloudWatch 関連の最新アップデート • Network Monitor • Application Signals - preview • CloudWatch Metrics の複数ソースのデータへのクエリ • CloudWatch Logs ⾃然⾔語クエリ - preview • CloudWatch Logs の⾃動パターン分析と異常検知 • CloudWatch Logs Infrequent Access • OSS関連のアップデート • Observability 事例紹介 – Stripe様 • まとめ デモ デモ
4. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon CloudWatch 関連の 最新アップデート 4
5. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • AWS とオンプレミス間のハイブリッドネットワークの パフォーマンスと可⽤性をリアルタイムで可視化 • 継続的にリアルタイムのパケットロスとレイテンシー(RTT) の メトリクスを収集 • AWS によって制御されているネットワークパスの状態を⽰す 統計的測定値、AWS Network Health Indicator を 使⽤してパフォーマンスの低下を迅速に検知 • エージェントレスで、VPC のサブネットとエンドポイントを指定 するだけで開始可能 • サブネットに配置したプローブにより、10 PPSでトラフィックが ⽣成 5 ⼀ 般 利 ⽤ 開 始 Amazon CloudWatch Network Monitor DirectConnectやVPN等を経由したハイブリッドネットワークのパフォーマンス監視を実現 AWS とオンプレミス間のネットワークの状態を監視、通知、可視化 フルマネージドでエージェントレスなので、簡単に開始可能
6. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon CloudWatch Application Signals • 計測のための実装やダッシュボードの作成といった作業を必要とせず、 アプリケーションから主要なメトリクスとトレースを収集しダッシュボードを⾃動⽣成 • サービスレベル⽬標 ( SLO ) を定義し、モニタリング可能 • サービスのサービスレベルインジケーター ( SLI ) のステータスを追跡可能 • Service Map により、アプリケーションのトポロジーと依存関係を可視化 • 対応アプリケーションの⾔語︓Java, Python (β版) • 対応サービス︓Amazon EKS、Amazon ECS、および Amazon EC2 AWS上で実⾏されているアプリケーションを⾃動でモニタリングし、健全性とパフォーマンスを可視化 プ レ ビ ュ ー 差別化につながらない作業を削減 最も重要なビジネス⽬標に照らしてパフォーマンスを追跡 分散システムにおける複雑な監視と保守を容易にし、問題の切り分け時間の短縮
7. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. SLI/SLO の重要性 - ⾼可⽤性と⾼レジリエンスの実現 7 プロアクティブなKPIの改善が重要 Monitoring is usually a reactive measure whereas the goal of Observability is to be able to improve your Key Performance Indicators (KPIs) in a proactive manner. AWS Observability Best Practices より︓ https://aws-observability.github.io/observability-best-practices/ja/tools/slos/ SLI : サービスのパフォーマンスを定量的に測定したもの SLO : SLI の⽬標値であり、望ましいパフォーマンスレベルを 表す値 SLA : サービスプロバイダとその利⽤者の間で期待される サービスレベルについての契約 約束/合意 ⽬標 パフォーマンス
8. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 複数ソースのデータへのクエリに対応 • 複数ソースのデータに対する直接クエリをサポートし、 ハイブリッドのメトリクスとマルチクラウドのメトリクスを 1つのビューで可視化 • データソースとのコネクタとしてLambdaが⽣成される • Amazon RDS に保存されている KPI データ、 Amazon S3 に保存されているファイルを メトリクスの背景情報として追加することも可能 • 対応データソース︓ Amazon OpenSearch Service / Amazon Managed Service for Prometheus / Amazon RDS for MySQL / Amazon RDS for PostgreSQL / Amazon S3 (CSVファイル) / Azure Monitor / (AMP以外の) Prometheus 8 ⼀ 般 利 ⽤ 開 始 Cloud Watch Metrics において、ハイブリッド、マルチクラウド、オンプレミスのメトリクスを統合し可視化 複数の基盤に対して、⼀貫性のある統⼀された⽅法で可視化 CSVデータであれば独⾃に収集したメトリクスも可視化可能
9. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ⾃然⾔語によるクエリ⽣成 CloudWatch Logs と Metrics Insights において、⽣成AIにより⾃然⾔語でクエリを⽣成 9 プ レ ビ ュ ー § ⾃然⾔語で質問することでクエリを⽣成 § ⾃動⽣成したクエリについて解説を付与。 クエリ構⽂を書くための学習を⽀援 § ⾃然⾔語を利⽤して既存のクエリを改良 繰り返し実⾏するものを、継続的な改善に有益 § 英語のみサポート ログとメトリクス⽤のクエリの⽣成と更新に役⽴ち、時間と労⼒を節約 特定のデータに関する知識やクエリに関する専⾨知識がなくても分析が可能に
10. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • 数⼗年にわたる Amazon と AWS の運⽤データを 使⽤してトレーニングされた⾼度な機械学習 (ML) アルゴリズムを使⽤ • パターンビューにより、ログのクエリ中に 繰り返し発⽣するパターンを簡単に視覚化 • ⽐較モードにより、2 つの期間の間に 「何が変わったか」を即時に発⾒ • 異常検知機能により、受信ログを履歴ベースライン と照らし合わせて、5~60分間隔で評価することで、 異常が発⽣する可能性がある傾向を理解 10 ⼀ 般 利 ⽤ 開 始 CloudWatch Logs ⾃動パターン分析と異常検知 CloudWatch logs でログのパターンを⾃動的に認識して、注⽬すべきコンテンツと傾向を抽出し、異常を通知 組み込み済みの⾼度な機械学習モデルを使って、ログの⾼度な分析や問題箇所の特定に役⽴てられる
11. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. デモ
12. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Amazon CloudWatch Logs Infrequent Access • 1GB あたりのデータ取り込み料⾦が半額に （東京リージョンでは $0.38 / GB で利⽤可能） • スタンダード︓ リアルタイムな可視化や⾼度な分析等、頻繁なアクセスを要 する場合 • 低頻度アクセス︓ 必要に応じて分析する場合や、 Live Tail、メトリクスフィルター、アラーム、データ保護などの ⾼度な機能を必要としないお客様向け • ログクラスはロググループ作成時に決定し、 作成後はログクラスの変更ができない 12 ⼀ 般 利 ⽤ 開 始 CloudWatch Logs において低頻度アクセス (Infrequent Access) というログクラスを提供 アクセス頻度とログの機能の使い⽅に応じて、ログクラスを使い分けることでコスト効率化 機能 低頻度アクセス スタンダード ログの収集と保存 ✔ ✔ クロスアカウント機能 ✔ ✔ AWS KMS による暗号化 ✔ ✔ CloudWatch Logs insight クエリ ✔(⼀部) ✔ メトリクスフィルター ✔ アラーム ✔ サブスクリプションフィルター ✔ S3 へのエクスポート ✔ GetLogEvents/FilterLogEvents ✔ ⾃然⾔語によるクエリ補佐 ✔ CloudWatch logs の異常検出 ✔ ログの差分 ✔ メトリクスの埋め込み (EMF) ✔ データ保護 ✔ Live Tail ✔
13. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. OSS 関連の 最新アップデート 13
14. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. AWS Distro for OpenTelemetry でログのサポートが利⽤可能に https://aws.amazon.com/jp/about-aws/whats-new/2023/11/logs-support-aws-distro-opentelemetry/ Grafana コミュニティプラグインで Amazon Managed Grafana のエクスペリエンスを拡張 https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-managed-grafana-community-plugins/ 14 OSS関連アップデート
15. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Observability 事例 15
16. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Re:Invent 2023 Stripe 様 ⼤規模な可観測性を実現するアークテクチャ AWS re:Invent 2023 - Stripe: Architecting for observability at massive scale (FSI319) https://www.youtube.com/watch?v=gNCKJUg8qEo システムの規模が拡⼤するにつれて、Observability も スケールアップする必要があり、新たな課題が⽣じる 課題︓ • インフラの複雑性 • 分散された⼤規模なシステム群 • 膨⼤なデータ • コスト⾼
17. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Re:Invent 2023 Stripe 様 ⼤規模な可観測性を実現するアークテクチャ • スケールするシステムの可⽤性と信頼性とパフォーマンスを 維持しながら、コスト効果の⾼いアーキテクチャを構築 • アーキテクチャ観点では、以下の変更＝改善を実施 ①シャーディング ②集約 ③ストレージの階層化 ④ストリーミングアラート ⑤分離（疎結合） • 組織の⽂化的な観点では、会社全体で Observability の⽂化を育むことが必要 • データベース中⼼主義ではなく、 データプレーンに焦点を当てることが⼤事である Observability における継続的な改善が⼤切
18. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. まとめ 18
19. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. まとめ • Amazon CloudWatch 関連の最新アップデート • Network Monitor • Application Signals - preview • CloudWatch Logs ⾃然⾔語クエリ - preview • CloudWatch Metrics の複数ソースのデータへのクエリ • CloudWatch Logs Infrequent Access • CloudWatch Logs の⾃動パターン分析と異常検知 • OSS関連のアップデート • Observability 事例紹介 • re:Invent 2023 Stripe 様 ⼤規模な可観測性を実現するアークテクチャ 使ってみよう︕
20. © 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Thank you︕ 20