負荷テスト on AWS のすすめ (AWS Summit Japan 2024 - Ministage session)

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介名前︓⾺渕俊介 (Shunsuke Mabuchi) 所属︓エンタープライズ技術本部サービスグループトラベル・交通・物流ソリューション部ソリューションアーキテクト経歴︓・国内 SIer で性能専⾨の技術⽀援部隊に所属し、多数システムで性能テスト・性能問題解決を担当（〜2020/11）・AWS にてソリューションアーキテクトとして交通系のお客様を担当好きな AWS サービス : Amazon CloudWatch 好きな AWS ソリューション : Distributed Load Testing on AWS ︓@mabuchsss

Slide 3

Slide 3 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションの対象者と前提知識本セッションの想定聴講者 • システムの開発・運⽤に関わるエンジニアの⽅ • システムの発注に関わる、事業会社の情報部⾨の⽅ • SRE・テストエンジニアの⽅前提知識 • AWS の基本的なサービスについて知っていること • システム開発のサイクルの概要を理解していること

Slide 4

Slide 4 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Key takeaways : 負荷テストのつらいところを、AWS サービスやソリューションで軽減できる環境 Instance Scheduler IaC DB 複製負荷ツール Distributed Load Testing Timestream for InfluxDB 監視ツール Observability on AWS

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 本セッションの⽬的と全体像本セッションの⽬的 • 負荷テストのつらい部分を、AWS の活⽤でどう軽減できるかを知る本セッションでお話すること • 負荷テストの全体像の説明 • 負荷テストの主要ファクターについて、つらい部分と、AWS での解決⽅法について説明本セッションでお話しないこと • 性能⽬標やシナリオの検討⽅法 • オンライン処理の負荷テストを対象とし、バッチ処理性能には触れない • システム開発サイクルにおける、負荷テストの⽴ち位置（例 : アジャイル開発における実施タイミング、etc）

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷テストの全体像 ① 計画全体像を決める • 負荷量 • シナリオ • テスト環境 • 負荷ツール • 監視ツール ② 準備環境・ツールを実装する ③ 実施実験を繰り返す ④ 評価結果を合意し、 Next Action を決定する準備実⾏チューニング分析

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テスト環境の検討事項とアンチパターン検討事項 • どこに構築するか • どのサイズで構築するか • どうやって構築するか • 外部接続先をどうするか • DB のデータをどうするかアンチパターン • 独⽴していない • 専⽤環境を構築せず、他環境と相乗り • AWS アカウントが他環境と同居 ※ Quota 到達のリスク • 本番環境が再現されていない • コスト削減のために、縮⼩版環境で実施 • 外部接続先に関連するシナリオを省略 • DB のデータの量・偏りを再現しない

Slide 18

Slide 18 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テスト環境のベストプラクティスと、その "つらさ" ベストプラクティス • 本番同等の負荷テスト専⽤環境を、専⽤の AWS アカウントに構築する • 本番環境同等のデータを、負荷テスト環境の DB 上に再現する 😭 環境構築の⼿間が⼤変…… 😭 環境のコストがかかる…… 😭 再現度の⾼いデータ作りは⼤変……

Slide 19

Slide 19 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テスト環境の "つらさ" 解決 ① : IaC ベストプラクティス • 本番同等の負荷テスト専⽤環境を、専⽤の AWS アカウントに構築する解決策 IaC で専⽤環境構築、負荷テストが終わったら削除可能にしておく 😭 環境構築の⼿間が⼤変…… 😭 環境のコストがかかる…… AWS CloudFormation AWS CDK 負荷テスト環境開発環境運⽤テスト環境 PJ 全体の環境構築・利⽤戦略として IaC を組み込んでおく

Slide 20

Slide 20 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テスト環境の "つらさ" 解決 ② : Instance Scheduler ベストプラクティス • 本番同等の負荷テスト専⽤環境を、専⽤の AWS アカウントに構築する解決策 Instance Scheduler ソリューションで、テスト時間帯外のコスト削減 • 曜⽇・時間を指定して EC2 / RDS の起動停⽌スケジュールを設定 • AWS ソリューションとして公開されておりテンプレートからすぐ構築できる 😭 環境のコストがかかる……

Slide 21

Slide 21 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS ソリューションとは • AWS サービス、コード、設定を組み合わせた、すぐデプロイできるソリューション＝便利な構成テンプレ集（CloudFormation） • 利⽤にかかる費⽤は、含まれる AWS サービスの費⽤のみ 21 https://aws.amazon.com/jp/solutions/ 注⽬のソリューション例︓ • ⾃動化されたセキュリティ対応 • AWS Security Hub が検出した脅威を⾃動 or ワンクリックで修復 • OpenSearch での統合ログ管理 • デプロイしてすぐに使えて、ログ収集・分析・可視化を⼀元化 • DevOps Monitoring Dashboard • CI/CD のメトリクスを収集し分析・可視化、改善の指標を提供

Slide 22

Slide 22 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. テスト環境の "つらさ" 解決 ③ : DB 複製ベストプラクティス • 本番環境同等のデータを、負荷テスト環境の DB 上に再現する解決策 RDS スナップショットを⽤いて本番 DB を複製 → マスキング 😭 再現度の⾼いデータ作りは⼤変…… 本番環境テスト環境本番DB 複製DB Snapshot Snapshot 機密情報マスクテストDB Snapshot 注意事項︓ • 暗号化の設定によっては制約事項あり

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷ツールのベストプラクティスと、その "つらさ" ベストプラクティス • 負荷クライアントを、スケールアウト可能な構成で構築する • 負荷クライアント視点の状況をモニタリングする 😭 台数分の構築が⼤変…… 😭 複数台の協調が⼤変…… 😭 複数台の EC2 を⽴ち上げっぱなしにするのはコストがかかる…… 😭 スケールアウトする負荷クライアントにいちいちモニタリングの導⼊するのも⼤変……

Slide 26

Slide 26 text

Slide 27

Slide 27 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷ツールの "つらさ" 解決 ① : DLT ソリューションベストプラクティス • 負荷クライアントを、スケールアウト可能な構成で構築する • 負荷クライアント視点の状況をモニタリングする 😭 台数分の構築が⼤変…… 😭 複数台の協調が⼤変…… 😭 複数台の EC2 を⽴ち上げっぱなしにするのはコストがかかる…… 😭 スケールアウトする負荷クライアントにいちいちモニタリングの導⼊するのも⼤変…… 構築が簡単で簡単にスケールできて負荷実⾏時以外はコンピュートリソースを使わず負荷ツール側のメトリクスも集められる解決策︓ Distributed Load Testing (DLT) on AWS ソリューション

Slide 28

Slide 28 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Distributed Load Testing on AWS (DLT) とは Web コンソールから JMeter のシナリオをアップロードすると、複数の Fargate コンテナが⽴ち上がり、JMeter※ で負荷を実⾏ AWS Fargate タスク1 タスク2 タスクn … 指定⽇または定期⽇などスケジュール実⾏可能 1タスクあたりの仮想ユーザー数を指定して並列処理 Apache JMeter テストシナリオ (.jmx) S3バケット各シナリオが S3バケットから取得負荷テスト対象サービス … ※ Taurus がラッパーとなっている

Slide 29

Slide 29 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. DLT ソリューションのメリット構築スケール・コストモニタリング CloudFormation テンプレートですぐデプロイ可能負荷実⾏時だけコンテナ起動コンテナ数は Web コンソールで簡単に設定 CloudWatch Container Insightsでコンテナ状況可視化性能指標値を可視化するダッシュボード⾃動作成

Slide 30

Slide 30 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷ツールの "つらさ" 解決 ② : Amazon Timestream for InfluxDB ベストプラクティス • 負荷クライアント視点の状況をモニタリングする 😭 全部の負荷クライアントから⾒た性能ってまとめて・簡単に・リアルタイムに⾒られない…… DLT のコンソールで部分的には解決可能だが、より詳細な情報を⾒たい場合 Amazon Timestream for InfluxDB New! 2024/03

Slide 31

Slide 31 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Timestream for InfluxDB • 時系列 DB の InfluxDB をマネージドで提供 • JMeter のリスナー設定でメトリクス送出可能 • リクエスト種別ごとのリアルタイムな数値をダッシュボードで可視化 New! 2024/03

Slide 32

Slide 32 text

Slide 33

Slide 33 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 監視ツールの検討事項とアンチパターン検討事項 • どのツールを使うか • どういった情報を収集するか • どうやって可視化するか • どうやって分析するかアンチパターン • マシンリソースのメトリクスしか取得できていない • ログがリアルタイムに集約されていない • ログの検索・取得・集計であちこちツールを⾏き来する

Slide 34

Slide 34 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 監視ツールのベストプラクティスと、その "つらさ" ベストプラクティス • オブザーバビリティが実現されている • ログ・メトリクス・トレースによりシステムの動作状況を把握できること解決策 AWS の Observability サービスの活⽤ 😭 今まで使ってきたツールだと全部はカバーできない…… 詳細は 12:10-12:25 のミニステージセッション「監視運⽤ベストプラクティス」セッションでご紹介︕

Slide 35

Slide 35 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 監視ツールの "つらさ" 解決 : Observability on AWS Observability Collectors and SDKs Container insights Lambda insights Contributor insights Application insights Synthetics Dashboards Alarms RUM AWS X-Ray AWS native services Amazon CloudWatch ServiceLens Open-source managed services Amazon Managed Grafana Do it yourself (DIY) – AWS OSS Solutions Amazon OpenSearch Service Amazon Managed Service for Prometheus Jaeger and Zipkin Tracing Insights & ML Instrumentation Metrics CloudWatch agent AWS X-Ray agent AWS Distro for OpenTelemetry Internet monitor Logs

Slide 36

Slide 36 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. 負荷テストでのオブザーバビリティ Tips Tips • 標準メトリクス・ログより詳細なデータ収集設定例）EC2 インスタンスの詳細モニタリング、CloudWatch エージェントの導⼊、 RDS の拡張モニタリング、RDS への Performance Insights の有効化 • ダッシュボードを育てれば育てるほど負荷テストサイクルが早くなる • CloudWatch ⾃動ダッシュボードはウィジェットの宝庫 • 〇〇〇 Insights は必殺の武器 • CloudWatch 〇〇〇 Insights シリーズ (例 : Log Insights) や、 RDS Performance Insights の使い⽅を覚えておく

Slide 37

Slide 37 text

Slide 38

Slide 38 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. まとめ負荷テストのつらいところを、AWS サービスやソリューションで軽減できる環境 Instance Scheduler IaC DB 複製負荷ツール Distributed Load Testing Timestream for InfluxDB 監視ツール Observability on AWS

Slide 39

Slide 39 text

© 2024, Amazon Web Services, Inc. or its affiliates. All rights reserved. Call to action ⽇本語のワークショップやベストプラクティス教材で学び、実践する環境 Instance Scheduler 負荷ツール Distributed Load Testing 監視ツール Observability on AWS InstanceScheduler Workshop Distributed Load Testing Workshop One Observability Workshop AWS Observability Best Practices Happy Load Testing︕