分散負荷試験の自動化を実現するGatling Operatorの紹介

by ksudate

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

© ZOZO, Inc. https://zozo.jp/ 3 ● ファッション通販サイト ● 1,500以上のショップ、8,400以上のブランドの取り扱い ● 常時83万点以上の商品アイテム数と毎日平均2,900点以上の新着商品を掲載（2021年12月末時点） ● ブランド古着のファッションゾーン「ZOZOUSED」やコスメ専門モール「ZOZOCOSME」、靴の専門モール「ZOZOSHOES」、ラグジュアリー＆デザイナーズゾーン「ZOZOVILLA」を展開 ● 即日配送サービス ● ギフトラッピングサービス ● ツケ払いなど

Slide 4

Slide 4 text

© ZOZO, Inc. https://wear.jp/ 4 ● ファッションコーディネートアプリ ● 1,500万ダウンロード突破、コーディネート投稿総数は1,200万件以上（2021年12月末時点） ● ピックアップタグから最新のトレンドをチェック ● コーディネート着用アイテムを公式サイトで購入可能 ● WEAR公認の人気ユーザーをWEARISTAと認定。モデル・タレント・デザイナー・インフルエンサーといった各界著名人も参加

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© ZOZO, Inc. 8 開発背景 Amazon ECSからAWS Fargateをデータプレーンとして利用する方式を採用大量のGatling実行用ノードを並べて分散負荷試験の実行やレポート生成などを自動化したしかし、AWS Fargateの制約から発生した課題に直面 ● AWS Fargate スロットリングの制限 ○ 各AWS アカウントの Amazon ECS RunTask API リクエストをスロットリングするため、制限緩和申請などが必要になる ● サービスあたりのタスクの最大数の制限 ○ タスク用に予約可能なvCPUとメモリの選択の幅が狭く、目標スループットを実現するには実行可能なタスク数が多くなり、結果として最大数以上のタスクが必要になる ● 起動時間の遅さ

Slide 9

Slide 9 text

© ZOZO, Inc. 9 開発背景これらの課題を解決するために開発されたのが、Gatling Operator ● AWS Fargate スロットリングの制限 ○ Fargateを使用しないため制限なし ● サービスあたりのタスクの最大数の制限 ○ EKSではNodegroupあたりの最大Node数などがあるが、十分に大きいため影響がない ● 起動時間の遅さ ○ 事前にNodegroupを準備できるため、AWS Fargateのインスタンスの起動に比べて高速また、負荷試験がマニフェストで宣言的に管理できることも大きなメリット

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

© ZOZO, Inc. 12 Gatling Operatorについて Gatling Operatorとは ● Kubernetesクラスタ上でGatlingを実行するKubernetes Operator ● HTMLレポートをクラウドプロバイダー(S3やGCS)にアップロード ● HTMLレポートへのリンクをWebhook URL(Slackなど)を用いて送信 https://github.com/st-tech/gatling-operator

Slide 13

Slide 13 text

© ZOZO, Inc. 13 Gatling Operatorとは Gatling Operatorについて ● Kubebuilderを使用 ● 3つのReconcileロジックを持つ ● Kubernetesクラスタ上でGatlingを実行する ○ gatlingRunnerReconcile ● HTMLレポートをクラウドプロバイダー(S3やGCS)に送信 ○ gatlingReporterReconcile ● HTMLレポートへのリンクをWebhook URL(Slackなど)を用いて送信 ○ gatlingNotiﬁcationReconcile

Slide 14

Slide 14 text

© ZOZO, Inc. 14 Gatling Operatorとは Kubebuilder カスタムリソース定義（CRD）を用いてKubernetesのAPIを構築するためのフレームワーク Kubebuilderを使うことで開発者はReconcileのロジックの開発に専念できる弊社では、gatling-operatorの他にﬂuent-pvc-operatorと呼ばれるKubebuilderを用いて開発されたOperatorが既に存在していたこともあり、Kubebuilderを採用

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© ZOZO, Inc. 18 Gatling Operatorとは Gatling Runner Podについて ● gatling-waiter ○ 全てのPodが開始されるまで待機し、全てのPodでGatlingが実行されるタイミングを同期 ● gatling-runner ○ Gatlingの実行とHTMLレポート用ログファイルをemptyDirボリュームへ格納 ● gatling-result-transfer ○ emptyDirボリュームに格納されたHTMLレポート用ログファイルをrcloneを用いてS3などにアップロード

Slide 19

Slide 19 text

© ZOZO, Inc. 19 Gatling Operatorとは Gatling Runner Podについて Initコンテナでは、1つ以上のコンテナを定義することが可能になっており、Kubeletはそれらの Initコンテナを1つずつ順番に実行する gatling-waiter、gatling-runner、gatling-result-transferはそれぞれ順番に実行される必要があるため、Initコンテナを使用した構成になっているそのためHTMLレポート用ログファイルのアップロードをしない場合は、gatling-runnerはメインコンテナで実行される

Slide 20

Slide 20 text

Slide 21

Slide 21 text

© ZOZO, Inc. 21 Gatling Operatorとは Gatling Reporter Jobについて 1. Gatling Reporter Jobの作成 2. Gatling Reporter Podの作成 3. HTMLレポート生成 a. S3からHTMLレポート用ログファイルをダウンロード b. HTMLレポート用ログファイルからHTMLレポートを(gatling.shより)生成し、S3にアップロード

Slide 22

Slide 22 text

© ZOZO, Inc. 22 Gatling Operatorとはクラウドストレージ上のファイルのアップロード・ダウンロードはRcloneを使用クラウドストレージ上のファイルを管理するためのコマンド Amazon S3やGoogle Cloud Storageなど40を超えるクラウドストレージサービスに対応 RcloneのインターフェイスでS3にもGCSにもファイル転送可能 Gatling Operatorでは、Rcloneを用いてクラウドストレージ上からファイルのアップロード・ダウンロードを行っている https://rclone.org

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

© ZOZO, Inc. 25 使い方 Gatling カスタムリソース(以下、CR)について Gatlingをクラスタ上で実行するにはCRのGatlingをデプロイする必要がある 3つのフラグとGatlingを実行するRunner PodのpodSpec や、クラウドストレージの設定情報を定義する cloudstorageSpec、通知先のwebhook urlを定義する notiﬁcationSpec、Gatlingのテストシナリオ・データや Gatlingを並列実行するための設定情報などを定義する testScenarioSpecなどの設定が可能詳しくは、API Reference or テックブログを参照

Slide 26

Slide 26 text

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© ZOZO, Inc. 31 使い方 - 事前準備先程のサービスアカウントを指定 generateReport: trueにより、 HTMLレポートの生成を行う notifyReport: trueにより、 S3へのリンクの通知を行う AmazonS3FullAccessを付与した IAMユーザのIDとKEYを指定先程作成したSecretを指定 parallelismにより、Runner Pod の数を指定ログ送信先のバケット名を指定今回はAmazon S3のgatling-log バケットにアップロード