これから始めるDevOps！ローコードで簡単に実現するE2Eの負荷テスト徹底解説！

Slide 1

Slide 1 text

ローコードで簡単に実現するE2Eの負荷テスト徹底解説！ 2024/1/29 mabl Webinar #24

Slide 2

Slide 2 text

Speaker Proﬁle odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュニティ活動をきっかけにMicrosoftに入社。EvangelistとしてAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 odashoDotCom odasho0618 odasho odasho0618

Slide 3

Slide 3 text

What's mabl? ● 「めいぶる」と読みます ● Stackdriver（現Google Cloud Operations）の創業者IzzyとDanが2017年ボストンで創業 ● グローバルの社員数100人+ ● GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達 ● 2021年度の売上、前年対比300％+増 ● Fortune Globalの35社含む300社+が採用 ● 2021年8月に日本法人設立

Slide 4

Slide 4 text

マーブルと誤読されがち

Slide 5

Slide 5 text

DevOpsに対応したテスト自動化プラットフォームノーコード/ローコード UI / API & Mobileテストデータ/インサイト結果データを自動取得単一プラットフォーム E2E、API、A11y、Perf 顧客体験を広くカバー　 Email送信/PDFアサート開発ツール連携 GitHub、Slack、Jira等テストメンテナンス削減テストの自動修復

Slide 6

Slide 6 text

ローコードテスト自動化 mablのスコープ単体テスト API/結合テスト UI/E2Eテスト探索的テスト

Slide 7

Slide 7 text

エンタープライズ対応のセキュリティ mabl Link ● 暗号化されたWebソケットコネクション ● テスト実行時にF/W内からアウトバウンド通信のみ ● Proxyサーバー経由も可能 SOC II Type 2 GDPR

Slide 8

Slide 8 text

ローコードで「意図」と「実装」を分ける

Slide 9

Slide 9 text

自動修復でメンテナンス作業を削減

Slide 10

Slide 10 text

GCP上で並列テストを無制限に実行 Show screenshot of a plan

Slide 11

Slide 11 text

テストカバレッジレポート

Slide 12

Slide 12 text

パフォーマンス評価

Slide 13

Slide 13 text

10倍早くテスト実行より良い品質のソフトウェアをより早く提供 ROI data based on customer case studies compared to Selenium frameworks and other commercial tools 3倍早くテストを構築速く作る効率改善コスト削減高速化 70% メンテナンス時間を削減 80% Seleniumより低コスト

Slide 14

Slide 14 text

品質指標を使用した継続的な改善非機能的品質の検証シフトレフト: 自動化されたテストを開発に組み込む機能テスト自動化のカバレッジ拡大開発後に手動でテスト品質エンジニアリング (QE) ジャーニー QEの成熟度

Slide 15

Slide 15 text

demo

Slide 16

Slide 16 text

Step1: ワークスペース設定 E2EやAPIのパフォーマンステストは早期アクセスで提供中なので、明示的に機能をOnにする。 ● 左端のナビゲーションメニューから「ワークスペース」 → 「LABS」を選択 ● 「APIパフォーマンステストを試す」のトグルを「On」にする。

Slide 17

Slide 17 text

Step2: テスト作成パフォーマンステストが選択可能なことを確認する。 ● 左端のナビゲーションメニューから「テスト作成」→ 「パフォーマンステスト」を選択

Slide 18

Slide 18 text

1. テスト詳細から「名前」を付け「ブラウザテスト」を選択 2. 「Test」にて作成済のE2Eテストから負荷テストする対象のテストを選択 3. 同時接続数を設定 (トライアルアカウントは最大 25、有償アカウントは最大 1,000ユーザーまで) Step2: テスト作成

Slide 19

Slide 19 text

1. 「失敗基準」ボタンを選択して、「メトリック」の出現を確認 2. 適切なメトリックを選択 Step2: テスト作成

Slide 20

Slide 20 text

失敗基準について詳細は https://mabl.zendesk.com/hc/ja/articles/20528060427028 を参照ください。 ● 機能テスト失敗率機能テスト失敗率は、ステータスが "failed" となった機能テストの割合を表す。ステータスが「失敗 (failed)」の場合、対応する機能テストのアサーションの違反があったことを示す。機能テスト失敗率は、ブラウザテストとAPIテストの失敗基準として設定可能。 ● コアウェブバイタル任意のステップ: 全てのステップに対する失敗基準は、アプリ全体のベースラインパフォーマンスを監視するために使用可能。ステップの選択: リンクやボタンのクリックのようなナビゲーションステップを監視する失敗基準を設定可能。 ● ステップ期間 mablがステップを実行するのにかかる時間を測定。アプリがSPAの場合、ステップ実行時間を使用して、アプリのナビゲーションステップのパフォーマンス測定がオススメ。

Slide 21

Slide 21 text

Core Web Vitals ● FCP (First Contentful Paint) ブラウザーがページの最初のDOM要素をレンダリングするのにかかる時間 ● LCP (Largest Contentful Paint) ブラウザーがページの最大の画像またはテキストブロックをレンダリングするのにかかる時間 ● CLS (Cumulative Layout Shift) ページの読み込み中にコンテンツがどれだけ移動するかの測定 ● TTFB (Time To First Byte) ブラウザーがサーバーにリクエストを送った後で応答の最初のバイトを受信するまでの時間 ● DOM Content Loaded DOMが完全に読み込まれて解析されるまでの時間

Slide 22

Slide 22 text

Step2: テスト作成テスト設定とアプリケーションと環境を設定する。 ● 任意の「テスト時間」を設定 (最初は短めがオススメ) ● 「ランプアップタイム」を設定ランプアップタイム: 段階的にユーザーを増やす時間 ● テスト対象となる「アプリケーション」を設定 ● 作成したテストを「保存」

Slide 23

Slide 23 text

1. 作成したテストの内容表示を確認した後に、「テスト実行」を選択 2. 今回は「アドホッククラウド実行」で「テストを1回実行」を選択 3. 「開始しています」を選択して、テスト画面に遷移 Step3: テスト実行

Slide 24

Slide 24 text

1. テスト結果を確認 (キャプチャではDOMコンテンツロードで失敗判定) アクセスするユーザ数の段階的な上昇、各失敗基準の判定や、ステップ毎の詳細を確認可能 Step3: テスト実行

Slide 25

Slide 25 text

For your information

Slide 26

Slide 26 text

About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certiﬁcations (English & Japanese) ● 33 ビデオ (各3 - 8 分程度) ● 英語字幕あり、日本語字幕なし ● 26 レッスン ● Step by stepで学習可能 ● 4 ラーニングパス ● 設定、基礎、高度、統合でそれぞれ30 - 90 分の学習パス ● 学習目標に応じたパスを提供 ● 3 つの資格 ● Foundations と Advanced ● NonFunctional ←NEW ● LinkedIn に掲載可能

Slide 27

Slide 27 text

You can try it now! ● 今すぐできる2週間の無料トライアル！ mabl Uのお供にどうぞ！ ● デモリクエストも大歓迎！ https://www.mabl.com/ja

Slide 28

Slide 28 text

mabl user community! mabl の User Community『mablers_jp』 ● ユーザーによるユーザーのためのコミュニティ ● ユーザーによる忖度のない生の声を聞く絶好のチャンス。是非ご参加ください！ https://mablersjp.connpass.com/

Slide 29

Slide 29 text

Join Developers Summit 2024! 2/15-16 Developers Summit 2024 ● Bitkeyさまと共同登壇セッション『自動テスト歴0年でもできる！テスト工数を46時間/月削減した方法』 ● 是非ブースにもお立ち寄りください！

Slide 30

Slide 30 text

Join our offline meetup!! 2/22 mabl Special Oﬄine Meetup！ ● 都内某所にてスペシャルゲストを招いてのオフラインMeetupを開催予定 ● 詳細は後日発表！皆さまSave the date！！

Slide 31

Slide 31 text

★ 今日のポイント！ ★ ● マーブルではなく「めいぶる」 ● 3 Step で誰でも簡単に負荷テストを作成可能

Slide 32

Slide 32 text

Questions? odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan odashoDotCom odasho0618 odasho odasho0618