ローコードで改革！End to Endテストの再定義！

by odasho

Slide 1

Slide 1 text

エンドツーエンドテストの再定義 2023/3/22 mabl Webinar #15

Slide 2

Slide 2 text

mablのご紹介 #devsumi #devsumiE Speaker Proﬁle odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後コミュニティ活動をきっかけにMicrosoftに入社。 EvangelistとしてAudience Marketingに従事。2022年10月にmablにJoinし、TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 Most DevRel Committer 2020, TechFeed Expert for DevRel odashoDotCom odasho0618 odasho odasho0618

Slide 3

Slide 3 text

本日のアジェンダなぜE2Eテストがカスタマーエクスペリエンスに重要なのか？ E2Eテスト戦略にどうアプローチすべきか？ローコードでどのように E2Eテストを実現できるのか？

Slide 4

Slide 4 text

品質の指針となるカスタマーエクスペリエンス ● 品質はユーザーエクスペリエンスにとって欠かせない要素の一つとなった。 ● 組織のクラウド移行やDevOps、CI/CD 採用が増えるにつれ、ソフトウェアの開発・販売のスピードが加速しており、その傾向は業界全体に見られている。 PWC, "Experience is everything: Here's how to get it right", 2018 良質なカスタマーエクスペリエンスが得られるなら、お金をかけてもよいと考える購買者の割合 86%

Slide 5

Slide 5 text

品質の指針となるカスタマーエクスペリエンス Gartner, “Key Findings From the Gartner Customer Experience Survey”, March 2018 競争に勝つ要因としてカスタマーエクスペリエンスを重視している企業の割合 81% ● 品質はユーザーエクスペリエンスにとって欠かせない要素の一つとなった。 ● 組織のクラウド移行やDevOps、CI/CD 採用が増えるにつれ、ソフトウェアの開発・販売のスピードが加速しており、その傾向は業界全体に見られている。

Slide 6

Slide 6 text

品質の指針となるカスタマーエクスペリエンス G2: State of Software Happiness Report, 2019 仕事で使用するソフトウェアの質に不満足な従業員の割合 51% ● 品質はユーザーエクスペリエンスにとって欠かせない要素の一つとなった。 ● 組織のクラウド移行やDevOps、CI/CD 採用が増えるにつれ、ソフトウェアの開発・販売のスピードが加速しており、その傾向は業界全体に見られている。

Slide 7

Slide 7 text

エンドツーエンドテストの重要性 ● 開始から終了までのアプリケーションフローをテスト ● ソフトウェアの一部がすべての機能ニーズを満たしているかを確認 ● エンドユーザー視点からのテストユニットテストインテグレーション (API) テスト E2Eテスト探索的テスト

Slide 8

Slide 8 text

さらに複雑化するエンドツーエンドテスト ...E2Eテストがもたらす利益は大きい ● テストカバレッジの拡大 ● アプリケーションが期待通りに機能 ● 本番環境前のバグ発見 ● 良質なカスタマーエクスペリエンスを確保成長するE2Eテストのスコープ... ● よりダイナミック（動的）なアプリケーション ● 複数デバイスでのカスタマージャーニー ● DevOpsにより、テストが必要なペースが上がっている

Slide 9

Slide 9 text

ログイン残高照会正解をアサート「エンドツーエンド」の新しい意味

Slide 10

Slide 10 text

メール上のリンクをクリックログイン残高照会正解をアサート APIで実証 PDFで実証「エンドツーエンド」の新しい意味

Slide 11

Slide 11 text

目標、コミュニケーション、ベクトル合わせから始める

Slide 12

Slide 12 text

「無計画なプロセス改善は単なる希望的観測に過ぎない」ソフトウェア品質のパイオニア Watts Humphrey（ワッツ・ハンフリー）

Slide 13

Slide 13 text

テストのサイロを分解現在の自動化成熟度を評価する。これまでに自動化したものは何か？開発チームの主要関係者を割り出す。取り組みを始めるタイミングを見極める。新機能はいつリリースされるのか？時間が決まっている企画会議？目標、コミュニケーション、ベクトル合わせから始める

Slide 14

Slide 14 text

品質指標を使用した継続的な改善非機能的品質の検証シフトレフト: 自動化されたテストを開発に組み込む機能テスト自動化のカバレッジ拡大開発後に手動でテスト品質エンジニアリングジャーニー QEの成熟度

Slide 15

Slide 15 text

ステークホルダーの方向性を調整目標自動化の目的は？成功をどう定義し測定するのか？組織・企業レベルの目標とどう方向性を合わせるのか？役割チーム内で品質全体の責任者は誰なのか？誰がテストケースを定義するのか？古いテストの更新担当は誰か？失敗のトリアージは誰が行うのか？誰がテストの実行時間を決めるのか？プロセスどうコミュニケーションをとるのか？テストやプランなどをどう管理するのか？どのように進捗を監視し経時的に改善するのか？このプランをどのようにロールアウトするのか？目標、コミュニケーション、ベクトル合わせから始める

Slide 16

Slide 16 text

まず、テスト対象を決定信頼できるテストのフレームワークを作るために大切なのは、何をテストするのか決めるために、アプリケーションを個々のパーツに分解すること。そのために、下記を定義する： ● ユーザー機能 ● 一連の要件 ● テストケースの作り方時間節約のヒント：優れたE2Eテストは、インテグレーションテストやシステムテストなどの他のテストのために作ったモジュールを利用することができる。 Start with goals, communication, and alignment

Slide 17

Slide 17 text

コミュニケーションとベクトル合わせのTips まず戦略を立てることに時間をかける。プロセスを変えるにはまず、新機能をひとつ、または少人数グループの中でなど、小さな範囲から試してみる。周りから反対を受けた場合は、本番環境内のバグ数などの品質に関する指標を持ち出し、事業目標とリンクさせることで、変化の重要性を訴えて対応する。

Slide 18

Slide 18 text

テストカバレッジについてよく考える

Slide 19

Slide 19 text

テストに関する意思決定にデータを活用テストはユーザー視点でのユーザーエクスペリエンスをカバーしていることが大切。効果的にテストの優先順位をつけるためにデータを利用しよう。 ● ユーザーは何を体験しているのか？ ● ユーザーはどのようにあなたのアプリケーションを使用しているのか？ 1. ウェブサイト指標や顧客データからの利用状況データを確認する。 2. ユーザーがどのような手段でアプリやサイトに訪問しているのかを理解する。 3. テストの合格基準を比較する。 4. ユーザージャーニーを優先する。テストカバレッジについてよく考える

Slide 20

Slide 20 text

テストのスコープを捕捉エンドツーエンドテストのスコープを広げ過ぎないように気をつけよう。テストが最も成功しやすいのはユニットまたはインテグレーションレベル。 ● 境界線 ● 入力検証 ● パフォーマンス ● ストレス ● 拡張性覚えておきたいポイントユニットテストは「インサイドアウト＝内から外へ」の視点から実行され、 E2Eテストなどの高度なテストは、「アウトサイドイン＝外から内へ」の視点で実行される。テストカバレッジについてよく考える

Slide 21

Slide 21 text

メール上のリンクをクリックログイン残高照会正解をアサート APIで実証 PDFで実証「エンドツーエンド」の新しい意味

Slide 22

Slide 22 text

評価に時間を使う最も大切なフローに対するテストが導入されていることをまず確認する。可能であれば、顧客の利用状況データを参照して事業関係者と定期的に見直す。スケーリングは自動化関連予算を視野に入れて行う。テストカバレッジについてよく考える

Slide 23

Slide 23 text

テストカバレッジに関するヒント E2Eテストにどんなケースが必要なのか決めるのに、アプリケーション利用状況データを決定要因の一つとして利用する。定期的にユーザージャーニーを見直す。アプリケーションユーザーが何をどのように体験しているのか理解する。

Slide 24

Slide 24 text

チーム全体で取り組む

Slide 25

Slide 25 text

開発全員品質責任者「シフトレフト」の長所は、チーム全体を品質に関与させられること。開発プロセスを通して、QEが品質のコーチとしてチームのテスト作業をサポートできる。誰もがテストのプロになれるわけではないものの、自動化テストを使うことで、品質コーチはチーム全体のテスト作業効率向上をサポートできる。チーム全体で取り組む品質エンジニアリングサポート製品管理ソリューションエンジニアリング

Slide 26

Slide 26 text

Slide 27

Slide 27 text

組織内の品質コーチになろうチームによって作られたテストを見直し、再定義するサポート、また、的確なフィードバックを提供する。テストの質だけでなく、全体的なチームの品質管理プロセスを改善しよう。チーム全体で取り組む成功も利益も分かち合うバグ修正時間を減らし機能開発に費やせる時間が増える。サポートリクエストの数が減る。スムーズなデモの実行が可能。

Slide 28

Slide 28 text

チームメンバーが簡単に貢献できる環境づくりテストプロセスを全員で協力して進めるためには、正しいプラットフォームの選択が重要。例えば、ローコードプラットフォームを選べば、ソフトウェア開発の経験がない人も含め、誰でもがテストを作成・管理することができる。品質重視の組織は… ● ベストプラクティスを書面化している ● ランチ時間にテスト勉強会を開くなど学習機会を設けている ● 成功をチーム全体で共有している ● テストをチームの日常的ワークフローに組み込んでいる

Slide 29

Slide 29 text

「みんなで取り組む品質」を実現するヒント品質関連の指標をチーム目標に組み込む。開発チームにテストの最適な方法についての十分なリソースを提供し、自動テスト作成のハードルを下げる。チームのワークフローにテストを取り入れる。

Slide 30

Slide 30 text

品質シグナルを探し続ける

Slide 31

Slide 31 text

アプリケーションは変化し続ける毎日毎時毎分、チームに新しい情報が提供され、チームメンバーの行動、テストや検証作業、考え方を左右する。ユーザーはアプリケーションの新しい使い方を絶えず求めていて、企業も日々更新や新機能を配信している。さまざまな情報の流れを可視化して変化を追跡することで、テストケースを十分に示すことができる。品質シグナルを探し続ける

Slide 32

Slide 32 text

意思決定の優先順位づけにデータを利用定期的に製品と利用状況データを確認する。新機能リリースに伴って新しいジャーニーが生まれることがある。中には人気のないものもあるかも。数よりもテストの意義を重視しよう。価値のないテストは排除することも考える。品質シグナルを探し続ける

Slide 33

Slide 33 text

品質の指標に気を配るテストの影響力を向上させるために、QEは品質のシグナルを観察し、フィードバックに基づいてテストを調整することが大切。特定の場所においてバグが急増した場合は、その周辺のカバレッジを向上する必要があるかもしれない。どこにカバレッジを追加できるか検討する。品質シグナルを探し続ける

Slide 34

Slide 34 text

品質シグナルを探すときのヒントリリースサイクルに基づいた正しいリズムを見つけ、E2Eテストを見直す。テストの失敗や本番環境でのバグをよくチェックする。追加テストが必要かどうか決めるために、チーム全体と問題のある箇所についてコミュニケーションをとる。

Slide 35

Slide 35 text

目標、コミュニケーション、ベクトル合わせから始めるテストカバレッジについてよく考えるチーム全体で取り組む品質シグナルを探し続けるまとめ

Slide 36

Slide 36 text

ローコードが E2Eテストを可能にするローコードなテストの自動化でユーザーエクスペリエンスのテストにチーム全体で取り組むことができる

Slide 37

Slide 37 text

Demo

Slide 38

Slide 38 text

重要ポイントローコードなテスト自動化によって実現可能なエンドツーエンドテストは大切です。 1. 目標を明確に定義し、チーム全体にしっかりと伝える 2. どうテストするのか決める前にまず何をテストすべきかよく考える 3. 品質をチームの目標と活動に組み入れ、品質コーチとしてサポートする 4. 品質シグナルに注意する。E2Eテストを定期的に見直す 5. ローコードによって一つのプラットフォームを使いチーム全員で品質に貢献する

Slide 39

Slide 39 text

エンタープライズ対応のスケーリンとサート、セキュリティ DevOpsワークフローとの自由自在な統合アナリティクスによる先見的な問題の割り出しコンソリーションを可能にする統合プラットフォームオートヒーリン（自動修復機能）でテストメンテナンスの負担を軽減 mablでユーザー中心のテストを構築する UI、API、モバイル、アクセシリティのためのローコードフレームワーク

Slide 40

Slide 40 text

For your information

Slide 41

Slide 41 text

You can try it now! ● 今すぐできる2週間の無料トライアル！ mabl Uのお供にどうぞ！ ● デモリクエストも大歓迎！ https://www.mabl.com/ja

Slide 42

Slide 42 text

About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certiﬁcations (English & Japanese) ● 33 ビデオ (各3 - 8 分程度) ● 英語字幕あり、日本語字幕なし ● 26 レッスン ● Step by stepで学習可能 ● 4 ラーニングパス ● 設定、基礎、高度、統合でそれぞれ30 - 90 分の学習パス ● 学習目標に応じたパスを提供 ● 2 つの資格 ● Foundations と Advanced ● LinkedIn に掲載可能

Slide 43

Slide 43 text

About the mabl Skills Certiﬁcation 出題数60問の選択式テストを通じて、mablのナビゲーション、設定、テスト作成、出力、自動テスト戦略について解答し、examをパスしましょう！ Why get certiﬁed? ● LinkedInで認定資格合格後を登録可能 ● 認定資格試験の取得を通じてmablプラットフォームの一定への知見をアピールできます ● mablers_ jpのようなコミュニティを通じて、得たスキルを活かしたOutputをしましょう！ ● 2023年3月～日本語での提供を開始しました

Slide 44

Slide 44 text

mabl user community! mablのUser Community『mablers_jp』が遂にスタート！ ● ユーザーによるユーザーのためのコミュニティ ● ユーザーによる忖度のない生の声を聞く絶好のチャンスです。是非ご参加ください！ https://mablersjp.connpass.com/

Slide 45

Slide 45 text

Next Community event 3/23 blastengine ● 『Auto Test Panel vol.1』 https://blastengine.connpass.com/even t/276207/