ローコードで改革！End to Endテストの再定義！

2023/3/22 mabl Webinarで使用した資料です。

Transcript

1. エンドツーエンドテストの再定義
   2023/3/22 mabl Webinar #15
   

   View Slide

2. mablのご紹介
   #devsumi #devsumiE
   Speaker Profile
   odasho (Shohei Oda)
   Quality Advocate / Product Marketing, mabl Japan
   国内SIerにてインフラやPaaS App開発まで幅広く経験。その
   後コミュニティ活動をきっかけにMicrosoftに入社。
   EvangelistとしてAudience Marketingに従事。2022年10月
   にmablにJoinし、TestingやQAの啓蒙活動に取り組む。現在
   もDevRel Meetup in Tokyoを中心に複数のコミュニティを運
   営/支援。
   Most DevRel Committer 2020, TechFeed Expert for DevRel
   odashoDotCom
   odasho0618
   odasho
   odasho0618
   

   View Slide

3. 本日のアジェンダ
   なぜE2Eテストが
   カスタマー
   エクスペリエンスに
   重要なのか？
   E2Eテスト戦略に
   どうアプローチ
   すべきか？
   ローコードで
   どのように
   E2Eテストを
   実現できるのか？
   

   View Slide

4. 品質の指針となるカスタマーエクスペリエンス
   ● 品質はユーザーエクスペリエンスに
   とって欠かせない要素の一つとなった。
   ● 組織のクラウド移行やDevOps、CI/CD
   採用が増えるにつれ、ソフトウェアの
   開発・販売のスピードが加速しており、
   その傾向は業界全体に見られている。
   PWC, "Experience is everything: Here's how to get it right", 2018
   良質なカスタマーエクスペリエンスが
   得られるなら、お金をかけてもよいと
   考える購買者の割合
   86%
   

   View Slide

5. 品質の指針となるカスタマーエクスペリエンス
   Gartner, “Key Findings From the Gartner Customer Experience Survey”, March 2018
   競争に勝つ要因として
   カスタマーエクスペリエンスを
   重視している企業の割合
   81%
   ● 品質はユーザーエクスペリエンスに
   とって欠かせない要素の一つとなった。
   ● 組織のクラウド移行やDevOps、CI/CD
   採用が増えるにつれ、ソフトウェアの
   開発・販売のスピードが加速しており、
   その傾向は業界全体に見られている。
   

   View Slide

6. 品質の指針となるカスタマーエクスペリエンス
   G2: State of Software Happiness Report, 2019
   仕事で使用するソフトウェアの
   質に不満足な従業員の割合
   51%
   ● 品質はユーザーエクスペリエンスに
   とって欠かせない要素の一つとなった。
   ● 組織のクラウド移行やDevOps、CI/CD
   採用が増えるにつれ、ソフトウェアの
   開発・販売のスピードが加速しており、
   その傾向は業界全体に見られている。
   

   View Slide

7. エンドツーエンドテストの重要性
   ● 開始から終了までのアプリケーション
   フローをテスト
   ● ソフトウェアの一部がすべての機能
   ニーズを満たしているかを確認
   ● エンドユーザー視点からのテスト
   ユニットテスト
   インテグレーション (API) テスト
   E2Eテスト
   探索的テスト
   

   View Slide

8. さらに複雑化するエンドツーエンドテスト
   ...E2Eテストがもたらす利益は大きい
   ● テストカバレッジの拡大
   ● アプリケーションが期待通りに機能
   ● 本番環境前のバグ発見
   ● 良質なカスタマーエクスペリエンスを
   確保
   成長するE2Eテストのスコープ...
   ● よりダイナミック（動的）な
   アプリケーション
   ● 複数デバイスでのカスタマー
   ジャーニー
   ● DevOpsにより、テストが必要な
   ペースが上がっている
   

   View Slide

9. ログイン 残高照会 正解を
   アサート
   「エンドツーエンド」の新しい意味
   

   View Slide

10. メール上の
    リンクを
    クリック
    ログイン 残高照会 正解を
    アサート
    APIで実証 PDFで実証
    「エンドツーエンド」の新しい意味
    

    View Slide

11. 目標、コミュニケーション、
    ベクトル合わせから始める
    

    View Slide

12. 「無計画なプロセス改善は
    単なる希望的観測に
    過ぎない」
    ソフトウェア品質のパイオニア
    Watts Humphrey（ワッツ・ハンフリー）
    

    View Slide

13. テストのサイロを分解
    現在の自動化成熟度を評価する。これまでに
    自動化したものは何か？
    開発チームの主要関係者を割り出す。
    取り組みを始めるタイミングを見極める。
    新機能はいつリリースされるのか？時間が
    決まっている企画会議？
    目標、コミュニケーション、ベクトル合わせから始める
    

    View Slide

14. 品質指標を使用した継続的な改善
    非機能的品質の検証
    シフトレフト: 自動化されたテストを開発に組み込む
    機能テスト自動化のカバレッジ拡大
    開発後に手動でテスト
    品質エンジニアリングジャーニー
    QEの成熟度
    

    View Slide

15. ステークホルダーの方向性を調整
    目標
    自動化の目的は？
    成功をどう定義し
    測定するのか？
    組織・企業レベルの目標と
    どう方向性を合わせるのか？
    役割
    チーム内で品質全体の
    責任者は誰なのか？
    誰がテストケースを
    定義するのか？
    古いテストの更新担当は誰か？
    失敗のトリアージは
    誰が行うのか？
    誰がテストの実行時間を
    決めるのか？
    プロセス
    どうコミュニケーションを
    とるのか？
    テストやプランなどを
    どう管理するのか？
    どのように進捗を監視し
    経時的に改善するのか？
    このプランをどのように
    ロールアウトするのか？
    目標、コミュニケーション、ベクトル合わせから始める
    

    View Slide

16. まず、テスト対象を決定
    信頼できるテストのフレームワークを作るた
    めに大切なのは、何をテストするのか決める
    ために、アプリケーションを個々のパーツに
    分解すること。
    そのために、下記を定義する：
    ● ユーザー機能
    ● 一連の要件
    ● テストケースの作り方
    時間節約のヒント：
    優れたE2Eテストは、
    インテグレーションテストや
    システムテストなどの
    他のテストのために作ったモジュールを
    利用することができる。
    Start with goals, communication, and alignment
    

    View Slide

17. コミュニケーションとベクトル合わせのTips
    まず戦略を立てることに時間をかける。
    プロセスを変えるにはまず、新機能をひと
    つ、または少人数グループの中でなど、小さ
    な範囲から試してみる。
    周りから反対を受けた場合は、本番環境内の
    バグ数などの品質に関する指標を持ち出し、
    事業目標とリンクさせることで、変化の重要
    性を訴えて対応する。
    

    View Slide

18. テストカバレッジ
    についてよく考える
    

    View Slide

19. テストに関する意思決定にデータを活用
    テストはユーザー視点でのユーザーエクス
    ペリエンスをカバーしていることが大切。
    効果的にテストの優先順位をつけるために
    データを利用しよう。
    ● ユーザーは何を体験しているのか？
    ● ユーザーはどのようにあなたのアプリ
    ケーションを使用しているのか？
    1. ウェブサイト指標や顧客データからの
    利用状況データを確認する。
    2. ユーザーがどのような手段でアプリや
    サイトに訪問しているのかを理解す
    る。
    3. テストの合格基準を比較する。
    4. ユーザージャーニーを優先する。
    テストカバレッジについてよく考える
    

    View Slide

20. テストのスコープを捕捉
    エンドツーエンドテストのスコープを広げ
    過ぎないように気をつけよう。
    テストが最も成功しやすいのはユニット
    またはインテグレーションレベル。
    ● 境界線
    ● 入力検証
    ● パフォーマンス
    ● ストレス
    ● 拡張性
    覚えておきたいポイント
    ユニットテストは
    「インサイドアウト＝内から外へ」
    の視点から実行され、
    E2Eテストなどの高度なテストは、
    「アウトサイドイン＝外から内へ」
    の視点で実行される。
    テストカバレッジについてよく考える
    

    View Slide

21. メール上の
    リンクを
    クリック
    ログイン 残高照会 正解を
    アサート
    APIで実証 PDFで実証
    「エンドツーエンド」の新しい意味
    

    View Slide

22. 評価に時間を使う
    最も大切なフローに対するテストが導入されて
    いることをまず確認する。
    可能であれば、 顧客の利用状況データを参照
    して事業関係者と定期的に見直す。
    スケーリングは自動化関連予算を視野に入れて
    行う。
    テストカバレッジについてよく考える
    

    View Slide

23. テストカバレッジに関するヒント
    E2Eテストにどんなケースが必要なのか決める
    のに、アプリケーション利用状況データを決定
    要因の一つとして利用する。
    定期的にユーザージャーニーを見直す。
    アプリケーションユーザーが何をどのように
    体験しているのか理解する。
    

    View Slide

24. チーム全体で
    取り組む
    

    View Slide

25. 開発
    全員品質責任者
    「シフトレフト」の長所は、チーム全体を品質
    に関与させられること。
    開発プロセスを通して、QEが 品質のコーチと
    してチームのテスト作業をサポートできる。
    誰もがテストのプロになれるわけではないもの
    の、自動化テストを使うことで、品質コーチは
    チーム全体のテスト作業効率向上をサポート
    できる。
    チーム全体で取り組む
    品質エンジニアリング
    サポート
    製品管理
    ソリューション
    エンジニアリング
    

    View Slide

26. 品質指標を使用した継続的な改善
    非機能的品質の検証
    シフトレフト: 自動化されたテストを開発に組み込む
    機能テスト自動化のカバレッジ拡大
    開発後に手動でテスト
    品質エンジニアリングジャーニー
    QEの成熟度
    

    View Slide

27. 組織内の品質コーチになろう
    チームによって作られたテストを見直し、
    再定義するサポート、また、的確なフィード
    バックを提供する。
    テストの質だけでなく、全体的なチームの品質
    管理プロセスを改善しよう。
    チーム全体で取り組む
    成功も利益も分かち合う
    バグ修正時間を減らし
    機能開発に費やせる時間が増える。
    サポートリクエストの数が減る。
    スムーズなデモの実行が可能。
    

    View Slide

28. チームメンバーが簡単に貢献できる環境づくり
    テストプロセスを全員で協力して進めるために
    は、正しいプラットフォームの選択が重要。
    例えば、ローコードプラットフォームを選べば、
    ソフトウェア開発の経験がない人も含め、誰でも
    がテストを作成・管理することができる。
    品質重視の組織は…
    ● ベストプラクティスを書面化している
    ● ランチ時間にテスト勉強会を開くなど
    学習機会を設けている
    ● 成功をチーム全体で共有している
    ● テストをチームの日常的ワークフロー
    に組み込んでいる
    

    View Slide

29. 「みんなで取り組む品質」を実現するヒント
    品質関連の指標をチーム目標に組み込む。
    開発チームにテストの最適な方法についての
    十分なリソースを提供し、自動テスト作成の
    ハードルを下げる。
    チームのワークフローにテストを取り入れる。
    

    View Slide

30. 品質シグナルを
    探し続ける
    

    View Slide

31. アプリケーションは変化し続ける
    毎日毎時毎分、チームに新しい情報が提供され、
    チームメンバーの行動、テストや検証作業、
    考え方を左右する。
    ユーザーはアプリケーションの新しい使い方を
    絶えず求めていて、企業も日々更新や新機能を
    配信している。
    さまざまな情報の流れを可視化して変化を追跡
    することで、テストケースを十分に示すことが
    できる。
    品質シグナルを探し続ける
    

    View Slide

32. 意思決定の優先順位づけにデータを利用
    定期的に製品と利用状況データを確認する。
    新機能リリースに伴って新しいジャーニーが
    生まれることがある。中には人気のないもの
    もあるかも。
    数よりもテストの意義を重視しよう。
    価値のないテストは排除することも考える。
    品質シグナルを探し続ける
    

    View Slide

33. 品質の指標に気を配る
    テストの影響力を向上させるために、QEは
    品質のシグナルを観察し、フィードバックに
    基づいてテストを調整することが大切。
    特定の場所においてバグが急増した場合は、
    その周辺のカバレッジを向上する必要がある
    かもしれない。
    どこにカバレッジを追加できるか検討する。
    品質シグナルを探し続ける
    

    View Slide

34. 品質シグナルを探すときのヒント
    リリースサイクルに基づいた正しいリズムを
    見つけ、E2Eテストを見直す。
    テストの失敗や本番環境でのバグをよく
    チェックする。
    追加テストが必要かどうか決めるために、
    チーム全体と問題のある箇所について
    コミュニケーションをとる。
    

    View Slide

35. 目標、
    コミュニケーション、
    ベクトル合わせ
    から始める
    テストカバレッジに
    ついてよく考える
    チーム全体で
    取り組む
    品質シグナルを
    探し続ける
    まとめ
    

    View Slide

36. ローコードが
    E2Eテストを
    可能にする
    ローコードなテストの自動化で
    ユーザーエクスペリエンスのテストに
    チーム全体で取り組むことができる
    

    View Slide

37. Demo
    

    View Slide

38. 重要ポイント
    ローコードなテスト自動化によって実現可能なエンド
    ツーエンドテストは大切です。
    1. 目標を明確に定義し、チーム全体にしっかりと
    伝える
    2. どうテストするのか決める前にまず何をテスト
    すべきかよく考える
    3. 品質をチームの目標と活動に組み入れ、品質
    コーチとしてサポートする
    4. 品質シグナルに注意する。E2Eテストを定期的に
    見直す
    5. ローコードによって一つのプラットフォームを
    使いチーム全員で品質に貢献する
    

    View Slide

39. エンタープライズ対応のスケーリン と
    サ ート、セキュリティ
    DevOpsワークフローとの自由自在な 統
    合
    アナリティクスによる先見的な問題の割
    り出し
    コンソリ ーションを可能にする統合
    プラットフォーム
    オートヒーリン （自動修復機能）で
    テストメンテナンスの負担を軽減
    mablでユーザー中心のテストを構築する
    UI、API、モバイル、アクセシ リティ
    のためのローコードフレームワーク
    

    View Slide

40. For your
    information
    

    View Slide

41. You can try it now!
    ● 今すぐできる2週間の無料トライアル！
    mabl Uのお供にどうぞ！
    ● デモリクエストも大歓迎！
    https://www.mabl.com/ja
    

    View Slide

42. About the mabl University
    How-to Videos (English only)
    How-to Lessons (Japanese only)
    On-Demand Training
    (English & Japanese)
    mabl Skills Certifications
    (English & Japanese)
    ● 33 ビデオ (各3 - 8 分程度)
    ● 英語字幕あり、日本語字幕なし
    ● 26 レッスン
    ● Step by stepで学習可能
    ● 4 ラーニングパス
    ● 設定、基礎、高度、統合でそれ
    ぞれ30 - 90 分の学習パス
    ● 学習目標に応じたパスを提供
    ● 2 つの資格
    ● Foundations と Advanced
    ● LinkedIn に掲載可能
    

    View Slide

43. About the mabl Skills Certification
    出題数60問の選択式テストを通じて、mablのナビ
    ゲーション、設定、テスト作成、出力、自動テスト
    戦略について解答し、examをパスしましょう！
    Why get certified?
    ● LinkedInで認定資格合格後を登録可能
    ● 認定資格試験の取得を通じてmablプラット
    フォームの一定への知見をアピールできます
    ● mablers_ jpのようなコミュニティを通じて、
    得たスキルを活かしたOutputをしましょう！
    ● 2023年3月～日本語での提供を開始しました
    

    View Slide

44. mabl user community!
    mablのUser Community『mablers_jp』が遂
    にスタート！
    ● ユーザーによるユーザーのための
    コミュニティ
    ● ユーザーによる忖度のない生の声を聞く
    絶好のチャンスです。是非ご参加ください！
    https://mablersjp.connpass.com/
    

    View Slide

45. Next Community event
    3/23 blastengine
    ● 『Auto Test Panel vol.1』
    https://blastengine.connpass.com/even
    t/276207/
    

    View Slide