品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

JaSST Tokyo 2022 での発表スライドです。

アジャイル・DevOps時代において「自動化」がムーブメントになりつつあります。では、その自動化が終わった後の世界はどうなるのでしょうか？
このセッションでは、CI/CDによる自動化やE2Eテストの自動化を中心に紹介し、これらの技術を支える品質エンジニアリングの解説・デモを行いながら、自動化が進んだ先の未来を議論します。

http://jasst.jp/symposium/jasst22tokyo/details.html#B9

Transcript

1. 品質エンジニアリングと
   自動化後の世界
   JaSST 2022 2022/03/10
   mabl Inc. Dai Fujihara
   

   View Slide

2. About me
   藤原 大
   ● メルカリ： エンジニアリングマネージャ（EM)
   ● 楽天： EM、アジャイルコーチ
   ● 某SIer： Javaエンジニア
   ● 『アジャイル開発とスクラム』寄稿
   ● 『リーン開発の現場』翻訳
   Customer Success, mabl Japan
   

   View Slide

3. アジャイル時代の
   アジャイル品質を支える
   品質エンジニアリング
   これからの10年、自動化後の世界
   

   View Slide

4. アジャイル開発は「当たり前」に
   ● HPによる調査では、24%がハイブリッド、
   67％がアジャイル開発へ (2017)
   ● KPMG Global Agile Surveyでは、今後3
   年で企業レベルのアジャイル開発が 2倍
   以上増えると予想（2019)
   ● digital.aiの調査では86%がアジャイル開
   発を採用（2021)
   Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf
   KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf
   15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report
   

   View Slide

5. アジャイル品質は「当たり前」か？
   ● 根強いQAがボトルネック問題
   ● スプリント後半の負荷増
   ● スピード VS 品質
   agile-samurai-ja/support https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck
   

   View Slide

6. アジャイル開発のための品質
   ● アジャイル品質のためには、 アジャイルな
   テスティングが必要
   ● アジャイルテスティングのためには、 品質
   のエンジニアリング化 （Quality
   Engineering: QE）が必要
   ● 品質エンジニアリングの中心的なプラク
   ティスになりつつあるのが、 自動化
   （CI/CD、テストなど）
   

   View Slide

7. AIを活用したブラウザテスト自動化サービス
   ● マーブルじゃなくてメイブル
   ● ボストンで創業（シリーズC、合計＄77M）
   ● AI・クラウド・SaaS型
   テスト自動化サービス
   ● ノーコード・ローコード で
   テストの作成や修正可能
   

   View Slide

8. 動画はこちらで公開中： https://youtu.be/TxCe8_r0Q_Q
   テスト作成のデモ
   

   View Slide

9. オートヒール（自己修復）
   

   View Slide

10. ビジュアルテスト・ビジュアルリグレッション
    ● 動きの正しさと見た目の正しさ
    ● 正しさ確認も自動化
    ● さよなら「正しく表示されること」
    スクリーンショットテストとも呼ばれている screenshot testing for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7
    

    View Slide

11. アジャイルテスティングのためには？
    品質エンジニアリング
    （Quality Engineering： QE）
    

    View Slide

12. 1. 開発サイクル全体で品質維持
    

    View Slide

13. CI/CDのためのインテグレーション（統合）
    CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA COLLABORATION REPORTING
    

    View Slide

14. Preview環境でE2Eテスト実行デモ
    https://github.com/daipresents/test-automation-sandbox/pull/15
    ① PR作成 ② 自動検知
    ③ Preview環境
    にデプロイ
    ④ テスト
    開始を通知
    ⑤ E2E実行
    ⑥ Slackに
    結果を通知
    ⑦ 実行結果を
    PR上に表示
    （GitHubChecks）
    

    View Slide

15. 動画はこちらで公開中： https://youtu.be/sb8kmzGFsjw
    Preview環境へのデプロイデモ
    ソースコード Webアプリ
    mabl
    CircleCI
    GitHub
    

    View Slide

16. 2. 顧客体験重視
    の消費者が購買の意思決定をする
    際にUXを重要視している
    の消費者は、たった一度の嫌な経験
    でそのブランドから離れる(1)
    の従業員が、使用しているソフトウェ
    アが原因で、職場に不満を抱いてい
    る(2)
    75%
    32%
    51%
    1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019
    

    View Slide

17. 顧客体験のためのテストカバレッジ
    2021 State of Testing in DevOps Benchmark Report, mabl
    

    View Slide

18. End-to-end
    Integration
    Unit
    Exploratory
    

    View Slide

19. 3. 継続的モニタリング
    ● カバレッジデータ
    ● テスト実行データ
    ● テストのリスクやトレンドの評価
    に活用
    

    View Slide

20. View Slide

21. View Slide

22. View Slide

23. QAからQEへ
    QA (品質保証)
    アプリケーションの品質保証が
    開発プロセスのワンステップへ
    品質エンジニアリング
    (QE)
    アプリケーションの品質とカスタマー
    エクスペリエンスを継続的に改善す
    るために、データを活用して、開発
    サイクル全体で品質維持
    

    View Slide

24. 品質エンジニアリングの成果
    80%
    3X
    6X
    96%
    95%
    より速いテスト作成
    テスト実装時間の削減 より速いテスト実行
    テストカバレッジ 回帰サイクルの削減
    

    View Slide

25. アジャイル時代の
    アジャイル品質を支える
    品質エンジニアリング
    これからの10年、自動化後の世界
    

    View Slide

26. 自動テストの
    カバレッジが
    さらに拡大
    

    View Slide

27. ”テストの自動化は重要な
    プラクティスではなく
    「テスト＝自動」だ”
    高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231
    デジタルハーツ CTSO
    Chief Testing Solution Officer
    最高テストソリューション責任者
    高橋寿一氏
    

    View Slide

28. テスト自動化後の世界へ
    2021 State of Testing in DevOps Benchmark Report, mabl
    カバレッジはどんどん広がっていく
    

    View Slide

29. 注目されるアクセシビリティ
    2019年から2020年にかけてのデジタル
    アクセシビリティ訴訟の増加率
    20%
    UseableNet’s 2021 Mid-Year Report: ADA Digital Accessibility Lawsuits
    

    View Slide

30. Validation視点（手動）
    ● 妥当性が近い
    ● 我々が提供したいものであるか？
    ● ユーザが求めているものであるか？
    ● 魅力的品質
    テストに対する視点の変化
    Verification視点（自動）
    ● 検証、確認が近い
    ● 仕様通りであること
    ● 当たり前品質
    

    View Slide

31. データとインサイ
    トの時代へ
    

    View Slide

32. View Slide

33. データとインサイトを経て人間が決断
    インサイト
    分析
    データ
    可視化
    アクション
    自動化、安定化、リファクタリン
    グ、カバレッジアップ
    意思決定
    インテリジェンス
    

    View Slide

34. Thank you very much
    月次ウェビナー開催中！
    「探索的テスト」「テスト自動化」「次世代 QA組
    織」といったテーマをもとに「アジャイル
    ・DevOps時代のテストや品質保証」を目指す
    ウェブナーです。
    今後も、さまざまなトピックや、その道のプロ
    フェッショナルにご登壇いただく予定です。
    https://mabl-japan.connpass.com
    今すぐできる2週間の無料トライアル！
    トライアルは無料。納得行くまで機能をお試しくださ
    い。
    デモリクエストも大歓迎！
    技術トレンドや実事例をまじえたデモ MTGもお気軽
    にどうぞ！
    https://www.mabl.com/japan
    

    View Slide