$30 off During Our Annual Pro Sale. View Details »

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

JaSST Tokyo 2022 での発表スライドです。

アジャイル・DevOps時代において「自動化」がムーブメントになりつつあります。では、その自動化が終わった後の世界はどうなるのでしょうか?
このセッションでは、CI/CDによる自動化やE2Eテストの自動化を中心に紹介し、これらの技術を支える品質エンジニアリングの解説・デモを行いながら、自動化が進んだ先の未来を議論します。

http://jasst.jp/symposium/jasst22tokyo/details.html#B9

Dai Fujihara

March 09, 2022
Tweet

More Decks by Dai Fujihara

Other Decks in Programming

Transcript

  1. 品質エンジニアリングと 自動化後の世界 JaSST 2022 2022/03/10 mabl Inc. Dai Fujihara

  2. About me 藤原 大 • メルカリ: エンジニアリングマネージャ(EM) • 楽天: EM、アジャイルコーチ

    • 某SIer: Javaエンジニア • 『アジャイル開発とスクラム』寄稿 • 『リーン開発の現場』翻訳 Customer Success, mabl Japan
  3. アジャイル時代の アジャイル品質を支える 品質エンジニアリング これからの10年、自動化後の世界

  4. アジャイル開発は「当たり前」に • HPによる調査では、24%がハイブリッド、 67%がアジャイル開発へ (2017) • KPMG Global Agile Surveyでは、今後3

    年で企業レベルのアジャイル開発が 2倍 以上増えると予想(2019) • digital.aiの調査では86%がアジャイル開 発を採用(2021) Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf 15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report
  5. アジャイル品質は「当たり前」か? • 根強いQAがボトルネック問題 • スプリント後半の負荷増 • スピード VS 品質 agile-samurai-ja/support

    https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck
  6. アジャイル開発のための品質 • アジャイル品質のためには、 アジャイルな テスティングが必要 • アジャイルテスティングのためには、 品質 のエンジニアリング化 (Quality

    Engineering: QE)が必要 • 品質エンジニアリングの中心的なプラク ティスになりつつあるのが、 自動化 (CI/CD、テストなど)
  7. AIを活用したブラウザテスト自動化サービス • マーブルじゃなくてメイブル • ボストンで創業(シリーズC、合計$77M) • AI・クラウド・SaaS型 テスト自動化サービス • ノーコード・ローコード

    で テストの作成や修正可能
  8. 動画はこちらで公開中: https://youtu.be/TxCe8_r0Q_Q テスト作成のデモ

  9. オートヒール(自己修復)

  10. ビジュアルテスト・ビジュアルリグレッション • 動きの正しさと見た目の正しさ • 正しさ確認も自動化 • さよなら「正しく表示されること」 スクリーンショットテストとも呼ばれている screenshot testing

    for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7
  11. アジャイルテスティングのためには? 品質エンジニアリング (Quality Engineering: QE)

  12. 1. 開発サイクル全体で品質維持

  13. CI/CDのためのインテグレーション(統合) CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA

    COLLABORATION REPORTING
  14. Preview環境でE2Eテスト実行デモ https://github.com/daipresents/test-automation-sandbox/pull/15 ① PR作成 ② 自動検知 ③ Preview環境 にデプロイ ④

    テスト 開始を通知 ⑤ E2E実行 ⑥ Slackに 結果を通知 ⑦ 実行結果を PR上に表示 (GitHubChecks)
  15. 動画はこちらで公開中: https://youtu.be/sb8kmzGFsjw Preview環境へのデプロイデモ ソースコード Webアプリ mabl CircleCI GitHub

  16. 2. 顧客体験重視 の消費者が購買の意思決定をする 際にUXを重要視している の消費者は、たった一度の嫌な経験 でそのブランドから離れる(1) の従業員が、使用しているソフトウェ アが原因で、職場に不満を抱いてい る(2) 75%

    32% 51% 1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019
  17. 顧客体験のためのテストカバレッジ 2021 State of Testing in DevOps Benchmark Report, mabl

  18. End-to-end Integration Unit Exploratory

  19. 3. 継続的モニタリング • カバレッジデータ • テスト実行データ • テストのリスクやトレンドの評価 に活用

  20. None
  21. None
  22. None
  23. QAからQEへ QA (品質保証) アプリケーションの品質保証が 開発プロセスのワンステップへ 品質エンジニアリング (QE) アプリケーションの品質とカスタマー エクスペリエンスを継続的に改善す るために、データを活用して、開発

    サイクル全体で品質維持
  24. 品質エンジニアリングの成果 80% 3X 6X 96% 95% より速いテスト作成 テスト実装時間の削減 より速いテスト実行 テストカバレッジ

    回帰サイクルの削減
  25. アジャイル時代の アジャイル品質を支える 品質エンジニアリング これからの10年、自動化後の世界

  26. 自動テストの カバレッジが さらに拡大

  27. ”テストの自動化は重要な プラクティスではなく 「テスト=自動」だ” 高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231 デジタルハーツ CTSO Chief

    Testing Solution Officer 最高テストソリューション責任者 高橋寿一氏
  28. テスト自動化後の世界へ 2021 State of Testing in DevOps Benchmark Report, mabl

    カバレッジはどんどん広がっていく
  29. 注目されるアクセシビリティ 2019年から2020年にかけてのデジタル アクセシビリティ訴訟の増加率 20% UseableNet’s 2021 Mid-Year Report: ADA Digital

    Accessibility Lawsuits
  30. Validation視点(手動) • 妥当性が近い • 我々が提供したいものであるか? • ユーザが求めているものであるか? • 魅力的品質 テストに対する視点の変化

    Verification視点(自動) • 検証、確認が近い • 仕様通りであること • 当たり前品質
  31. データとインサイ トの時代へ

  32. None
  33. データとインサイトを経て人間が決断 インサイト 分析 データ 可視化 アクション 自動化、安定化、リファクタリン グ、カバレッジアップ 意思決定 インテリジェンス

  34. Thank you very much 月次ウェビナー開催中! 「探索的テスト」「テスト自動化」「次世代 QA組 織」といったテーマをもとに「アジャイル ・DevOps時代のテストや品質保証」を目指す ウェブナーです。

    今後も、さまざまなトピックや、その道のプロ フェッショナルにご登壇いただく予定です。 https://mabl-japan.connpass.com 今すぐできる2週間の無料トライアル! トライアルは無料。納得行くまで機能をお試しくださ い。 デモリクエストも大歓迎! 技術トレンドや実事例をまじえたデモ MTGもお気軽 にどうぞ! https://www.mabl.com/japan