品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

JaSST Tokyo 2022 での発表スライドです。

アジャイル・DevOps時代において「自動化」がムーブメントになりつつあります。では、その自動化が終わった後の世界はどうなるのでしょうか？
このセッションでは、CI/CDによる自動化やE2Eテストの自動化を中心に紹介し、これらの技術を支える品質エンジニアリングの解説・デモを行いながら、自動化が進んだ先の未来を議論します。

http://jasst.jp/symposium/jasst22tokyo/details.html#B9

Transcript

1. 品質エンジニアリングと 自動化後の世界 JaSST 2022 2022/03/10 mabl Inc. Dai Fujihara
2. About me 藤原 大 • メルカリ： エンジニアリングマネージャ（EM) • 楽天： EM、アジャイルコーチ • 某SIer： Javaエンジニア • 『アジャイル開発とスクラム』寄稿 • 『リーン開発の現場』翻訳 Customer Success, mabl Japan
3. アジャイル時代の アジャイル品質を支える 品質エンジニアリング これからの10年、自動化後の世界
4. アジャイル開発は「当たり前」に • HPによる調査では、24%がハイブリッド、 67％がアジャイル開発へ (2017) • KPMG Global Agile Surveyでは、今後3 年で企業レベルのアジャイル開発が 2倍 以上増えると予想（2019) • digital.aiの調査では86%がアジャイル開 発を採用（2021) Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf 15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report
5. アジャイル品質は「当たり前」か？ • 根強いQAがボトルネック問題 • スプリント後半の負荷増 • スピード VS 品質 agile-samurai-ja/support https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck
6. アジャイル開発のための品質 • アジャイル品質のためには、 アジャイルな テスティングが必要 • アジャイルテスティングのためには、 品質 のエンジニアリング化 （Quality Engineering: QE）が必要 • 品質エンジニアリングの中心的なプラク ティスになりつつあるのが、 自動化 （CI/CD、テストなど）
7. AIを活用したブラウザテスト自動化サービス • マーブルじゃなくてメイブル • ボストンで創業（シリーズC、合計＄77M） • AI・クラウド・SaaS型 テスト自動化サービス • ノーコード・ローコード で テストの作成や修正可能
8. 動画はこちらで公開中： https://youtu.be/TxCe8_r0Q_Q テスト作成のデモ
9. オートヒール（自己修復）
10. ビジュアルテスト・ビジュアルリグレッション • 動きの正しさと見た目の正しさ • 正しさ確認も自動化 • さよなら「正しく表示されること」 スクリーンショットテストとも呼ばれている screenshot testing for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7
11. アジャイルテスティングのためには？ 品質エンジニアリング （Quality Engineering： QE）
12. 1. 開発サイクル全体で品質維持
13. CI/CDのためのインテグレーション（統合） CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA COLLABORATION REPORTING
14. Preview環境でE2Eテスト実行デモ https://github.com/daipresents/test-automation-sandbox/pull/15 ① PR作成 ② 自動検知 ③ Preview環境 にデプロイ ④ テスト 開始を通知 ⑤ E2E実行 ⑥ Slackに 結果を通知 ⑦ 実行結果を PR上に表示 （GitHubChecks）
15. 動画はこちらで公開中： https://youtu.be/sb8kmzGFsjw Preview環境へのデプロイデモ ソースコード Webアプリ mabl CircleCI GitHub
16. 2. 顧客体験重視 の消費者が購買の意思決定をする 際にUXを重要視している の消費者は、たった一度の嫌な経験 でそのブランドから離れる(1) の従業員が、使用しているソフトウェ アが原因で、職場に不満を抱いてい る(2) 75% 32% 51% 1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019
17. 顧客体験のためのテストカバレッジ 2021 State of Testing in DevOps Benchmark Report, mabl
18. End-to-end Integration Unit Exploratory
19. 3. 継続的モニタリング • カバレッジデータ • テスト実行データ • テストのリスクやトレンドの評価 に活用
23. QAからQEへ QA (品質保証) アプリケーションの品質保証が 開発プロセスのワンステップへ 品質エンジニアリング (QE) アプリケーションの品質とカスタマー エクスペリエンスを継続的に改善す るために、データを活用して、開発 サイクル全体で品質維持
24. 品質エンジニアリングの成果 80% 3X 6X 96% 95% より速いテスト作成 テスト実装時間の削減 より速いテスト実行 テストカバレッジ 回帰サイクルの削減
25. アジャイル時代の アジャイル品質を支える 品質エンジニアリング これからの10年、自動化後の世界
26. 自動テストの カバレッジが さらに拡大
27. ”テストの自動化は重要な プラクティスではなく 「テスト＝自動」だ” 高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231 デジタルハーツ CTSO Chief Testing Solution Officer 最高テストソリューション責任者 高橋寿一氏
28. テスト自動化後の世界へ 2021 State of Testing in DevOps Benchmark Report, mabl カバレッジはどんどん広がっていく
29. 注目されるアクセシビリティ 2019年から2020年にかけてのデジタル アクセシビリティ訴訟の増加率 20% UseableNet’s 2021 Mid-Year Report: ADA Digital Accessibility Lawsuits
30. Validation視点（手動） • 妥当性が近い • 我々が提供したいものであるか？ • ユーザが求めているものであるか？ • 魅力的品質 テストに対する視点の変化 Verification視点（自動） • 検証、確認が近い • 仕様通りであること • 当たり前品質
31. データとインサイ トの時代へ
33. データとインサイトを経て人間が決断 インサイト 分析 データ 可視化 アクション 自動化、安定化、リファクタリン グ、カバレッジアップ 意思決定 インテリジェンス
34. Thank you very much 月次ウェビナー開催中！ 「探索的テスト」「テスト自動化」「次世代 QA組 織」といったテーマをもとに「アジャイル ・DevOps時代のテストや品質保証」を目指す ウェブナーです。 今後も、さまざまなトピックや、その道のプロ フェッショナルにご登壇いただく予定です。 https://mabl-japan.connpass.com 今すぐできる2週間の無料トライアル！ トライアルは無料。納得行くまで機能をお試しくださ い。 デモリクエストも大歓迎！ 技術トレンドや実事例をまじえたデモ MTGもお気軽 にどうぞ！ https://www.mabl.com/japan