アジャイル開発と品質エンジニアリング - QA時代の終わりとQE時代のはじまり

アジャイルコーチと名乗るようになって10年が経ちました。
10年前のアジャイル開発は、変化叫ぶ少数のロックスターが中心でした。しかし、現在では、小さなスタートアップだけなく、大企業でも当たり前に語らています。アジャイル開発は、「より」アジャイルになろうとしつつあるようです。

では、テストや品質保証は「アジャイル」になったのでしょうか？

このセッションでは、QA（品質保証）からQE（品質エンジニアリング）に変化する時代背景を解説しながら、アジャイル・DevOps時代のアジャイルテスティングを議論します。

Transcript

1. アジャイル開発と 品質エンジニアリング QA時代の終わりとQE時代のはじまり Developers Summit 2022 17-C-7 2022/02/17
2. About me 藤原 大 • メルカリ： エンジニアリングマネージャ（EM) • 楽天： EM、アジャイルコーチ • 某SIer： Javaエンジニア • 『アジャイル開発とスクラム』寄稿 • 『リーン開発の現場』翻訳 Customer Success, mabl Japan
3. アジャイル時代の アジャイル品質を支える 品質エンジニアリング そして、QAの終わりと QEのはじまり これからの10年
4. アジャイル開発は「当たり前」に • HPによる調査では、24%がハイブリッド、 67％がアジャイル開発へ (2017) • KPMG Global Agile Surveyでは、今後3 年で企業レベルのアジャイル開発が 2倍 以上増えると予想（2019) • digital.aiの調査では86%がアジャイル開 発を採用（2021) Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf 15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report
5. アジャイル品質は「当たり前」か？ • 根強いQAがボトルネック問題 • スプリント後半の負荷増 • スピード VS 品質 agile-samurai-ja/support https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck
6. アジャイル開発のための品質 • アジャイル品質のためには、 アジャイルな テスティングが必要 • アジャイルテスティングのためには、 品質 のエンジニアリング化 （Quality Engineering: QE）が必要 • 品質エンジニアリングの中心的なプラク ティスになりつつあるのが、 自動化 （CI/CD、テストなど）
7. AIを活用したブラウザテスト自動化サービス • マーブルじゃなくてメイブル • ボストンで創業（シリーズC、合計＄77M） • AI・クラウド・SaaS型 テスト自動化サービス • ノーコード・ローコード で テストの作成や修正可能
8. 自動テストの進化 Photo by Possessed Photography on Unsplash その1. AI
9. オートヒール（自己修復）
10. ビジュアルテスト・ビジュアルリグレッション • 動きの正しさと見た目の正しさ • 正しさ確認も自動化 • さよなら「正しく表示されること」 スクリーンショットテストとも呼ばれている screenshot testing for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7
11. 自動テストの進化 その2. 高速化
12. テストの高速化 • 並列実行で時間短縮 • 実行環境の進化によって約 40％高速化 • 作成・運用もノーコード・ローコー ドで短縮
13. テストピラミッドのパラダイムシフト TestPyramid https://martinfowler.com/bliki/TestPyramid.html • UIテストは「はやく」なった • UIテストは「安く」なった • テストのバランスは どうなる？
14. アジャイル開発時代の アジャイル品質を支える 品質エンジニアリング そして、QAの終わりと QEのはじまり これからの10年
15. 開発サイクル全体で品 質維持 品質エンジニアリングのポイント1 Photo by ThisisEngineering RAEng on Unsplash
16. スプリント最後にテストでは遅い
17. CI/CDのためのインテグレーション（統合） CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA COLLABORATION REPORTING
18. Preview環境でE2Eテスト実行デモ https://github.com/daipresents/test-automation-sandbox/pull/15 ① PR作成 ② 自動検知 ③ Preview環境 にデプロイ ④ テスト 開始を通知 ⑤ E2E実行 ⑥ Slackに 結果を通知 ⑦ 実行結果を PR上に表示 （GitHubChecks）
19. mablはmablをmablでテストする mabl, The Guide to Testing in DevOps Pipelines
20. 顧客体験重視 品質エンジニアリングのポイント2
21. カスタマーエクスペリエンス（CX）は最重要 の消費者が購買の意思決定をする 際にUXを重要視している の消費者は、たった一度の嫌な経験 でそのブランドから離れる(1) の従業員が、使用しているソフトウェ アが原因で、職場に不満を抱いてい る(2) 75% 32% 51% 1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019
22. テストカバレッジが重要な指標に 2021 State of Testing in DevOps Benchmark Report, mabl
23. カバレッジのサポート • クロスブラウザテスト • APIテスト • Visualテスト
24. API 統合されたエンドツーエンドのテスト • ノーコードでAPIテスト • レスポンスを変数に格納等、APIをシナリ オ形式で実行可能 • Postman双方向連携 • マイクロサービス向けの統合テストとして も利用可能
25. End-to-end Integration Unit Exploratory
26. 継続的モニタリング 品質エンジニアリングのポイント3
27. データ、データ、データ • カバレッジデータ • テスト実行データ • テストのリスクやトレンドの評価 に活用
31. QAの終わりと、QEのはじまり QA (品質保証) アプリケーションの品質保証が 開発プロセスのワンステップへ 品質エンジニアリング (QE) アプリケーションの品質とカスタマー エクスペリエンスを継続的に改善す るために、データを活用して、開発 サイクル全体で品質維持
32. 品質エンジニアリングの成果 80% 3X 6X 96% 95% より速いテスト作成 テスト実装時間の削減 より速いテスト実行 テストカバレッジ 回帰サイクルの削減
33. 品質エンジニアリングのビジネス成果 50% 100% 3X 50% 80% テスト保守人員の削減 本番における欠陥削減 デプロイ頻度の増加 読み込み時間短縮 アクセシビリティ問題の減少
34. アジャイル時代の アジャイル品質を支える 品質エンジニアリング そして、QAの終わりと QEのはじまり これからの10年
35. 『Clean Agile』 Robert C. Martin著 この文脈における「開発者」とは、コー ドを生み出す仕事に携わる人を指す。 たとえば、プログラマー、QA、テス ター、ビジネスアナリストが含まれる
36. 自動テストの カバレッジが さらに拡大
37. ”テストの自動化は重要な プラクティスではなく 「テスト＝自動」だ” 高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231 デジタルハーツ CTSO Chief Testing Solution Officer 最高テストソリューション責任者 高橋寿一氏
38. テスト自動化後の世界へ 2021 State of Testing in DevOps Benchmark Report, mabl カバレッジはどんどん高まり、広がっている
39. 注目されるアクセシビリティ 2019年から2020年にかけてのデジタル アクセシビリティ訴訟の増加率 20% UseableNet’s 2021 Mid-Year Report: ADA Digital Accessibility Lawsuits
40. Validation視点（手動） • 妥当性が近い • 我々が提供したいものであるか？ • ユーザが求めているものであるか？ • 魅力的品質 テストに対する視点の変化 Verification視点（自動） • 検証、確認が近い • 仕様通りであること • 当たり前品質
41. データとインサイ トの時代へ
43. データとインサイトを経て人間が決断 インサイト 分析 データ 可視化 アクション 自動化、安定化、リファクタリン グ、カバレッジアップ 意思決定 インテリジェンス
44. アジャイル時代の アジャイル品質を支える 品質エンジニアリング そして、QAの終わりと QEのはじまり これからの10年
45. アジャイルリーダーシップと組織改革 https://speakerdeck.com/daipresents/16-b-5
48. アジャイルで目指した坂の上の雲 #DevLOVE HangarFlight Snow Barrage https://speakerdeck.com/daipresents/aziyairudemu-zhi-sitaban-falseshang-falseyun-number-devlove-hangarflight-snow-barrage?slide=18
49. ”チームを勇 気づける” アジャイルリーダーシップと組織改革 https://speakerdeck.com/daipresents/16-b-5
50. アジャイル開発と 品質エンジニアリング mabl Inc. 藤原大 Agile Development and Quality Engineering Developers Summit 2022 17-C-7 2022/02/17 QA時代の終わりとQE時代のはじまり
51. アジャイルテスティングの実践 開発チームの原則 • 短いイテレーションやスプリントで品質活動を継続的 に行う • テストとレビューを反復するプロセスを確立する • スプリントごとにアーキテクチャレビューを行い、イン クリメンタル、イテレーティブにシステムを進化させる • 継続的なフィードバックを通じてプロダクトを検証し、 さらに妥当性も確認する • 変化に強いチーム、プロフェッショナルを育て鍛えて いく 開発チームのプラクティス • アジャイル開発向けテスト全体計画書 • コードレビュー • リファクタリング基準の定義 • 新しいメトリクス • 新しいバグ管理プロセス • 単体テスト • 探索テスト • Mutation testing • 本番テスト • テストの自動化
52. ”しっかりとしたテストの プラクティスがあれば、 変化は恐れるに足らな い” Googleのソフトウェアエンジニアリング ―― 持続可能なプログラミングを支える技術、文化、プロセス https://www.oreilly.co.jp/books/9784873119656/
53. ”スピードと品質は両 立できる” 『リーン開発の本質』 メアリー/トム・ポッペンディーク著 https://www.amazon.co.jp/dp/482228350X
54. ”テストはコストでは なく テストでスピードを上 げる” 高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231 デジタルハーツ CTSO Chief Testing Solution Officer 最高テストソリューション責任者 高橋寿一氏
55. 変化はもう怖くない。 スピードと品質は両立できる。 テストはスピードのための投資となる。
56. 我々はよりアジャイルになれる。 未来は今だ。
57. Thank you very much 月次ウェビナー開催中！ 「探索的テスト」「テスト自動化」「次世代 QA組 織」といったテーマをもとに「アジャイル ・DevOps時代のテストや品質保証」を目指す ウェブナーです。 今後も、さまざまなトピックや、その道のプロ フェッショナルにご登壇いただく予定です。 https://mabl-japan.connpass.com 今すぐできる2週間の無料トライアル！ トライアルは無料。納得行くまで機能をお試しくださ い。 デモリクエストも大歓迎！ 技術トレンドや実事例をまじえたデモ MTGもお気軽 にどうぞ！ https://www.mabl.com/japan