Upgrade to Pro — share decks privately, control downloads, hide ads and more …

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

JaSST Tokyo 2022 での発表スライドです。

アジャイル・DevOps時代において「自動化」がムーブメントになりつつあります。では、その自動化が終わった後の世界はどうなるのでしょうか?
このセッションでは、CI/CDによる自動化やE2Eテストの自動化を中心に紹介し、これらの技術を支える品質エンジニアリングの解説・デモを行いながら、自動化が進んだ先の未来を議論します。

http://jasst.jp/symposium/jasst22tokyo/details.html#B9

Dai Fujihara

March 09, 2022
Tweet

More Decks by Dai Fujihara

Other Decks in Programming

Transcript

  1. 品質エンジニアリングと
    自動化後の世界
    JaSST 2022 2022/03/10
    mabl Inc. Dai Fujihara

    View Slide

  2. About me
    藤原 大
    ● メルカリ: エンジニアリングマネージャ(EM)
    ● 楽天: EM、アジャイルコーチ
    ● 某SIer: Javaエンジニア
    ● 『アジャイル開発とスクラム』寄稿
    ● 『リーン開発の現場』翻訳
    Customer Success, mabl Japan

    View Slide

  3. アジャイル時代の
    アジャイル品質を支える
    品質エンジニアリング
    これからの10年、自動化後の世界

    View Slide

  4. アジャイル開発は「当たり前」に
    ● HPによる調査では、24%がハイブリッド、
    67%がアジャイル開発へ (2017)
    ● KPMG Global Agile Surveyでは、今後3
    年で企業レベルのアジャイル開発が 2倍
    以上増えると予想(2019)
    ● digital.aiの調査では86%がアジャイル開
    発を採用(2021)
    Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf
    KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf
    15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report

    View Slide

  5. アジャイル品質は「当たり前」か?
    ● 根強いQAがボトルネック問題
    ● スプリント後半の負荷増
    ● スピード VS 品質
    agile-samurai-ja/support https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck

    View Slide

  6. アジャイル開発のための品質
    ● アジャイル品質のためには、 アジャイルな
    テスティングが必要
    ● アジャイルテスティングのためには、 品質
    のエンジニアリング化 (Quality
    Engineering: QE)が必要
    ● 品質エンジニアリングの中心的なプラク
    ティスになりつつあるのが、 自動化
    (CI/CD、テストなど)

    View Slide

  7. AIを活用したブラウザテスト自動化サービス
    ● マーブルじゃなくてメイブル
    ● ボストンで創業(シリーズC、合計$77M)
    ● AI・クラウド・SaaS型
    テスト自動化サービス
    ● ノーコード・ローコード で
    テストの作成や修正可能

    View Slide

  8. 動画はこちらで公開中: https://youtu.be/TxCe8_r0Q_Q
    テスト作成のデモ

    View Slide

  9. オートヒール(自己修復)

    View Slide

  10. ビジュアルテスト・ビジュアルリグレッション
    ● 動きの正しさと見た目の正しさ
    ● 正しさ確認も自動化
    ● さよなら「正しく表示されること」
    スクリーンショットテストとも呼ばれている screenshot testing for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7

    View Slide

  11. アジャイルテスティングのためには?
    品質エンジニアリング
    (Quality Engineering: QE)

    View Slide

  12. 1. 開発サイクル全体で品質維持

    View Slide

  13. CI/CDのためのインテグレーション(統合)
    CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA COLLABORATION REPORTING

    View Slide

  14. Preview環境でE2Eテスト実行デモ
    https://github.com/daipresents/test-automation-sandbox/pull/15
    ① PR作成 ② 自動検知
    ③ Preview環境
    にデプロイ
    ④ テスト
    開始を通知
    ⑤ E2E実行
    ⑥ Slackに
    結果を通知
    ⑦ 実行結果を
    PR上に表示
    (GitHubChecks)

    View Slide

  15. 動画はこちらで公開中: https://youtu.be/sb8kmzGFsjw
    Preview環境へのデプロイデモ
    ソースコード Webアプリ
    mabl
    CircleCI
    GitHub

    View Slide

  16. 2. 顧客体験重視
    の消費者が購買の意思決定をする
    際にUXを重要視している
    の消費者は、たった一度の嫌な経験
    でそのブランドから離れる(1)
    の従業員が、使用しているソフトウェ
    アが原因で、職場に不満を抱いてい
    る(2)
    75%
    32%
    51%
    1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019

    View Slide

  17. 顧客体験のためのテストカバレッジ
    2021 State of Testing in DevOps Benchmark Report, mabl

    View Slide

  18. End-to-end
    Integration
    Unit
    Exploratory

    View Slide

  19. 3. 継続的モニタリング
    ● カバレッジデータ
    ● テスト実行データ
    ● テストのリスクやトレンドの評価
    に活用

    View Slide

  20. View Slide

  21. View Slide

  22. View Slide

  23. QAからQEへ
    QA (品質保証)
    アプリケーションの品質保証が
    開発プロセスのワンステップへ
    品質エンジニアリング
    (QE)
    アプリケーションの品質とカスタマー
    エクスペリエンスを継続的に改善す
    るために、データを活用して、開発
    サイクル全体で品質維持

    View Slide

  24. 品質エンジニアリングの成果
    80%
    3X
    6X
    96%
    95%
    より速いテスト作成
    テスト実装時間の削減 より速いテスト実行
    テストカバレッジ 回帰サイクルの削減

    View Slide

  25. アジャイル時代の
    アジャイル品質を支える
    品質エンジニアリング
    これからの10年、自動化後の世界

    View Slide

  26. 自動テストの
    カバレッジが
    さらに拡大

    View Slide

  27. ”テストの自動化は重要な
    プラクティスではなく
    「テスト=自動」だ”
    高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231
    デジタルハーツ CTSO
    Chief Testing Solution Officer
    最高テストソリューション責任者
    高橋寿一氏

    View Slide

  28. テスト自動化後の世界へ
    2021 State of Testing in DevOps Benchmark Report, mabl
    カバレッジはどんどん広がっていく

    View Slide

  29. 注目されるアクセシビリティ
    2019年から2020年にかけてのデジタル
    アクセシビリティ訴訟の増加率
    20%
    UseableNet’s 2021 Mid-Year Report: ADA Digital Accessibility Lawsuits

    View Slide

  30. Validation視点(手動)
    ● 妥当性が近い
    ● 我々が提供したいものであるか?
    ● ユーザが求めているものであるか?
    ● 魅力的品質
    テストに対する視点の変化
    Verification視点(自動)
    ● 検証、確認が近い
    ● 仕様通りであること
    ● 当たり前品質

    View Slide

  31. データとインサイ
    トの時代へ

    View Slide

  32. View Slide

  33. データとインサイトを経て人間が決断
    インサイト
    分析
    データ
    可視化
    アクション
    自動化、安定化、リファクタリン
    グ、カバレッジアップ
    意思決定
    インテリジェンス

    View Slide

  34. Thank you very much
    月次ウェビナー開催中!
    「探索的テスト」「テスト自動化」「次世代 QA組
    織」といったテーマをもとに「アジャイル
    ・DevOps時代のテストや品質保証」を目指す
    ウェブナーです。
    今後も、さまざまなトピックや、その道のプロ
    フェッショナルにご登壇いただく予定です。
    https://mabl-japan.connpass.com
    今すぐできる2週間の無料トライアル!
    トライアルは無料。納得行くまで機能をお試しくださ
    い。
    デモリクエストも大歓迎!
    技術トレンドや実事例をまじえたデモ MTGもお気軽
    にどうぞ!
    https://www.mabl.com/japan

    View Slide