Upgrade to Pro — share decks privately, control downloads, hide ads and more …

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

品質エンジニアリングと自動化後の世界 / Quality Engineering and the Post-Automated World

JaSST Tokyo 2022 での発表スライドです。

アジャイル・DevOps時代において「自動化」がムーブメントになりつつあります。では、その自動化が終わった後の世界はどうなるのでしょうか?
このセッションでは、CI/CDによる自動化やE2Eテストの自動化を中心に紹介し、これらの技術を支える品質エンジニアリングの解説・デモを行いながら、自動化が進んだ先の未来を議論します。

http://jasst.jp/symposium/jasst22tokyo/details.html#B9

Dai Fujihara

March 09, 2022
Tweet

More Decks by Dai Fujihara

Other Decks in Programming

Transcript

  1. 品質エンジニアリングと
    自動化後の世界
    JaSST 2022 2022/03/10
    mabl Inc. Dai Fujihara

    View full-size slide

  2. About me
    藤原 大
    ● メルカリ: エンジニアリングマネージャ(EM)
    ● 楽天: EM、アジャイルコーチ
    ● 某SIer: Javaエンジニア
    ● 『アジャイル開発とスクラム』寄稿
    ● 『リーン開発の現場』翻訳
    Customer Success, mabl Japan

    View full-size slide

  3. アジャイル時代の
    アジャイル品質を支える
    品質エンジニアリング
    これからの10年、自動化後の世界

    View full-size slide

  4. アジャイル開発は「当たり前」に
    ● HPによる調査では、24%がハイブリッド、
    67%がアジャイル開発へ (2017)
    ● KPMG Global Agile Surveyでは、今後3
    年で企業レベルのアジャイル開発が 2倍
    以上増えると予想(2019)
    ● digital.aiの調査では86%がアジャイル開
    発を採用(2021)
    Agile is the new normal https://softwaretestinggenius.com/docs/4aa5-7619.pdf
    KPMG Global Agile Survey https://assets.kpmg/content/dam/kpmg/be/pdf/2019/11/agile-transformation.pdf
    15th State of Agile Report https://digital.ai/resource-center/analyst-reports/state-of-agile-report

    View full-size slide

  5. アジャイル品質は「当たり前」か?
    ● 根強いQAがボトルネック問題
    ● スプリント後半の負荷増
    ● スピード VS 品質
    agile-samurai-ja/support https://github.com/agile-samurai-ja/support/tree/master/blank-inception-deck

    View full-size slide

  6. アジャイル開発のための品質
    ● アジャイル品質のためには、 アジャイルな
    テスティングが必要
    ● アジャイルテスティングのためには、 品質
    のエンジニアリング化 (Quality
    Engineering: QE)が必要
    ● 品質エンジニアリングの中心的なプラク
    ティスになりつつあるのが、 自動化
    (CI/CD、テストなど)

    View full-size slide

  7. AIを活用したブラウザテスト自動化サービス
    ● マーブルじゃなくてメイブル
    ● ボストンで創業(シリーズC、合計$77M)
    ● AI・クラウド・SaaS型
    テスト自動化サービス
    ● ノーコード・ローコード で
    テストの作成や修正可能

    View full-size slide

  8. 動画はこちらで公開中: https://youtu.be/TxCe8_r0Q_Q
    テスト作成のデモ

    View full-size slide

  9. オートヒール(自己修復)

    View full-size slide

  10. ビジュアルテスト・ビジュアルリグレッション
    ● 動きの正しさと見た目の正しさ
    ● 正しさ確認も自動化
    ● さよなら「正しく表示されること」
    スクリーンショットテストとも呼ばれている screenshot testing for all your Compose @Previews https://proandroiddev.com/automatic-screenshot-testing-for-all-your-compose-previews-6add202fecc7

    View full-size slide

  11. アジャイルテスティングのためには?
    品質エンジニアリング
    (Quality Engineering: QE)

    View full-size slide

  12. 1. 開発サイクル全体で品質維持

    View full-size slide

  13. CI/CDのためのインテグレーション(統合)
    CI / CD SOURCE CONTROL ISSUE TRACKING USER DATA COLLABORATION REPORTING

    View full-size slide

  14. Preview環境でE2Eテスト実行デモ
    https://github.com/daipresents/test-automation-sandbox/pull/15
    ① PR作成 ② 自動検知
    ③ Preview環境
    にデプロイ
    ④ テスト
    開始を通知
    ⑤ E2E実行
    ⑥ Slackに
    結果を通知
    ⑦ 実行結果を
    PR上に表示
    (GitHubChecks)

    View full-size slide

  15. 動画はこちらで公開中: https://youtu.be/sb8kmzGFsjw
    Preview環境へのデプロイデモ
    ソースコード Webアプリ
    mabl
    CircleCI
    GitHub

    View full-size slide

  16. 2. 顧客体験重視
    の消費者が購買の意思決定をする
    際にUXを重要視している
    の消費者は、たった一度の嫌な経験
    でそのブランドから離れる(1)
    の従業員が、使用しているソフトウェ
    アが原因で、職場に不満を抱いてい
    る(2)
    75%
    32%
    51%
    1PWC, "Experience is everything: Here's how to get it right," 2018 2G2: State of Software Happiness Report, 2019

    View full-size slide

  17. 顧客体験のためのテストカバレッジ
    2021 State of Testing in DevOps Benchmark Report, mabl

    View full-size slide

  18. End-to-end
    Integration
    Unit
    Exploratory

    View full-size slide

  19. 3. 継続的モニタリング
    ● カバレッジデータ
    ● テスト実行データ
    ● テストのリスクやトレンドの評価
    に活用

    View full-size slide

  20. QAからQEへ
    QA (品質保証)
    アプリケーションの品質保証が
    開発プロセスのワンステップへ
    品質エンジニアリング
    (QE)
    アプリケーションの品質とカスタマー
    エクスペリエンスを継続的に改善す
    るために、データを活用して、開発
    サイクル全体で品質維持

    View full-size slide

  21. 品質エンジニアリングの成果
    80%
    3X
    6X
    96%
    95%
    より速いテスト作成
    テスト実装時間の削減 より速いテスト実行
    テストカバレッジ 回帰サイクルの削減

    View full-size slide

  22. アジャイル時代の
    アジャイル品質を支える
    品質エンジニアリング
    これからの10年、自動化後の世界

    View full-size slide

  23. 自動テストの
    カバレッジが
    さらに拡大

    View full-size slide

  24. ”テストの自動化は重要な
    プラクティスではなく
    「テスト=自動」だ”
    高橋寿一 書籍一覧 翔泳社 https://www.shoeisha.co.jp/book/author/3231
    デジタルハーツ CTSO
    Chief Testing Solution Officer
    最高テストソリューション責任者
    高橋寿一氏

    View full-size slide

  25. テスト自動化後の世界へ
    2021 State of Testing in DevOps Benchmark Report, mabl
    カバレッジはどんどん広がっていく

    View full-size slide

  26. 注目されるアクセシビリティ
    2019年から2020年にかけてのデジタル
    アクセシビリティ訴訟の増加率
    20%
    UseableNet’s 2021 Mid-Year Report: ADA Digital Accessibility Lawsuits

    View full-size slide

  27. Validation視点(手動)
    ● 妥当性が近い
    ● 我々が提供したいものであるか?
    ● ユーザが求めているものであるか?
    ● 魅力的品質
    テストに対する視点の変化
    Verification視点(自動)
    ● 検証、確認が近い
    ● 仕様通りであること
    ● 当たり前品質

    View full-size slide

  28. データとインサイ
    トの時代へ

    View full-size slide

  29. データとインサイトを経て人間が決断
    インサイト
    分析
    データ
    可視化
    アクション
    自動化、安定化、リファクタリン
    グ、カバレッジアップ
    意思決定
    インテリジェンス

    View full-size slide

  30. Thank you very much
    月次ウェビナー開催中!
    「探索的テスト」「テスト自動化」「次世代 QA組
    織」といったテーマをもとに「アジャイル
    ・DevOps時代のテストや品質保証」を目指す
    ウェブナーです。
    今後も、さまざまなトピックや、その道のプロ
    フェッショナルにご登壇いただく予定です。
    https://mabl-japan.connpass.com
    今すぐできる2週間の無料トライアル!
    トライアルは無料。納得行くまで機能をお試しくださ
    い。
    デモリクエストも大歓迎!
    技術トレンドや実事例をまじえたデモ MTGもお気軽
    にどうぞ!
    https://www.mabl.com/japan

    View full-size slide