AIを駆使した自動テストは統合プラットフォームの時代へ

2024/3/15 JaSST'24 Tokyoにて使用したスライドです。

Transcript

1. AIを駆使した自動テストは 2024/3/14 -15 JaSST’24 Tokyo
2. Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel Meetup in Tokyoを中心に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2023) Most DevRel Committer 2020、名城大学情報工学部非常勤講師 odashoDotCom odasho0618 odasho odasho0618
3. mabl について
4. What's mabl? • 「めいぶる」と読みます • Stackdriver（現Google Cloud Operations）の 創業者IzzyとDanが2017年ボストンで創業 • 2021年8月に日本法人設立 • グローバルの社員数は約110名 • Fortune Globalの35社含む300社+が採用 • GV、CRV、Amplify、Vista Equity Partner、 Presidioより 7,700万ドル (90億円) を調達
5. マーブルと誤読されがち (わかる)
6. Transform software quality by combining AI, automation, and human insight in software delivery ソフトウェアのデリバリーにおいて、 AI、自動化、人間の洞察力を組み合わせ、 ソフトウェアの品質を変革する
7. Web/Mobile/APIのための統合型プラットフォーム 7 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト
8. mablのスコープ 単体テスト API/結合テスト UI/E2Eテスト 探索的テスト
9. 現状のQAに関する問題点 スピード: 従来型のテスト手法では現在の ソフトウェアリリースサイクルについてい けない サイロ化: テスト実施がチームごとにサイ ロ化され、アジリティや可視性が犠牲に なっている メンテナンス: 開発チームがテストコード のメンテナンスに多くの時間を費やしてい る
10. 現状のQAに関する問題点 (アンケート結果) 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
11. 単一プラットフォームでの広範囲なテストカバー 機能/非機能テストをカバーするプラットフォーム • Web UIテスト • モバイルWeb UIテスト • APIテスト • アクセシビリティテスト • UI/API パフォーマンステスト • 2024年第一四半期にサポート（予定） ◦ ネイティブモバイルアプリテスト
12. ノーコードでテストを作成、ローコードで拡張 テスト作成の流れ 1. ブラウザでテスト対象アプリを 操作 2. トレーナー（右側ウィンドウ） が各操作をステップとして記録 してテストを作成 3. 必要に応じてステップの追加・ 削除・変更が可能
13. ローコードで「意図」と「実装」を分ける
14. ノーコードでカバーしきれないテストステップをローコードでカバー、テストカバレッジを向上 ローコードでテストを拡張 テストの任意ステップでJavaScriptを実行可能
15. より良い品質のソフトウェアをより早く提供 15 3倍 速くテストを作成 スピード向上 70% メンテナンスコスト削減 効率化 10倍 速くテストを実行 加速化 80% 自社開発ソリューション よりも低コスト コスト削減
16. 世界の動向 (アクティブユーザー数) 48% 2% 13% 2% 2% 12% 21%
17. 品質エンジニアリング採用の拡大 QUALITY ASSURANCE（品質保証） アプリケーションの品質を保証する。 開発プロセスの第一歩。 品質エンジニアリング データを使用しながら、 開発パイプライン全体を通して、アプ リケーションの品質と カスタマーエクスペリエンスを 継続的に改善する。
18. 品質指標を使用した継続的な改善 非機能的品質の検証 シフトレフト: 自動化されたテストを開発に組み込む 機能テスト自動化のカバレッジ拡大 開発後に手動でテスト 品質エンジニアリング (QE) ジャーニー QEの成熟度
19. エンタープライズ対応のセキュリティ SOC II Type 2 GDPR
20. 本日のテーマ
21. AIを駆使した自動テストは 2024/3/14-15 JaSST’24 Tokyo
22. そういえば1年前のJaSST'23 Tokyoで… 2023/3/10 (撮影NGで) Autifyさん、MagicPodさん、 mabl の3社で『AIテスト自動化ツールの向かう 先』と題して、次のAIテスト自動化のトレンド について、熱い想いを語り合ってきましたね！ 当時のトレンドはやはり生成AI。テスト自動化 にどのように組み込まれていくのか、願望と想 像を膨らませながら三者三様の意見をぶつけ合 いました…！
23. というか、その後も… • 2023/3/15 TechFeed Experts Night #15 『〜 ソフトウェアテスト最前線 〜 自動化 サービスの波は本物か？』 • 2023/3/23 BlastEngine 『Auto Test Panel vol.1』 • 2023/9/12 TechStreet 『テスト自動化の先駆者3社が集結！今後の 自動化の方向性』 • 2023/11/1 FUJIYAMA Tech ShowCase #1 と連続して共同登壇してきた俺たち…(なんなの？)
24. AIテスト自動化 ベンダの試行錯誤
25. 既に生成AIの活用は始まっている 無断でロゴ使用とかサービス詳細を説明すると大いなる力の洗礼を受けかねないので、シンプルなスライドにしています。私は大人だから。 • Autifyさんの『Step Suggestions』『Scenario Summarizer』 • GitHubさんの『GitHub Copilot』 • Postmanさんの『Postbot』 • mablの…？？
26. AIによる信頼性の向上
27. UI変更を検知しテストを自動修復機能 どうやってテストを自動修復する？ • テスト実行のたび要素ごとに 35以上の属性を記録 • 要素が見つからない時、 属性情報を使い要素を検索 • マッチした要素でテストを 修正して実行 • 自動修正をユーザーに通知し、 正しく修正されているか確認
28. 生成AIが言語理解をサポート 要素の検索モデル DOM エキスパートシステム Autonomous Agent
29. 生成AIが言語理解をサポート • 1000 件以上のテストケースに成功 • 約100 社の顧客が使用 • 高精度 • スケーリングにおける課題なし
30. 生成AIを活用した テストの落とし穴
31. Microsoft Gamoさんはこう言っている。 　Reference: GPT開発の悩みの種「速度」「精度」「評価」の壁をどう超えるか 『Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門』著者の1人 ”GPTに出力を評価させる場合、その評価が妥当なものであ るかどうかを確認する必要がある。" ”特に判断に注意。品質保証部門やデータサイエンティスト など専門家と相談し、通常のソフトウェアテストと同じく、 Go/No Goの判定基準を事前に設けておく。"
32. これからのAI活用 とテスト自動化
33. Home grown 車輪の再発明は必要か？ 33
34. Web/Mobile/APIのための統合型プラットフォーム 34 AI、クラウド、ローコードの 最新テクノロジーを軸に 構築されたプラットフォーム Web、モバイル、APIテストを 単一のプラットフォームで実行 テストの再利用性を備えた 真のエンドツーエンドテスト
35. 既存ツールとの統合 DevOpsツールセットとの統合 CI/CDインテグレーション Mabl アプリ (デスクトップ、Web) Mabl Cloud レポート コラ レーションツール お使いのアプリケーション Mabl Link optional バグ追跡
36. https://github.com/apps/mabl-bot GitHub インテグレーション Deployment action Run mabl tests action Actions 2.0 Deployments API Tests Test Results API DEPLOYMENT EVENT POLL FOR TEST RESULTS TRIGGER
37. 詳細なテスト結果データを自動で記録 テストのステップごとに結果情報を収集 • スクリーンショットと画面差分 • ネットワークログ • DOMスナップショット • HARファイル
38. テスト実行結果からインサイトを通知 実行テストに関する情報を俯瞰的に把握 • テストカバレッジ ◦ 最新のテスト成功率 ◦ 累積テスト実行数 ◦ 失敗テストの分類 ◦ テストステータス、など • 自動修復 • 視覚的変化 • リンク切れ • JavaScriptエラー
39. 継続的なWebおよびAPIのパフォーマンステスト PERFORMANCE TESTING IN A UNIFIED PLATFORM 39 ブラウザテストとAPIテストの再利用: パフォーマンステストの ための面倒なスクリプト作成とメンテナンスを不要にします。 シンプルかつパワフル: エラー率、レスポンス時間、ブラウザー のステップ時間、コアウェブバイタルのSLAを設定可能です。 シフトレフト: 開発パイプライン上で、早期かつ継続的に 実行するパフォーマンステストの設定と統合。 クラウドの有効性: インフラのメンテナンスから解放し、 スケーラビリティと効率性を実現できます。 統合プラットフォーム: 機能テストとパフォーマンステスト (非機能テスト)の両方を効率化、ユーザー体験を最適化します。
40. 高品質なモバイルアプリの提供を実現 手軽にモバイルテストを生成: AndroidおよびiOSアプリの テスト作成を劇的に高速化 高い信頼性: 自動修復機能により、アプリ側の変更にテストを 動的に適応させ、メンテナンスに必要な工数を軽減 クラウド実行でスケーラビリティを提供: インフラの メンテナンスなしに、仮想デバイスと実デバイスでテスト可能 シームレスなインテグレーション: リグレッションテストを 開発パイプラインに早期かつ継続的に簡単追加 単一プラットフォーム: Web、iOS、Androidにまたがるテスト を合理化し、品質全体を俯瞰するビューを提供します。 LOW-CODE MOBILE APP TESTING WITH MABL
41. モダンなソフトウェア品質プラットフォーム UNIFIED TEST AUTOMATION PLATFORM FOR WEB, MOBILE, AND APIS コーディング経験の有無に関係なく、 チーム全体でテスト自動化に取り組む ローコード 開発ワークフローや コラボレーションツールとの シームレスな統合 インテグレーション 生成AIを含む複数のAI技術を活用した、 信頼性が高くアプリ変更への耐性が強い テスト AI 無制限の並列化による高速なテスト実行と、 インフラのメインテナンス不要な シームレスなスケーリングの実現 クラウド ロ ー コ ー ド インテグレーション クラウド 機能テスト 機能テスト パフォーマンス アクセシ ビリティ テスト運用 ビジュアル モバイル
42. For your information #mablJapan
43. About the mabl University How-to Videos (English only) How-to Lessons (Japanese only) On-Demand Training (English & Japanese) mabl Skills Certifications (English & Japanese) • 33 ビデオ (各3 - 8 分程度) • 英語字幕あり、日本語字幕なし • 26 レッスン • Step by stepで学習可能 • 4 ラーニングパス • 設定、基礎、高度、統合でそれ ぞれ30 - 90 分の学習パス • 学習目標に応じたパスを提供 • 3 つの資格 • Foundations と Advanced • NonFunctional ←NEW • LinkedIn に掲載可能
44. mabl Skills Certification mabl Skills Certification: Foundations (基本レベル) mabl Skills Certification: Advanced (応用レベル) mabl Skills Certification: Non-functional Testing (非機能テスト)
45. 有資格者には特別なノベルティをプレゼント
46. You can try it now! • 2週間の無料トライアルとmabl University でmablをマスターしよう！ • デモのリクエストはこちらから！→→ https://www.mabl.com/ja
47. Join user community! mabl の User Community『mablers_ jp』
48. Join our mini session! JaSST'24 Tokyo ミニセッション Discordに大集合！！！ • 3/14 14:15～14:25、15:45～15:55、 17:00～17:10 • 3/15 14:00～14:10、15:45～15:55
49. Join our webinar! mabl ご紹介 Webinar 3/28、4/11、4/25 14:00～ 開催 • mablが提供する様々なテストについて、 ご紹介するWebinarシリーズ • 国内登録者 2000 名 突破 右のQRコード(Connpassサイト)より お申込みください！
50. Thank You!