品質と速度の両立：生成AI時代の品質保証アプローチ

2025/7/3 開発生産性Conference 2025にて使用したスライドです。

Transcript

1. 2025/7/3 開発生産性 Conference 2025
2. Speaker Profile odasho (Shohei Oda) Quality Advocate / Product Marketing, mabl Japan 国内SIerにてインフラやPaaS App開発まで幅広く経験。その後 コミュニティ活動をきっかけにMicrosoftに入社。Evangelistと してAudience Marketingに従事。2022年10月にmablにJoin、 TestingやQAの啓蒙活動に取り組む。現在もDevRel/Tokyoを中心 に複数のコミュニティを運営/支援。 iPhone絶対並んで買うおじさん(2011 - 2024) 一般社団法人DevRel 理事、名城大学情報工学部 非常勤講師 odashoDotCom odasho0618 odasho odasho0618
3. OpenAI の音声書き起こしサービスの『Whisper』に「おだしょー 」という文字列が大量に出 てくるバグ (2年以上放置中) 最近生成AI周りで気になること 引用: https://techblog.ap-com.co.jp/entry/2023/10/31/132036
4. AI活用ソフトウェアテストツールのマー ケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor, Deacon D.K Wan, February 2024
5. AI活用ソフトウェアテストツールのマーケットガイド by Joachim Herschmann, Thomas Murphy, Jim Scheibmeir, Frank O'Connor, Deacon D.K Wan, February 2024
7. 現状のQAに関する問題点 (アンケート結果) と、その前に 6割以上が『手動でのテスト対応』と 回答 『テストメンテナンス』 『構築と実行に時間がかかりすぎる』 『自動化を行うためのコーディング知識がない』 が最多回答
8. 短期的な記憶 計画立案 判断力 推論 集中力 長期記憶 視覚 認識 知覚 読解 言語理解 行動の協調 AIによる破壊的変化への対応 テストは過小評価されてきた
9. 人のインテリジェンス に加えて 自動化が必要 コラボレーション 実行する 観察する 考える 学習する AIによる破壊的変化への対応
10. コラボ レーション 考える 実行する 観察する 学習する 人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
11. 人のインテリジェンス に加えて 自動化が必要 AIによる破壊的変化への対応
12. 実行する Webブラウザ、モバイルアプリ ケーション、APIとの迅速かつ 信頼性の高い連携。
13. 多岐にわたるスキルセット AIによる破壊的変化への対応 Webブラウザのコントロール クリックと ナビゲーション フォームの送信 と検証 Shadow DOM との連携 PDFとメールの 検証 データベースの クエリと検証 認証フローの 処理 Android/iOS アプリとの連携 タップ、ピンチ 、スワイプ操作 フォームの送信 と検証 Webviewとの 連携 UI要素の 視覚的検出 位置情報サービ スのテスト デバイスの 向きの変更 APIの呼び出しと検証 APIリクエスト の送信 APIレスポンス の検証 APIからの データ抽出 リクエストへの 変数利用 API認証の処理 API負荷テスト の実行
14. データベースアクセスを活用したテストカバレッジの拡大 AIによる破壊的変化への対応
15. 観察 と 認識 アプリケーションの状態、 エラー、ページの応答時間 などを捉えて分析。
16. 熟練のQAのように観察 観察 スクリーンショットの記録 Save DOM スナップショット アプリのログを収集 ネットワークトレースの保存 アプリのパフォーマンス分析 要素のプロパティを保存 ページ読み込みをトラック AIによる破壊的変化への対応
17. 自然言語によるアサーションでカバレッジを拡大 17 AIによる破壊的変化への対応 自然言語で検証可能: アプリケーションの「こう動作して 欲しい」を伝えるだけ 旧来のアサーションを超えて: 旧来のテストでは検証しきれ なかったAIが生成する動的なコンテンツを検証可能 旧来のテスト対象を超えて: • イメージの検証: 「画像中に自転車があるか検証」したり「社名 ロゴが正しく追加されているか確認」することが可能 • ビデオの検証: 「ビデオ上に字幕が表示されているか検証」する ことが可能 • テキストの分析: 「ページが全て日本語化されているか チェック」することが可能 • AIチャットボット: 「チャットボットの応答が適切、かつ役に たつもので、アクションボタンが表示されているかを確認」する ことが可能
18. 意思決定をする 低レベルの指示を解釈し、 問題を特定することで、 推論と意図の理解に 基づいてテストを遂行。
19. 生成AIによる自動修復機能でメンテナンスを削減 • UI要素の変更時にメンテナンスを削減 • 複数の戦略を用いて要素を特定 • エキスパートシステムを活用し、 迅速かつ低コストで自動修復 • テキストやコンテキストの認識が 必要な場合は生成AIを使用 AIによる破壊的変化への対応
20. 推論する データを分析・相関させ、 仮説や提案を導き出す。
21. 生成AIによる障害分析で生産性を向上 (AutoTFA) AIによる破壊的変化への対応
22. 計画する アプリケーションとテスト プラクティスの知識を 組み合わせ、チームの協力 を得て効果的な自動化を 生成。
23. 自然言語でWebテスト構築 (テスト作成エージェント) • 意図に基づいたタスクとインテリ ジェントな検証ステップを生成 • 既存のワークフローをワーク スペース全体で自動的にインポート • 効率的で堅牢、かつ信頼性の高い テスト • テスト作成を90%以上加速 AIによる破壊的変化への対応
24. 統合する 適切なコンテキストでチーム メンバーにインサイトを提供 エンタープライズ環境と ワークフローにシームレスに 適合
25. チームや開発環境との連動 統合＆コラボレーション Jiraで欠陥を 起票・更新 Slack/Teamsで 共有 CI/CDフックと 連携 テストのオーケ ストレーション レポート生成 テストアセットの 共有 テスト結果の分析 CI/CDインテグレーション コラボレーション レポーティング バグトラッキング テスト環境の管理 生成AIによる破壊的変化への対応
26. 実行する - あらゆるブラウザアプリ、API、モバイルアプリと簡単に連携し、テストを実行 統合する - チームメンバーと協業し、既存の環境やワークフローにシームレスに適合 学習する - アプリケーションの挙動と「正常」な状態を理解し、状況に応じてテスト アプローチを調整 観察する - 画面情報、ログ、トレースなどから深いインサイトを生成 考える - テスト計画を立案し、データに基づいて推論し、品質に関する的確な意思決定を行う 熟練のQAのように機能するmabl 生成AIによる破壊的変化への対応
27. 直近のプロダクトリリース テスト作成エージェント • テストの意図をタスクに分解 • 適切な再利用可能フローの発見と活用 • エンドツーエンドテスト全体を自律的に構築 • テスト作成時に変数とテストデータを生成 自動TFA (テスト失敗分析) • すべてのテストおよびプランの失敗を バックグラウンドで自動分析 • 迅速な問題解決のため、即座にテスト結果から インサイトと推奨事項を提供 ビジュアルアシスト • 生成AIを活用し、画面中のUI要素を ビジュアルに学習することで信頼性を向上 • これまでロケーターが位置づけできなかった ピクセルベースで描画されたボタン等の要素 であっても位置づけ可能に 適応型の自動修復機能 • アプリケーションの変更に合わせてテストを インテリジェントに修正 • 複数のAIモデルを活用し、市場をリードする 信頼性を実現 • コンテキストに応じた柔軟性を実現するために 生成AIを活用
28. For your information
29. DevOpsにおける テストレポート https://www.mabl.com/ja/reports/testing-in-devops-2025 mablが毎年公開しているテストレポートの 2025年度日本語版 ダウンロードリンクはこちら！
30. Join our webinar on July! 7/9 13:00～14:00 まだ手動でテストしてるの？ 生成AIとローコードで実現するE2Eテスト 徹底解説！ https://mabl-japan.connpass.com/event/358819/
31. Come visit the mabl booth!
32. Thank You for attending Today!!