ソフトウェアテストにおける生成AI活用の最新動向~AIネイティブなE2E自動テストの実践モデル

2026/10/29 開催
BEST PRACTICE Conference for Dev
AIエージェント・自動化で変わる開発現場

講演資料

Transcript

1. BEST PRACTICE Conference for DEV AIエージェント・自動化で変わる開発現場 ソフトウェアテストにおける生成AI活用の最新動向 AIネイティブなE2E自動テストの実践モデル
2. 目次 1. はじめに 2. ソフトウェアテスト分野での生成AI活用 3. E2E自動テストツールでの生成AI活用 4. AIネイティブなE2Eテスト 5. まとめ
3. はじめに 今回の概要 ソフトウェアテスト分野における生成AI活用の例を紹介 生成AIとMagicPod（自動テストツール）を用いたE2E自動テストのワークフロー例を紹介 資料は後日公開 https://speakerdeck.com/magicpod
4. 自己紹介 MagicPod エバンジェリスト 伊藤 由貴 / Yoshiki Ito QAエンジニア・テスト自動化エンジニアを 10年以上経験。 テスト自動化技術の普及推進チーム立ち上げや、 事業会社でのQAチーム立ち上げを経て、 2025年よりMagicPodエバンジェリスト。 『ソフトウェアテスト技法練習帳』共著。 JSTQBテスト自動化エンジニアシラバス 翻訳メンバー。
5. テスト自動化で リリースサイクルの高速化を支援 AIがテスト実装から実施、報告までをサポート 読みやすくメンテナンス性の高い自動テストを誰でも モバイルアプリとブラウザ テストに対応 AI×ノーコードで テスト自動化を当たり前に
6. 目次 1. はじめに 2. ソフトウェアテスト分野での生成AI活用 3. E2E自動テストツールでの生成AI活用 4. AIネイティブなE2Eテスト 5. まとめ
7. ソフトウェアテストとは ソフトウェアからフィードバックを得る活動 デバッグや品質向上といった様々なソフトウェア開発活動で活用 品質レベルを判断し、意思決定（リリース可否等）の材料とする 代表的なソフトウェアテストの目的 仕様や設計と合致していることを確認 要求を満たしていることを確認 バグを見つける プロダクトリスクレベルを確認 テストを効率的に行うことで 開発生産性向上 高品質と高スピードを両立 現代のソフトウェアテストは攻めの活動である 参考：ソフトウェアテスト徹底指南書 〜開発の高品質と高スピードを両立させる実践アプローチ
8. ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計 テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている
9. ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計 テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている
10. 生成AI活用例：テストケース生成 新規に追加する機能の仕様やユーザーストーリー、既存機能の仕様変更などの情報をも とにテストケースを作成。 AIが自律的にテストの作成から実行までを担う状態を目指す場合もあれば、 人間がテストケースを作成する際の抜け漏れを防いでテストを強化するために用いる場 合もある。 このとき、テスト観点DBや不具合DBなどをコンテキストとして与えることで、より精度 の高いテストを目指す等の工夫も行われる。 ＋ テスト観点・不具合等 ナレッジ 仕様書等の ドキュメント テストケース
11. 補足：生成AIでテストケースを生成するリスク 特に単体テストを生成させる場合、コードを実装した後にそのままテスト生成 を指示するとバグを見逃す可能性が高まる。 これは実態=コードにバグを含んだ状態を正として、その時点での実装でパス するようなテストを生成してしまうため。（エラー伝搬: Error Propagation） これを回避するための対策として、以下が挙げられる。 実装コードを読ませず、仕様ドキュメントなどのタスク記述のみからテストを生成さ せる タスク記述が曖昧・不完全であっても、実装を見せるよりも欠陥検出率が高い コード生成前にテストを作成するテスト駆動型のアプローチを採用する 参考：On the risk of coding before testing: An empirical study on LLM-based test generation workflow
12. ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計 テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている
13. 生成AI活用例：結果の集計・レポート 自動テストツールに記録されたテスト結果をもとにダッシュボードを作成。 過去のテスト成功率の推移や、AIを用いた傾向分析など自組織での運用にあわせたデータ 可視化の仕組みを構築できる。
14. ソフトウェアテスト分野における生成AI活用例 テスト計画・分析 要件・仕様変更把握とテ スト観点の洗い出し 機能の要件や仕様変更等、複 数のドキュメントを横断的に 確認して影響範囲を確認。 変更内容に対応したテスト観 点を洗い出す。 テスト設計 テストケース生成 テスト観点や対象機能等の情 報からテストケースを生成。 単体テスト・結合テスト・シ ステムテストなど各レイヤーで 行われる。 テストデータ生成 テストの実行に必要なテスト データを生成。 テスト実装・実行 結果分析・報告 自動テストの生成と実行 結果の集計・レポート テストケースから実行可能な 自動テストを作成。 失敗原因調査・自動修復 実行したテストが失敗した際 にその原因をAIが調査し、 テストに原因があった場合に は自動で修復を行う。 大量の自動テストの実行結果 を人間向けに集計しレポート 化。 テスト観点・不具合情報 DB化 不具合の情報やテスト観点等 の情報を保存し、新規テスト の作成や修正に活用。 他にも、 テストケース優先順位設定 テストオラクル生成 Agentic Testing など様々な適用がなされている
15. 目次 1. はじめに 2. ソフトウェアテスト分野での生成AI活用 3. E2E自動テストツールでの生成AI活用 4. AIネイティブなE2Eテスト 5. まとめ
16. システム（E2E）テストの自動化 クリックや文字入力などの画面操作、画面表示の確認などをコンピュータで実行可能な形で実装。 主に新規追加・改修箇所以外に影響が出ていないことを確認する回帰（リグレッション）テストで活 用できる。 テストの効率化が期待できる一方で、自動化に関するタスクも発生。現場レベルでは「自動化の導入 に失敗した」 「結局手動テストに戻ってしまった」といった声もよく耳にした。 効果：テストの効率化 テストの頻度向上 テストの範囲拡大 不具合をスピーディに検知 vs 課題：工数増リスク 自動化そのものの手間 メンテナンスが手間 運用の手間 工数増を抑えて効率的に自動化したい
17. テストの作成と編集：MagicPod Autopilot AIエージェント「MagicPod Autopilot」を搭載。 チャット形式の入力欄に「＊＊＊を行うテストを作成して」などの指示を出すことで、Autopilotが 自動で適切なテストを検討・作成し実行確認までを行う。 Autopilotのチャットから指示を出します。
18. 期待値との比較：AIアサーション 「AIで確認」コマンドは画面の情報をAIが読み取って、意味を理解した上で検証。 例えば画面の中の整合性を確認するテストなど、 これまでは人間による目視確認が必要だったテスト項目も自動化可能に。 1 検索欄に「クリスマス雑貨」を入力 2 「検索」ボタンを押す 3 「表示された商品がすべてクリスマス関連 のものであること」をAIで確認 クリスマス雑貨 ! d e l i Fa ハロウィーン関連の商品 が表示されています！
19. テストメンテナンス：AI自動修復 テスト対象アプリケーションにUI変更等があると、そのままでは自動テストが失敗し、人間による結 果の確認と判断→自動テストの修正→再実行の手間が発生する。MagicPodはUI変更を検出すると自動 修復機能が動作。テストを自動で修復して実行を継続し、実行後に修正案を提案。 自動修復が働くと「要確認」 ! と表示されます
20. 結果の分析・改善提案・修復 テストが失敗した場合に、失敗の原因をAIが分析。過去の実行結果なども踏まえ、本当にバグの可能 性があるのか、それともテスト側の原因なのかを判断する支援を行う。 テスト側の原因と思われる場合は、提案内容をもとにAIによるテストの修復も可能。 わかりやすい分析レポートを作成! わかりやすい分析レポートを作成! 1 81 検索ボックスに「マウス」と入力する 2 82 3 83 「商品詳細を開く」をクリックする 「カートに追加」をクリックする このステップでテストが失敗! 失敗した理由を分析します... 分析結果をもとにAIが自動で修復!
21. 目次 1. はじめに 2. ソフトウェアテスト分野での生成AI活用 3. E2E自動テストツールでの生成AI活用 4. AIネイティブなE2Eテスト 5. まとめ
22. 外部AIエージェントと自動テストツールの連携 AIエージェントからMCPサーバー経由でMagicPodの自動テストを 作成・編集・実行・結果の取得などが可能。 さまざまなツール同士を連携させ、テストのワークフローを構築できる。 ユーザー AIエージェント MCP サーバー Aプロジェクトのテストを 全部実行してください Claude Cline Cursor テストを実行
23. AIネイティブなE2Eテストワークフロー例 ① 仕様変更 人間が生成AIを活用し、 仕様変更を ドキュメントとして まとめる。 テスト観点（オプション） テストに関連する 社内ナレッジ週 ②a コード改修 ClaudeやCodex等のAIが仕様変更を読み、 必要な改修を自動で行い、 完了し次第テスト環境にデプロイ。 ②b テストケース更新 ②aと並行し、AIが仕様変更を読み、 既存テストケース中の影響範囲を分析。 該当箇所と変更すべき内容を判断し、更新。 ③自動テストの修正・実行 テストケースの更新内容を読み、 実装済みの自動テストを修正。 テスト環境に対して実行し、 テスト更新とコード改修を確認。
24. ワークフロー例：① 仕様変更 ExcelやConfluence, Notion等のツールで記載された 仕様に対して変更を加える。 ここではホテルの宿泊予約システムにおいて、 予約可能な宿泊日の上限が3ヶ月以内だったところを 2ヶ月以内に短縮する、という変更を例に説明する。 開発者はこの変更内容をもとに（生成AIで） コードの改修を行う。 仕様の変更に伴い、既存のテストも改修が必要となる。
25. ワークフロー例：②b テストケース更新 ・ 「[DesignDoc] 宿泊予約システム：予約可能期間の仕様変更」ページ ・ 「E2Eテストケース⼀覧：宿泊予約システム」ページ の内容をもとに仕様変更の影響を受けるテストケースを特定し、 修正内容を「[DesignDoc] 宿泊予約システム：予約可能期間の仕様変更」ページの「3. 影響分析 & ⾃動テスト修正計画」にまとめ てください。そのうえで、変更内容を「E2Eテストケース⼀覧：宿泊予約システム」に反映してください。 既存のE2Eテストケースの中で、 仕様変更の影響を受ける箇所を特定する。 画面操作・期待結果の中で、 最長予約可能日前後の予約可否をテストしている もの等を検出し、更新対象を特定する。
26. ワークフロー例：②b テストケース更新 影響分析の結果と修正計画が出力され、テストケースが更新される。 人間が確認し、問題がなければ自動テストへの反映へ移る。
27. ワークフロー例：③ ⾃動テストの修正・実⾏ ・ 「E2Eテストケース⼀覧：宿泊予約システム」 の変更内容をもとに、MagicPodのテストを修正してください。 ・対象：https://app.magicpod.com/ProjectName/TestName/?branch=main ・テスト設定：5:RegressionTest AIエージェントがテストケースの更新内容を確認し、MagicPodに登録された自動テストを修正。 仕様変更が適用されたテスト対象アプリケーションに対して自動テストを実⾏し、 結果の確認までを行う。 ┌──────────┬──────────────┬──────────────────────────────────────────┬────────────────┐ │ テストID │ MagicPod No. │ 修正内容 │ ⼀括実⾏#1結果 │ ├──────────┼──────────────┼──────────────────────────────────────────┼────────────────┤ │ TC-001. │ 52 │ Date calculation の duration_array を90⽇→60⽇に変更（本⽇+2ヶ⽉以内の安全側） │ succeeded │ ├──────────┼──────────────┼──────────────────────────────────────────┼────────────────┤ │ TC-002. │ 53 │ 同上⼀括実⾏設定に含まれている全ケースが実⾏され、すべてPassしていることを確認。 │ succeeded │ └──────────┴──────────────┴──────────────────────────────────────────┴────────────────┘ ✅ ✅ （中略） 実施内容 - MagicPod（newMCP_Blog、branch=main）で TC-001（No.52「ログインせずに予約」 ） 、TC-002（No.53「ログインして予約」 ）のDate calculationステップを 90⽇後 → 60⽇後（本⽇+2ヶ⽉以内に確 実に収まる安全側の⽇数）に修正 - ⼀括実⾏設定「5:RegressionTest」でバッチラン#1を実⾏し、TC-001〜TC-002の2件全てが succeeded を確認 - DesignDocの「3. 影響分析 & ⾃動テスト修正計画」に対応状況（完了）と実施結果を追記済み
28. ワークフロー例：③ 自動テストの修正・実行 図：自動テストの変更履歴
29. AIネイティブなE2Eテストワークフロー例 ① 仕様変更 人間が生成AIを活用し、 仕様変更を ドキュメントとして まとめる。 テスト観点（オプション） テストに関連する 社内ナレッジ週 ②a コード改修 ClaudeやCodex等のAIが仕様変更を読み、 必要な改修を自動で行い、 完了し次第テスト環境にデプロイ。 ②b テストケース更新 ②aと並行し、AIが仕様変更を読み、 既存テストケース中の影響範囲を分析。 該当箇所と変更すべき内容を判断し、更新。 ③自動テストの修正・実行 テストケースの更新内容を読み、 実装済みの自動テストを修正。 テスト環境に対して実行し、 テスト更新とコード改修を確認。
30. 目次 1. はじめに 2. ソフトウェアテスト分野での生成AI活用 3. E2E自動テストツールでの生成AI活用 4. AIネイティブなE2Eテスト 5. まとめ
31. まとめ ソフトウェアテストの分野でもさまざまな部分で生成AI活用が進んでいる テスト自動化は、生成AIによって以前と比べてメンテナンスや運用の際の 負荷が軽減され、より取り入れやすくなっている。 AIエージェントをハブとして、MagicPodと他のツールを連携させることに より、仕様変更からテストの修正等を含めた一連の流れを生成AIが自律的 に行うワークフローを作成可能。これからは、AIネイティブなE2E自動テス トの時代へ。
32. ありがとうございました。 アンケートへの回答にご協力をお願いいたします。 https://magicpod.com/