高速な品質フィードバックを実現するAIテスト設計エージェント構築の要点 / 20260529 Suguru Ishii

2026/5/29 JaSST’26 Tohoku
https://jasst.jp/tohoku/26-about/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Transcript

1. Copyright SHIFT Inc, All Rights Reserved. 2026 / Copyright SHIFT Inc, All Rights Reserved. 1 JaSST’26 Tohoku 株式会社SHIFT CATエヴァンジェリスト 29 5 15:15 – 15:20 高速な品質フィードバックを実現する AIテスト設計エージェント構築の要点 石井 優 Suguru Ishii
2. 2 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介 石井 優（Suguru Ishii） ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス (※） ※2025年3月時点 「テスト管理 CAT CM」で検索！ 経歴 2009/4 ～ 2014/11 倉庫系システム部門 2014/12 ～ 2015/7 東中野のPCサポート屋さん・石井屋 2015/8 ～ SHIFT CATサポート、プリセールス、エヴェンジェリスト CATほど 面白いプロダクトは なかなかない！ CAT CM も よろしくね！
3. 3 Copyright SHIFT Inc, All Rights Reserved. AIテスト設計エージェント構築のアプローチについてヒントになれば幸いです 本講演のターゲットとゴール ターゲット 主な内容 • AI活用を最大化させるテスト設計プロセスとナレッジ活用 • AIテスト設計エージェントの現成果 開発責任者 品質管理部門 担当者・責任者 事業責任者 ゴール AIによるテスト設計のアプローチを知り、 プロセス・考え方を日々のAI活用に適用する
4. 4 Copyright SHIFT Inc, All Rights Reserved. AIテスト設計エージェント開発の背景、ポイント、成果をお伝えします アジェンダ • SHIFTの検証フローとAI時代でのあるべき姿 • AIテスト設計エージェント実現のポイント • 成果
5. 5 Copyright SHIFT Inc, All Rights Reserved. なぜ、今「QA業務の変革」が必要なのか 構造的なボトルネックを抱えたままのQA業務は事業成長を阻む 人依存の構造が変わらない限り事業スピードは上がらない 生成AIにより 加速度的に増える 開発量 リリース遅延 ＝開発投資の回収 の遅延 人依存構造の限界 開発量増＝人員増＝コスト増 QA業務 開発工程がAIでどれほど加速しても 旧来のQAがボトルネックになりつづけている 「QA業務」が人の稼働時間に依存する限り リリースサイクルは頭打ちとなる
6. 6 Copyright SHIFT Inc, All Rights Reserved. お客様のプロダクトを第三者として検証し品質のフィードバックを行う SHIFTの検証フローとAI時代でのあるべき姿 お客様への提供プロセス（従来） テスト 実行者 機能 仕様書 テスト ケース 情報確認 ／計画 テスト ケース作成 テスト 実行 レビューと承認 （試験範囲・内容） 確認と修正 テスト 計画書 SHIFT お客様 フィード バック 設計者 不具合 情報 ご担当者様 プロダクト 修正後の 再テスト
7. 7 Copyright SHIFT Inc, All Rights Reserved. AIオブザー バー・実行者 機能 仕様書 テスト ケース 情報確認 ／計画 テスト ケース作成 テスト 実行 レビューと承認 （試験範囲・内容） 確認と修正 テスト 計画書 修正後の 再テスト SHIFT お客様 設計者 不具合 情報 ご担当者様 プロダクト AIを駆使し従来よりももっと高速に正確な品質フィードバックを行う SHIFTの検証フローとAI時代でのあるべき姿 お客様への提供プロセス（これから） AIによる テスト実行 今回の話はここ！ さらに高速な検証結果フィードバックを実現する AIによる設計 フィード バック
8. 8 Copyright SHIFT Inc, All Rights Reserved. 人が読み書きできるSQF(※)準拠のテストケースを高精度に生成することが必要 AIテスト設計エージェント実現のポイント（前提・要件） 機能テスト仕様書 SQFに準拠 ブレのないテスト実行を実現するための 細かなテストケースの粒度・書き方 人が読める ・ステークホルダーがレビューできる ・設計者が読み修正できる 人の作成と遜色なし エンジニアの設計と 同等の精度 開発ドキュメント Excel、PowerPoint、 PDF AI設計 エージェント あらゆる システムが対象 既存資料 書き方のレベルはお客様 によって異なる テスト方針 MD形式 エンジニアが作成 エンジニアにより 計画をテキスト化 ※SQF(SHIFT Quality Framework) 世界的品質保証標準と年間4,000件もの支援経験から得た ナレッジを融合させた SHIFT独自のフレームワーク。 熟練者の 思考 品質保証標準とともに、 フレームワーク化 SQF
9. 9 Copyright SHIFT Inc, All Rights Reserved. A.テスト目的·戦略策定 B.要件分析·スコープ策定 C.項目定義 テスト観点策定 D.テストケース生成 E.カバレッジ·レビュー F .自動修正 G.是正ポイントの提案 H.繰り返し判断 熟練者のプロセスをSQFベースで分解し、AIに最適化してエージェントを構築 AIテスト設計エージェント実現のポイント① AIエージェント群 直列に実行し、 前のインプットを元に作業を行う そのエージェントで定められた インプット以外は参照しない 再実行時は、過去サイクルで作成 した成果物をブラッシュアップする 各AIエージェントの特徴 SQFに基づいた設計プロセスご とにエージェントを構築 SQFに基づいた作業プロンプト を実装 Aから繰り返す 是正 ポイント ケース ケースの 評価 項目 定義 テスト 観点 SQFの設計 プロセスを ベースにAI化 機能 仕様書 テスト 計画書 インプットの レビュー
10. 10 Copyright SHIFT Inc, All Rights Reserved. 必要に応じた実行レベルで、複数サイクル実行することでケースの精度を向上 AIテスト設計エージェント実現のポイント② A.テスト目的·戦略策定 B.要件分析·スコープ策定 C.項目定義 テスト観点策定 D.テストケース生成 E.カバレッジ·レビュー F.自動修正 G.是正ポイントの提案 H.繰り返し判断 AIエージェント群 実行レベル① 15分程度 実行レベル② 20分程度 実行レベル③ 40分～60分程 度 Aから繰り返す 現状のインプットの検証 １ インプットの妥当性レビューより、機能仕様 書やテスト計画書の見直しに活用 実行レベル 一旦テストケースの作成 2 通しで作成して1回めの精度・ヌケモレを確認 繰り返し実行により精度を向上 3 上限回数と精度頭打ちのレベルを指定して、 繰り返し実行し、完成版にする 精度の評価 網羅性、正確性、一貫性、明確性、形式準拠 論理整合性、過不足チェック、方針準拠性 ユーザー価値適合性、エリア間バランス 10個の観点により100点満点で評価 インプットの レビュー ケース 機能 仕様書 テスト 計画書
11. 11 Copyright SHIFT Inc, All Rights Reserved. 人力作成と遜色のないテストケースを短期間での作成を実現 現時点での精度・成果 ※2 以下のプロジェクト規模を想定 ・テスト設計1ヶ月 ・テストケース数12,000ケース ※1 成果物をSHIFTメンバーが 最終的に評価 完成度 人力作成と 遜色のない成果物 を実現 ※1 作成日数 1ヶ月→0.4ヶ月 を実現 ※2
12. 12 Copyright SHIFT Inc, All Rights Reserved. SHIFTが提供する価値 最速で安心をお届けし、 売れるサービスづくりに貢献します。
13. 13 Copyright SHIFT Inc, All Rights Reserved. 告知 詳細
14. Copyright SHIFT Inc, All Rights Reserved. ご清聴ありがとうございました