やってみよう！生成AIを使用して実際の不具合情報から、汎用的なテスト観点を育てツールで管理する！ / 20250530 Suguru Ishii

2025/5/30 JaSST’25 Tohoku
https://jasst.jp/tohoku/

株式会社SHIFT
CATエヴァンジェリスト
石井 優

Transcript

1. Copyright SHIFT INC, All Rights Reserved. 2025 / JaSST’25 Tohoku 株式会社SHIFT CATエヴァンジェリスト Suguru Ishii 30 5 石井 優 やってみよう！ 生成AIを利用して実際の不具合情報から、 汎用的なテスト観点を育てツールで管理する！
2. 2 Copyright SHIFT INC, All Rights Reserved. 登壇者紹介 経歴 • 2009/4 – 2014/11 倉庫系システム部門 • 2014/12 – 2015/7 東中野のPCサポート屋さん・石井屋 • 2015/8 - 株式会社SHIFT CATサポート、プリセールス、エヴェンジェリスト ソリューション本部 デリバリ改革統括部 デリバリ改革部 サービスプラットフォームグループ CATエヴァンジェリスト 石井 優（Suguru Ishii） 大規模テストの進捗・品質を可視化 テスト管理ツール 「CAT」 約820社 約18,000ライセンス(※） ※2025年3月時点 CATほど 面白いプロダクトは なかなかない！
3. 3 Copyright SHIFT INC, All Rights Reserved. アジェンダ テスト観点データベースの運用をAIを使ったらもっと楽になるのでは？ アジェンダ 本発表ではChatGPTにデータの入力を行っておりますが、機密事項にはあたらない情報を取り扱って おります。企業内のデータを扱う場合、各企業のポリシーに従って生成AIをご利用ください。 ⚫ テスト観点と観点データベースを運用する目的 ⚫ 運用のボトルネックと目論見 ⚫ 実践！不具合情報からテスト観点を生成してTDで活用 ⚫ まとめ ⚫ 製品紹介
4. 4 Copyright SHIFT INC, All Rights Reserved. テスト観点と観点データベースを運用する目的 次の開発や他の機能で過去に発生した不具合を防ぐため、観点DBをメンテする ⚫ JSTQBにおけるテストレベル、システムテストを対象 (弊社クラウド製品のリリーステストを想定) ⚫ 抽象度の高いテストケース＝テスト観点 ⚫ テスト観点データベースをメンテする目的 ・過去に発生した不具合を、同一機能のテストで繰り返さない ・他の機能や製品で発生した不具合を、別の製品でも防ぐ ・設計作業を効率化する 不具合情報 不具合情報 を起票 観点DBの メンテナー 不具合情報からテ スト観点を抽出し、 DBへ反映 テスト設計者 観点をベースに 設計書を作成 テスト実施フェーズ 振り返りフェーズ 次回設計フェーズ ・不具合の再発を防止 ・他の機能・製品に流用 ・設計を効率化 テスター 不具合情報 テスト設計書 を作成 テスト観点DB テスト観点DB 1 2 3 今回扱う "テスト 観点"の前提 テスト観点データベースの運用
5. 5 Copyright SHIFT INC, All Rights Reserved. 運用のボトルネックと目論見 不具合情報をベースに観点を作成する労力を生成AIが担うと、すごく楽にならないか？ 不具合情報 不具合情報 を起票 テスト設計者 観点をベースに 設計書を作成 テスト実施フェーズ 次回設計フェーズ ・不具合の再発を防止 ・他の機能・製品に流用 ・設計を効率化 テスター テスト設計書 を作成 テスト観点マスター 1 3 今回扱う”テスト 観点”の前提 テスト観点データベースの運用 観点DBの メンテナー 不具合情報からテ スト観点を抽出し、 DBへ反映 振り返りフェーズ 不具合情報 テスト観DB 2 観点を文章で 作成する労力が発生 不具合情報をベースに 生成AIで簡略化できないだろうか ⚫ JSTQBにおけるテストレベルシステムテストを対象 (弊社クラウド製品のリリーステストを想定) ⚫ 抽象度の高いテストケース＝テスト観点 ⚫ テスト観点データベースをメンテする目的 ・過去に発生した不具合を、同一機能のテストで繰り返さない ・他の機能や製品で発生した不具合を、別の製品でも防ぐ ・設計作業を効率化する
6. Copyright SHIFT INC, All Rights Reserved. 6 実践、不具合情報から テスト観点を生成して“TD”で活用！
7. 7 Copyright SHIFT INC, All Rights Reserved. 前提 シチュエーションの前提 ⚫ 観点DBを運用しており、既に観点の集まりがある ⚫ とある製品でリリーステストを実施 ⚫ 不具合振り返り時に観点DBになかったものがあり追加をしたい
8. 8 Copyright SHIFT INC, All Rights Reserved. 対象とする不具合の選定 次回以降のテストで観点に入れたい不具合情報を選定 観点をつくりたい不具合情報
9. 9 Copyright SHIFT INC, All Rights Reserved. 内容 不具合情報からGPT(4o)に投入し、活用できそうな観点情報が得られた プロンプト 出力された観点情報 プロンプト 不具合情報 (コピペ)
10. 10 Copyright SHIFT INC, All Rights Reserved. 検証 4個中2点は不要、残りの2点は有効な観点であった 出力された観点情報(修正前) 対象の機能(遷移前) ① ② ③ ④ ① 対象の機能(遷移後) ② 出力された観点情報(修正後) ②”テスト観点”とあるが、正しくは”フィールドの値” ③と④は②にて包括および的外れなため削除
11. 11 Copyright SHIFT INC, All Rights Reserved. 取り込み・利用 TDへカタログ情報として取り込み、次回の設計時にスムーズに引用できる Excelに貼り付け TDのカタログに登録 カタログをベースに設計を実施 確認項目まではカタログから引用 期待値は入力
12. 12 Copyright SHIFT INC, All Rights Reserved. まとめ 観点化したい不具合の量に応じて、文書作成コストの低減に一定の成果あり 当初の期待 １．不具合情報をベースに汎化した テスト観点を概ね出力する ２．手で作成して登録する大変さを 低減する ちょっと間違いはあるが、 使えそうなテスト観点が得られた 結果 おおむね期待通り • 1から文章を作成する労力が無く非常に楽。 不具合の量が多いと効果も大。 • 観点を作成時の記載粒度・利用する文言を 統一しやすい 気づき プロダクトに照らし合わせて正しさを検証する 必要あり 難易度が高いと、検証の負荷は高くなるかも？ ？ 不具合を起票する労力(タイピング、文字 起こし、文書の校正)を再利用となっている ！ 不具合起票の 労力 労力の 再活用！！ 不具合情報 不具合情報 を起票 テスター テスト観点DB
13. 13 Copyright SHIFT INC, All Rights Reserved. 今後取り組みたいこと 今後取り組みたい観点周りのAI効率化のテーマ ⚫ 観点DBにない不具合の発生をAIで自動的にチェックする ⚫ 追加する・しないの判断をAIがチェックする ⚫ トップダウンのアプローチをAIで支援する 今回はボトムアップの話ではあるが、観点を増やしていく際に階層化・整理をAI で支援、トップダウンでの観点作成・整理も必要 観点DBの運用全体をAIで支援できるように仕組み化したい
14. 14 Copyright SHIFT INC, All Rights Reserved. 製 品 紹 介
15. 15 Copyright SHIFT INC, All Rights Reserved. CAT・TD フリープラン リリース！ 小規模なチーム向けの永続的に無償でご利用いただけるプランをご用意しました！ 「テスト管理 CAT」で検索して今すぐ利用開始！ フリープランの特徴 主要機能は 制限なし テスト管理、課題管理、 進捗管理、分析 最大ユーザー数 10 ユーザー 利用開始まで 約3分 カードの登録も不要！ サポートも利用化 （ベストエフォート） サンプルデータも 利用可！ こんなお客様へおすすめ • 小規模なチームでテスト管理・課題管理を利用したい • ノーマルプランの利用検討のために長期で利用したい • CATに興味があるのでとりあえず触ってみたい とことん使い倒す技 • 1組織内でもメールアドレスが異なる場合は複数の環境も構築可能 • 課題管理のカスタマイズも無制限 カスタムフィールドやフローで課題管理・分析基盤を構築 • テスト仕様書や課題の登録は無制限 • 高度な進捗管理、分析機能でプロジェクトを見える化 制限事項(ノーマルプランとの差異) • 同時プロジェクト管理数：5個 • 最大ユーザー数：10ユーザー • 90日利用しない場合自動クローズ • 連携機能などの制限あり （外部BTS連携、ガントチャートなど） 詳細は価格ページをご確認ください サンプルデータを触って各種機能をお試しいただけます 製品HPイメージ
16. Copyright SHIFT INC, All Rights Reserved. ご清聴ありがとうございました