生成AIをテストプロセスに活用し"よう"としている話 #jasstnano

JaSST nano vol.49 の発表資料です。
https://jasst-nano.connpass.com/event/354190/

Transcript

1. 生成AI をテストプロセスに活用し" よう" としている話 テックタッチ株式会社 QA エンジニア Michiya Maki JaSST nano vol.49 2025/06/17
2. 焼き鳥が焼ける QA エンジニア システムエンジニア 道内独立系IT 企業・札幌市内ベンチャー企業 東証プライム 第三者検証企業 IT コンサルタント 10 年 4 年 自己紹介 巻　宙弥（まき　みちや） 主な担当業務 Saas ベンダー企業、テックタッチ( 株) のQA エンジニア 札幌でフルリモート勤務中 マイブームは“ おうちやきとり” # 札幌串打同盟 経歴 チーム横断QA 活動 QA 体制の構築 品質マネジメント マネージャー 4 年 コミュニティ JaSST’25 Hokkaido 実行委員 JBUG 札幌 運営 7/25 開催 予定！
3. はじめに 本発表は、昨年12 月の自動化カンファレンスで弊社エンジニア が紹介した開発プロセス「テストスクラム」のその後・・です 資料はこちら
4. テストスクラムとは？ 資料はこちら QA と開発者が協力し、共にテストについて考え、 手動テストの負荷を抑えながら継続的に品質を作り込む施策。
5. テストスクラムとは？ QA と開発者が協力し、共にテストについて考え、 手動テストの負荷を抑えながら継続的に品質を作り込む施策。 『アジリティと品質を兼ね備えた安定したリリース』の実現 資料はこちら
6. テストスクラムへの期待 QA エンジニアが信頼できる自動テストになっていること テストケースと自動テストが連携できていること 開発プロセスの中で自動テストを増やし続けること 開発者の自動テストが何をカバーしているのか、QA が把握しづらいこともあり、 お互いに信頼して任せられる関係性や文化が育っていないと、どうしても手動テストに頼りがちに。 自動テストがどのテストケースに対応しているかがわからないままだと、 テストケースと自動テストが“ 連携” していない状態になり、手動テストの工数は減らない。 自動化を前提に開発できていないと、あとから手動テストを自動化するコストがかかり、 結果として自動テストがなかなか増えない。 テストスクラムとは？
7. 仕様策定 プランニング テストリスト 実行結果 レビュー テスト分析・設計 テスト実装 自動テスト 実行 テストリスト レビュー 運用 開発者 QA テスト実装 テスト実装 手動テスト 実施 テストスクラムのプロセス テストを自動テストとして作り切るまでの一連の流れを実現 連携 参照 通常のテストプロセス テストスクラムとは？
8. テストスクラムのスコープ 8/25
9. ユニットテスト コンポーネントテスト インテグレーションテスト E2E テスト システムテスト 結合テスト コンテキストを揃える UI を必要としないロジックのテスト UI コンポーネントを対象としたテスト バックエンドAPI はモック、それ以外は実際の動作環境と同じ 実際に動作するバックエンドAPI 使ったテスト 例）バリデーション処理（文字種、形式チェックなど） 例）入力の境界値、エラーメッセージ表示など 例）状態遷移、API のエラーケース、意図しないデータパターンなど 例）ユースケーステスト、設定や権限など前提条件を含んだ動作確認 QA が開発者の使うテストの分類に寄り添い、コンテキストを合わせる なるべく使わない テストスクラムのスコープ 統合テスト
10. ユニットテスト コンポーネントテストを対象とする コンポーネントテスト インテグレーションテスト E2E テスト UI を必要としないロジックのテスト UI コンポーネントを対象としたテスト バックエンドAPI はモック、それ以外は実際の動作環境と同じ 実際に動作するバックエンドAPI 使ったテスト 例）バリデーション処理（文字種、形式チェックなど） 例）入力の境界値、エラーメッセージ表示など 例）状態遷移、API のエラーケース、意図しないデータパターンなど 例）ユースケーステスト、設定や権限など前提条件を含んだ動作確認 テストスクラムのスコープはコンポーネントテスト テストスクラムのスコープ
11. テストリスト 11/25
12. 仕様策定 プランニング テストリスト 実行結果 レビュー テスト分析・設計 テスト実装 自動テスト 実行 テストリスト レビュー 運用 開発者 QA テスト実装 テスト実装 手動テスト 実施 テストリスト 自動テストの対象をリスト化、QA とテスト方針をすり合わせる 連携 参照 通常のテストプロセス テストリスト
13. テストリストとは？ テストリスト UI コンポーネントを対象としたテストをリスト化
14. テストリストとは？ UI コンポーネントを対象としたテストをリスト化 自動テストの可否をマーキング テスト管理ツールへの関連付け レビューコメントを記録 テストリスト
15. ふりかえり 15/25
16. 半年間のトライ・アンド・エラーの結果 ふりかえり 手動テストを6 割削減（130 件中80 件） 手動テスト開始までに検出された不具合の増加 開発者がテストリスト作成中に不具合を検出 テスト分析後にハイレベルテストケースで探索的テストを実施 テストの分類により自動化できるコンポーネントテストが明らかになった 開発中に確認されるテストを、手動テストとして設計する必要がなくなった
17. テストスクラムの問題 ドキュメントの変更管理が大変 上位ドキュメントとの重複で冗長に 案件によってテストリスト作成の向き不向きがある テスト設計の作成＆レビューの難易度が高くなった ふりかえり
18. 仕様策定 プランニング テストリスト 実行結果 レビュー テスト分析・設計 テスト実装 自動テスト 実行 テストリスト レビュー 運用 開発者 QA テスト実装 テスト実装 手動テスト 実施 テストスクラムの問題 ドキュメンテーションに関わるプロセスに負担 連携 参照 通常のテストプロセス ふりかえり
19. 生成AI の活用 しようとしている 19/25
20. 仕様策定 プランニング テストリスト 実行結果 レビュー テスト分析・設計 テスト実装 自動テスト 実行 テストリスト レビュー 運用 開発者 QA テスト実装 テスト実装 手動テスト 実施 問題解決に生成AI を活用し “ よう” 生成AI の活用 テストリスト作成からテスト設計の作成支援に活用（したい） 連携 参照 通常のテストプロセス
21. 生成AI の活用例（レビュー） テストリストから状態遷移図、因子・水準を抽出 一般的な仕組みとのギャップや、 意図したテストアプローチとのギャップを確認し、 テスト分析・設計に活用 生成AI の活用
22. 生成AI の活用例（Ask Devin ） ソースコードから考慮すべきエラーケースを導出 設計されたエラーケースをコードベースで確認し、 インテグレーションテストの過不足をチェック 生成AI の活用
23. 仕様策定 プランニング テストリスト 実行結果 レビュー テスト分析・設計 テスト実装 自動テスト 実行 テストリスト レビュー 運用 開発者 QA テスト実装 テスト実装 手動テスト 実施 ドキュメンテーションのプロセスを効率化 テストリスト作成 及び テスト設計書のベースを生成AI で作成・汎化したい 連携 参照 通常のテストプロセス 生成AI の活用
24. 開発速度の進化に テストも追従できるように
25. ご清聴ありがとうございました ご清聴ありがとうございました