QAチームの生成AIを使った取り組み：現場のリアル、みんなで語る交流座談会 2025/7/3

Transcript

1. 引持 力哉 Rikiya Hikimochi 弊社QAチームの生成AIを使った取り組み 株式会社LegalOn Technologies
2. 誰？ - 引持 力哉（ひきもち りきや） - 2016-2022 株式会社LIFULL - 2年ほどQA、その後ずっとSoftware Engineer in Test - 2022- 株式会社LegalOn Technologies - ブログ - データ移行のテストに私たちはどう向き合ったか - mablからPlaywrightに移行しました - 登壇 - ソフトウェアテスト自動化カンファレンス - 2019、2020、2022 - 4歳（娘）、2歳（息子） @rmochioo

3. 何している？ me
 QA
 SET
 私
 BE
 FE
 EM
 機能群A
 機能群B
 機能群N

4. 何している？ • 自動テスト基盤の構築 • テストサポート ◦ 自動UIテスト（E2Eテスト）、負荷テスト、APIテスト、データベーステスト、etc • （たまに）QA • （new!）テスト成果物レビュー ◦ テスト計画、設計、分析、実装における成果物のレビュー ◦ テストの目的を明確にし、効率良くテストを実施するためのお手伝い • （new!）QAにおける生成AI推進
6. QAにおける生成AI推進 • 自動UIテスト（E2Eテスト）での活用 • マニュアルテストでの活用
7. QAにおける生成AI推進 • 自動UIテスト（E2Eテスト）での活用 • マニュアルテストでの活用
8. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装
9. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装 ※ 自動UIテストが失敗した時の 
 テストコードの修正作業を指す 

10. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装 修正された
 テストコード
 テストレポート
 error-context.md テストコード
 実装ガイドライン

11. 自動UIテスト（E2Eテスト）での活用 【補足】実装ガイドラインとは？ • これまでのQAでの運用における知見と、公式ドキュメントからの情報を集め た静的解析では対応できない実装のルール ◦ Page Object Modelを利用する ◦ ロケータとしては原則「page.getByRole()」を利用する ◦ 操作のまとまりはtest.step()でまとめる ◦ テスト実施後の後処理もbeforeEach、beforeAllに実装する ◦ Auto-retrying assertionsを利用する ◦ etc
12. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装
13. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装 Page Object
 UI情報 from
 Playwright MCP
 実装ガイドライン

14. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装
15. 自動UIテスト（E2Eテスト）での活用 3つの工程で活用を考える 1. テストメンテナンス 2. Page Object実装 3. テストシナリオ実装 テストコード
 テスト設計
 Page Object
 実装ガイドライン

16. しかし

17. 課題 どの工程においても • 期待する実装をしてくれない • 無駄に操作を追加する • 意図しないコマンドを使ってくる
18. 工夫が必要

19. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える
20. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える
21. 自動UIテスト（E2Eテスト）での活用 例えばテストメンテナンス 人の場合 1. 一度テストを実行してみる 2. テストレポートを確認 3. 実アプリケーションを確認 4. 修正箇所を特定 5. devtool等で修正内容を考える 6. 修正実装
22. 自動UIテスト（E2Eテスト）での活用 例えばテストメンテナンス 生成AIの場合 1. 一度テストを実行してみる 2. テストレポートを確認 3. 実アプリケーションを確認（アクセシビリティツリーを確認） 4. 修正箇所を特定（アクセシビリティーツリーと、テストコードを比較） 5. 修正実装 インプットをどのように、どの順番で利用する かまで
 プロンプトとして与えることでアウトプットの質を高める 

23. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える
24. 自動UIテスト（E2Eテスト）での活用 例えばテストシナリオ実装 良くないテストシナリオの例 1. ログインする 2. ログイン後、トップページに遷移したことを検証する ログインはどのように？ 
 遷移したことは
 どうやって検証？

25. 自動UIテスト（E2Eテスト）での活用 例えばテストシナリオ実装 良いテストシナリオの例 1. https://login.example.com に遷移 2. email、passwordを入力、ログインボタンを押す 3. URLが「https://example.com」であること 4. ページタイトルが「トップページ」であること 誰が実装しても同じ実装になる ようにシナリオを作成する 

26. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える
27. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える とはいえ、実行ごとや人によりアウトプットに差は出てしまう。。。
28. 自動UIテスト（E2Eテスト）での活用 質の高いアウトプットを出してもらうための工夫 • 人間の動きを考える • 明確なプロンプトを与える とはいえ、実行ごとや人によりアウトプットに差は出てしまう。。。 ⇨共通のコンテキストを利用する
29. 自動UIテスト（E2Eテスト）での活用
 • Cursor
 ◦ Cursor Rules 
 • Claude Code
 ◦ CLAUDE.md 
 • Visual Studio Code
 ◦ Custom Instructions 
 ◦ Reusable Prompt Files 
 以下のような普遍的なものについては共通のコン テキストとして定義しておく 
 
 • 実装ガイドラインを参考にすること 
 • 既存の実装を参考にすること 
 • デザインパターン
 • Playwright MCP利用時の諸注意 
 • etc

30. 自動UIテスト（E2Eテスト）での活用
31. 自動UIテスト（E2Eテスト）での活用
32. 自動UIテスト（E2Eテスト）での活用 まとめ • 工程に応じてインプットを考えて利用している • 質の高いアウトプットを出してもらうために工夫した ◦ 人間の動きを考える ◦ 明確なプロンプトを与える • 共通のコンテキストを利用する
33. マニュアルテストでの活用 • テスト実行の自動化 • Pull Requestから実装内容を把握する
34. マニュアルテストでの活用 • テスト実行の自動化 • Pull Requestから実装内容を把握する
35. テスト実行の自動化 • Playwright MCPと生成AIを利用する
36. テスト実行の自動化 • Playwright MCPと生成AIを利用する ⇨ テスト実行の属人化の回避、プロンプトを資産として利用できる
37. テスト実行の自動化 テスト仕様書テンプレートのアップデートを行い、 プロンプトが自動生成されるように修正
38. テスト実行の自動化 ハンズオンの実施 • 実行自動化に向いているテストケースとそうでないテストケース • 生成AIフレンドリーなテスト手順、期待結果の書き方
39. テスト実行の自動化 • 向いているテストケース ◦ 期待値が明確である ◦ 検証までの操作が短い • 向いていないテストケース ◦ 期待値が不明確である ◦ 検証までの操作が長い ◦ 検証項目が多い • 書き方 ◦ コンテキストを知らない誰がテストを実施しても同じ結果になること
40. マニュアルテストでの活用 • テスト実行の自動化 • Pull Requestから実装内容を把握する
41. Pull Requestから実装内容を把握する GitHub Copilot Chat in GitHubを利用することで、Pull Requestから変更内容を 大まかに把握することができる。 • 開発者とのコミュニケーションコストの削減 • テストベースが古くなっている場合に、実装から仕様を追いたい場合 • 開発者側のテストにおいて何が担保されているのかの確認 • 開発者側のテストの抜け漏れの確認
42. Pull Requestから実装内容を把握する プロンプトの例 • 「このプルリクエストの内容について詳細に誰でも分かるように教えてくだ さい。専門用語を可能な限り使わずに教えてください。」 • 「どのようなテストが実装されていますか？」 • 「このPRの内容から、アプリケーションの機能への影響範囲を割り出し、テ ストすべき内容を考えてください」 • 「このプルリクエストの修正内容を修正前、修正後で詳しく教えてくださ い。また、影響範囲（影響機能）も教えてください」
43. マニュアルテストでの活用 まとめ • Playwright MCPと生成AIの利用でテスト実行の自動化を行った。 • テスト仕様書からプロンプト自動生成が行われるようにした。 • 生成AIフレンドリーなテスト実装を行うためのハンズオンを行った。 • Pull Requestから実装内容を把握するために、GitHub Copilot Chat in GitHubを利用するようにした。
44. 利用ツールについて
 自動UIテスト
 • Cursor
 • Playwright
 • Playwright MCP
 マニュアルテスト
 • Cursor
 • Playwright MCP
 • GitHub Copilot Chat in GitHub 

45. おわり

46. お願い • より良いものにするためまだまだ知識が必要 • 色々アイデア聞かせてください • テスト計画、分析、設計での使い方さっぱりわからん