QAプロセスAI支援ツールキットの導入とその効果について

Transcript

1. 株式会社LegalOn Technologies QAプロセスAI支援ツールキットの導 入とその効果について Rikiya Hikimochi
2. 2 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 引持 力哉（ひきもち りきや） QA Automation / Software Engineer in Test 横断的な部署にてテストの効率化を図る 格闘技観戦、旅行 私 @rmochioo
3. 4 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 序章：ツールキットの導入 • 第一章：理想だけでは上手くいかなかった • 第二章：改善 • 第三章：現在のツールキット • 第四章：効果 • 第五章：今後の展望と実現したいこと Contents
4. 序章：ツールキットの導入
5. 6 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. クラスメソッドさんの記事を見てしまう きっかけ（ 2025年7月） https://classmethod.jp/news/20250729-tsumiki/
6. 7 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 開発プロセスに応じてコマンドを実行することで、AI支援型のテスト駆動開発を行 える → QAのテストプロセスにおいても同様のことができるのでは？🤔 きっかけ（ 2025年7月）
7. 8 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • テストプロセスに応じたコマンドを実行すること でAI支援型のテスト を行える • 弊社のQAが抱えていた課題も解決できる可能性があった ◦ 生成AIの活用方法がわからない ◦ 活用場面が限られている ▪ 仕様のまとめ、調査など ◦ 活用の知見が個人個人に閉じている きっかけ（ 2025年7月）
8. 9 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 作成（2025年8月） https://tech.legalforce.co.jp/entry/qaprocess-ai-toolkit
9. 10 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時）
10. 11 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時）
11. 12 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • AIへの複雑な指示を、’/’ + 単語 というショートカットに登録できる機能 • チャット上で/を打つと利用できる • /create-test-plan → テスト計画を作成する • /review-specification → 仕様書をQA観点でレビューする カスタムスラッシュコマンドについて
12. 13 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. コマンドを実行すると対応するプロンプトが読み込まれる カスタムスラッシュコマンドについて 概要 前提条件 実行フロー Step 1: テストベースの読み込み Step 2: テスト計画書テンプレートの取得 Step 3: 不足情報の確認 Step 4: テスト計画の作成と保存 Step 5: 完了と後続プロセスへの案内 出力先 制約 create-test-plan.md
13. 14 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 概要 ◦ コマンドの概要を記載する • 前提条件 ◦ 実行時に必要となるものを記載 する ▪ 必要なMCPサーバーなど プロンプトの構成 概要 前提条件 実行フロー Step 1: テストベースの読み込み Step 2: テスト計画書テンプレートの取得 Step 3: 不足情報の確認 Step 4: テスト計画の作成と保存 Step 5: 完了と後続プロセスへの案内 出力先 制約 create-test-plan.md
14. 15 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 実行フロー ◦ Step by StepでAgentが実施す る内容を記載する プロンプトの構成 概要 前提条件 実行フロー Step 1: テストベースの読み込み Step 2: テスト計画書テンプレートの取得 Step 3: 不足情報の確認 Step 4: テスト計画の作成と保存 Step 5: 完了と後続プロセスへの案内 出力先 制約 create-test-plan.md
15. 16 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 出力先 ◦ Notionやローカルなど出力先を 記載する • 制約 ◦ 推測を行わないことなどAgentに 守ってほしいルールを記載する プロンプトの構成 概要 前提条件 実行フロー Step 1: テストベースの読み込み Step 2: テスト計画書テンプレートの取得 Step 3: 不足情報の確認 Step 4: テスト計画の作成と保存 Step 5: 完了と後続プロセスへの案内 出力先 制約 create-test-plan.md
16. 17 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時）
17. 18 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 対話型を利用することでユーザーが入力する選択肢を狭める ◦ 利用者の思考コストを減らす ▪ 誰でも利用できる ◦ アウトプットの質を均一化する 対話型
18. 19 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時）
19. 20 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 細かく成果物の精査を行うことで 大きな手戻りを防ぐ • コマンド（プロンプト）の肥大化を防ぐ プロセスの細分化
20. 21 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時）
21. 22 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 成果物はNotionに出力する 可能な限り現状のテスト作業に影響を与えない
22. 23 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 提供開始🎉
23. 24 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. その後もコマンドを続々追加していった
24. がしかし、、
25. 第一章：理想だけでは上手くいかなかった
26. あまり使ってもらえなかった 😭
27. 28 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ヒアリングを実施した 課題発掘
28. 29 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 4. 可能な限り現状のテスト作業に影響を与えない ツールの特徴（当時） 🕵
29. 30 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. カスタムスラッシュコマンドの利用 2. 対話型 3. プロセスの細分化 ☠ 4. 可能な限り現状のテスト作業に影響を与えない ☠ ツールの特徴（当時） 🕵
30. 31 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. プロセスの細分化 プロセス コマンド 概要 計画 /create-test-plan テンプレートに従い、テスト計画書を作成する 分析（ゆもつよメソッド） /yumotsuyo-feature-list 機能一覧の作成 /yumotsuyo-test-categories テストカテゴリの決定 /yumotsuyo-potential-defects 起こりうる不具合の作成 /yumotsuyo-test-specification-items 仕様項目と期待結果の作成 分析（VSTeP） /vstep-test-viewpoints テスト観点ツリー作成 /vstep-test-frames テストフレーム作成 分析 /create-factor-levels 因子水準の洗い出し 設計 /select-test-technique 最適なテスト技法の決定 /apply-test-technique テスト技法の適用 実装 /create-test-cases テストケース作成 実行 /execute-test テストの自動実行
31. 32 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. プロセスの細分化 プロセス コマンド 概要 計画 /create-test-plan テンプレートに従い、テスト計画書を作成する 分析（ゆもつよメソッド） /yumotsuyo-feature-list 機能一覧の作成 /yumotsuyo-test-categories テストカテゴリの決定 /yumotsuyo-potential-defects 起こりうる不具合の作成 /yumotsuyo-test-specification-items 仕様項目と期待結果の作成 分析（VSTeP） /vstep-test-viewpoints テスト観点ツリー作成 /vstep-test-frames テストフレーム作成 分析 /create-factor-levels 因子水準の洗い出し 設計 /select-test-technique 最適なテスト技法の決定 /apply-test-technique テスト技法の適用 実装 /create-test-cases テストケース作成 実行 /execute-test テストの自動実行 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる
32. 33 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる 利用されなかった理由
33. 34 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 成果物はNotionに出力する 可能な限り現状のテスト作業に影響を与えない
34. 35 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 成果物はNotionに出力する 可能な限り現状のテスト作業に影響を与えない 4. 成果物の次プロセスへの引渡しが面倒 a. 都度Notionリンクを入力する必要があった 5. MCP経由での作成、編集に時間がかかる
35. 36 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる 4. 成果物の次プロセスへの引渡しが面倒 5. MCP経由での作成、編集に時間がかかる 利用されなかった理由
36. 37 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる 4. 成果物の次プロセスへの引渡しが面倒 5. MCP経由での作成、編集に時間がかかる 6. 使い方がわからない 利用されなかった理由
37. 38 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる 4. 成果物の次プロセスへの引渡しが面倒 5. MCP経由での作成、編集に時間がかかる 6. 使い方がわからない 利用されなかった理由 面倒 > 利用のメリット
38. 第二章：改善
39. 40 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない 2. 複雑なコマンドの依存関係 3. 成果物の確認工数がかかる 4. 成果物の次プロセスへの引渡しが面倒 5. MCP経由での作成、編集に時間がかかる 6. 使い方がわからない 利用されなかった理由
40. 41 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 細かく切る設計から、標準的なテストプロセスのみに絞る設計へ 改善1：コマンドの削減
41. 42 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 12 → 5まで削減 シンプルな構成に 改善1：コマンドの削減 プロセス コマンド 概要 計画 /create-test-plan テンプレートに従い、テスト計画書を作成する 分析 /create-test-analysis テスト観点を用いて因子水準表を作成し、テスト目的のカバレッ ジを確認する 設計 /create-test-design テスト技法を決定・適用し、ディシジョンテーブルや組み合わせ 表などのテスト設計成果物を作成する 実装 /create-test-cases テストケースの作成を行う 実行 /execute-test テストケースの実行を行う 計画 分析 設計 実装 実行
42. 43 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. いつ、どのコマンドを利用すべきかわからない ✅ → 標準プロセスとコマンドが 1対1で対応しているため迷わない 2. 複雑なコマンドの依存関係 ✅ → コマンド数が減ったことによりシンプルに 3. 成果物の確認工数がかかる ✅ → コマンド数が減ったことにより成果物の数も減った 改善1：コマンドの削減
43. 44 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 当初想定していた細かく切ることによるメリットは失われるのではないか • 細かく成果物の精査を行うことで大きな手戻りを防ぐ • コマンド（プロンプト）の肥大化を防ぐ 改善1：コマンドの削減 🤔
44. 45 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 当初想定していた細かく切ることによるメリットは失われたのではないか • 細かく成果物の精査を行うことで大きな手戻りを防ぐ → 改善4: レビューを厚めに行う • コマンド（プロンプト）の肥大化を防ぐ → 改善5: テスト観点と突き合わせるシンプルな構成に 改善1：コマンドの削減
45. 46 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. 複雑な依存関係 ✅ 2. 成果物のレビュー工数がかかる ✅ 3. いつ、どのコマンドを利用するかわからない ✅ 4. 成果物の次プロセスへの引渡しが面倒 5. MCP経由での作成、編集に時間がかかる 6. 使い方がわからない 利用されなかった理由
46. 47 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 施策に対応するディレクトリを作成 • 成果物はMarkdownで作成し、Gitで管理する 改善2：Markdownの利用とGit管理
47. 48 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 4. 成果物の次プロセスへの引渡しが面倒 ✅ 　→ 施策を指定するのみで手動入力は不要 5. MCP経由での作成、編集に時間がかかる ✅ 　→ MCPを経由しないため、出力のオーバーヘッドを削減できる 副次的な効果 • CIと連携できる • プルリクエストによるレビュー機能を活用できる 改善2：Markdownの利用とGit管理
48. 49 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. 複雑な依存関係 ✅ 2. 成果物のレビュー工数がかかる ✅ 3. いつ、どのコマンドを利用するかわからない ✅ 4. 成果物の次プロセスへの引渡しが面倒 ✅ 5. MCP経由での作成、編集に時間がかかる ✅ 6. 使い方がわからない 利用されなかった理由
49. 50 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ユーザーとなるQAエンジニア向けにハンズオンを実施した • 架空の施策を利用 • ツールキットを利用してテスト計画~テスト設計まで一通り実施する 改善3：ハンズオンの実施
50. 51 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. 複雑な依存関係 ✅ 2. 成果物のレビュー工数がかかる ✅ 3. いつ、どのコマンドを利用するかわからない ✅ 4. 成果物の次プロセスへの引渡しが面倒 ✅ 5. MCP経由での作成、編集に時間がかかる ✅ 6. 使い方がわからない ✅ 利用されなかった理由
51. 52 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. プロセスに対応して、レビューを行うコマンド を導入 レビュー観点 は有識者で行っていたテスト成果物レビュー より抽出 改善4: レビューコマンドの導入
52. 53 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • レビュー工数の削減 • テスト成果物の品質の向上 • レビュー品質の標準化 • 大きな手戻りを防ぐ 改善4: レビューコマンドの導入
53. 54 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. テスト成果物作成時に参照するテスト観点の導入を行った テストの種類に応じて使い分ける 改善5: テスト観点の導入 観点 概要 標準機能テスト観点 アプリケーションに依存しない標準的な観点 アプリケーション機能テスト観点 アプリケーションに依存する観点 セキュリティテスト観点 セキュリティに関連する観点 性能テスト観点 性能テストに関連する観点
54. 55 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • 暗黙知として扱われたり、チームごとに管理されていた観点をツールキットに 集約できる • 品質担保の知識を単一コマンドに集中させず、分けて管理することにより、コ マンド（プロンプト）の肥大化を防げる 改善5: テスト観点の導入
55. 56 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • CI上でAgentがレビューコマンドを実行、レビューコメントをつける • QAのレビューコメントはレビュー、テスト観点をアップデートするために利用さ れる 改善6: CIへの組み込み
56. 57 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. • Codexなど、ツールによってコマンドが利用できないものもあるため、コマンド のAgent Skills化を行った • コマンドはスキルを参照する形に変更、スキル単体でも利用可能 改善7: コマンドの Agent Skills化 Command Skill User
57. 58 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 1. コマンドの削減 2. Markdownの利用とGit管理 3. ハンズオンの実施 4. レビューコマンドの導入 5. テスト観点の導入 6. CIへの組み込み 7. コマンドのAgent Skills化 改善
58. 第三章：現在のツールキット
59. 60 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 現在のツールキット テスト計画 /create-test-plan テスト分析 /create-test-analysis テスト設計 /create-test-design レビューサイクル 実行フロー （CI）Agent レビュー QAレビュー （CI）観点抽出 レビュー観点 テスト観点 ナレッジの蓄積 アップデート PR作成
60. 61 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） コマンドを実行する
61. 62 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） 施策を選択する
62. 63 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） 仕様の分析が行われる
63. 64 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） テスト観点との突き合わせを行う
64. 65 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） 成果物の作成完了
65. 66 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） 確認項目と関係する因子水準 テスト計画時の目的を担保できているか
66. 67 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） PR上ではAgentによるレビューが行われる
67. 68 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 利用例：テスト分析（ /create-test-analysis） PRマージ後、人間のレビューコメントは観点として抽出される
68. 第四章：効果
69. 70 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 普段のQA業務における生成AIの利用程度 2025年7月のアンケート（ n = 11） QA業務における生成AIによる効率化の程度 • 「作業を少し代替している」（45.5%） • 「作業に対するヒントを得ている」（ 45.5%） • 「利用していない」（9.1%） • 「作業効率が少し上がっている」（ 70%） • 「ほとんど寄与していない」（30%）
70. 71 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 普段のQA業務における生成AIの利用程度 2025年11月のアンケート（ n = 10） QA業務における生成AIによる効率化の程度 • 「作業を少し代替している」（60%） • 「作業の大部分を代替している」（ 20%） • 「作業に対するヒントを得ている」（ 10%） • 「利用していない」（10%） • 「作業効率が少し上がっている」（ 88.9%） • 「作業効率がかなり上がっている」（ 11.1%）
71. 72 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. QA業務における生成AIの使い方 2026年2月のアンケート（ n = 16） 生成AI活用による業務時間短縮の度合い • 「QA業務に組み込まれている」（60%） • 「AI活用を展開、共有している」（6.3%） • 「利用していない」（0%） • 多くの回答で大幅な短縮（81.3%） • 一部は短縮が限定的／変化なし（ 18.8%）
72. 73 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. まとめ • 導入後、利用されないという課題に直面した ◦ 細分化しすぎたプロセスと成果物管理が主な原因だった • コマンド削減やGit管理への移行などの改善を実施 ◦ シンプルな構成になり、継続的なレビューサイクルを確立できた • 定着後、QA業務におけるAI活用が進み、業務時間が大幅に短縮した
73. 第五章：今後の展望と実現したいこと
74. 75 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 今後の展望と実現したいこと • テスト実施主体をQAからAgentに • ガードレールの整備
75. 76 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. テスト実施主体を QAからAgentに テスト計画 /create-test-plan テスト分析 /create-test-analysis テスト設計 /create-test-design Agent QA （CI）Agent レビュー QAレビュー （CI）観点抽出 レビュー観点 テスト観点 QA/Agent アップデート PR作成
76. 77 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. テスト実施主体を QAからAgentに 🏻💻 Skill実行 レビュー Skill作成 Skill更新 観点更新 計画 分析 設計 実行 仕様書作成 仕様書更新
77. 78 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. テスト実施主体を QAからAgentに 🏻💻 Skill実行 レビュー Skill作成 Skill更新 観点更新 計画 分析 設計 実行 仕様書作成 仕様書更新 QAはAgentが高品質な出力を出すための 仕組みづくり、サポートに注力する
78. 79 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ガードレールの整備 Skillの劣化を防ぐためのガードレールを整備したい スキル変更 基準仕様書 基準成果物 CI 入力 スキル実行 成果物生成 差分比較 判定基準 Pass / Fail
79. 80 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ガードレールの整備 Skillの劣化を防ぐためのガードレールを整備したい スキル変更 基準仕様書 基準成果物 CI 入力 スキル実行 成果物生成 差分比較 判定基準 Pass / Fail QAが安心してSkillを開発、改修できる環境を 構築する
80. 81 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 今後の展望と実現したいこと • テスト実施主体をQAからAgentに • ガードレールの整備
81. 株式会社LegalOn Technologies https://legalontech.jp/