QA業務を変える（！？）AIを併用した不具合分析の実践

不具合分析は、分類作業に時間がかかり判断基準のブレも課題でした。
本発表では、AIと人間の協業により分析作業を効率化した実践例を紹介します。
AIが分析の「たたき台」を作成し、人間が精度を高めるアプローチで、従来5~6時間かかっていたレポート作成を1.5~2時間に短縮（約60-75%削減）しました。

mcp-atlassianを活用したJIRA連携、AI自動判定、Confluenceへの自動レポート登録など、それぞれの強みを活かした取り組みをお伝えします。

Transcript

1. QA業務を変える（！？） AIを併用した不具合分析の実践 【非公式】JASST'25 KYUSHU前夜祭 まつり @ma2ri__
2. 自己紹介 • まつり（ X: @ma2ri__ ） • 2012年にTest Vendorに入社、QAとしてのキャリアをスタート • 現在はフードデリバリーサービスの会社で、主に加盟店様が利用す るアプリ、WebシステムのQAを担当しています • 猫を6匹飼っています
3. AGENDA • 背景・課題 - なぜAI活用が必要か？ • ソリューション - AIと人間の協働 • AI分析の詳細 - 分析項目の自動判定 • アウトプットと効果 - 70%の工数削減と自動レポート生成 • 今後の展開 - さらなる進化へ
4. 不具合分析、時間かかっていませんか？ QA業務の現実 • 不具合から学ぶことは品質向上のカギ • しかし分析作業は時間と労力がかかる • QA業務に追われてなかなか分析の時間が取れない 今日のテーマ 「もっと効率的に、もっと深く分析する」 そのためにAIを併用して不具合分析を実施してみたので、紹介します 背景・課題 - なぜAI活用が必要か？
5. 手作業の3つの限界 時間コスト ・数十件の不具合分類に数時間かかる ・ “本来検出すべき工程”の判断が特に難しい 一貫性の欠如 ・人によって判断基準がブレる ・疲労による判断ミスが発生 見落としのリスク ・ 傾向分析まで手が回らない ・ 改善提案が抽象的になりがち 背景・課題 - なぜAI活用が必要か？
6. システムフロー ハイブリッドアプローチ • AIが「たたき台」を高速作成 • 人間が精度を上げる => 両者の強みを最大限に活用!! AI • JIRA取得 • Ticket分析 人間 • 分析結果 レビュー AI • 最終レポート 作成 人間 • レポート レビュー ソリューション - AIと人間の協働
7. JIRA取得と分析項目の自動判定 JIRA取得 • mcp-atlassian を使用し、分析対象のTicket情報を一括取得 分析項目の自動判定 • 各分析項目を、判断基準に従ってAIが判断し、List化 Issue Key Summary 本来摘出工程 不具合分類 不具合原因 FOOD-1234 注文確定ボタンが二重で押 下可能 Coding/Dev test 実装ミス ボタンの連続押下制御が未 実装 FOOD-1235 チャットボット応答に誤字 Planning 仕様レビュー不足 メッセージテンプレートの 校正が不十分 本来摘出すべき だった工程は？ 不具合の 要因は？ 振り返るべき ポイントは？ AI分析の詳細 - 分析項目の自動判定
8. 重要なのは本来摘出工程 なぜこの項目が重要か？ • 「本来どの工程で防げたか？」を明確化 • プロセス改善の具体的な指針になる • チーム全体の品質意識向上につながる AI判定の仕組み • ガイドラインに基づいた自動判定 • 本来摘出工程の例 • Planning：企画の考慮漏れ • Coding/Dev test：実装誤り、単体・結合テスト不足 • Function Test：テスト実施時の確認ミス => チケット情報からAIが推測してラベリング AI分析の詳細 - 分析項目の自動判定
9. 人間の役割はAIを補完すること レビュー・補正作業 • AI分析結果の妥当性チェック • 誤判定の修正 • 分析対象外チケットの除外（誤起票、重複チケットなど） • ドメイン知識を活かした判断 AIだけでは完璧ではない。人間の知見で精度を高める!! AI分析の詳細 - 分析項目の自動判定
10. 分析結果から自動レポート生成 補正した分析結果を基に、レポート記載内容をAIが生成 • 品質傾向の総合評価 • 分布グラフ: 本来摘出工程別、不具合分類別 等 • QA/開発チーム向け改善提案 mcp-atlassian を使用しレポートを自動登録 • Confluenceの指定したページ配下にレポートを自動作成 • その後、人間の目で最終レビューを実施 人間はレビューと補正のみ。レポート作成作業はほぼ自動化 アウトプットと効果 - 70%の工数削減と自動レポート生成
11. 結果として、大幅な効率化を実現 定量的効果 • 従来: 不具合分析レポート作成に約5~6時間（対象チケットが20件程度の場合） • 現在: 約1.5~2時間 • 削減率: 約60-75% 定性的効果 • 一貫性の確保 ：判断基準のブレを最小化 • 見落としの削減：全件漏れなく分析 • 品質文化の促進：定期的な振り返りにより、企画・開発チーム含めて品質につ いて考えることが可能に アウトプットと効果 - 70%の工数削減と自動レポート生成
12. さらなる進化に向けて 精度向上 • 分析データの蓄積による判断精度の向上 • プロジェクト固有のパターン学習 適用範囲の拡大 • リスク分析への応用 • テストケース設計への活用（PoC実施中） 他チームへの展開 • ツールのテンプレート化 • 他領域のQAチームを含めた、チーム内標準化の検討 今後の展開 - さらなる進化へ
13. AI × HUMAN = BETTER QA AIの強み • 速さ ：数十件を数分で分析 • 一貫性：ガイドライン準拠の判断 人間の強み • 文脈理解：ドメイン知識の活用 • 最終判断：複雑な状況への対応 両者を組み合わせたアプローチで業務の質と効率の向上を期待!! まとめ
14. THANK YOU. ご清聴ありがとうございました。 なお、本発表資料の大部分もAIに作成してもらいました！