テストプロセスにおけるAI活用 ：人間とAIの共存

2026.03.20 JaSST'Tokyo 2026
『テストプロセスにおけるAI活用 ：人間とAIの共存』
蛯子 将樹
滝田 啓介

Transcript

1. Last Update 2022.03.16 テストプロセスにおけるAI活用 ：人間とAIの共存 株式会社hacomono QA部 滝田啓介, 蛯子 将樹
2. 2 Copyright hacomono Inc. All Rights Reserved. 滝田 啓介 / tackey @tackeyqa 日夜生成AIと喧嘩中 自己紹介 蛯子 将樹 / ebi-chan 日夜美味しいラーメンを探して います
3. section 1 hacomonoについて
5. Confidential About 5 会員管理・予約・振替・キャンセル・決済・請求管理・売上管理・債権管理 入退館・EC・POS・本人認証カメラ・QRリーダー ・総合フィットネスクラブ ・ヨガ・ピラティス ・パーソナルジム ・24時間ジム フィットネスクラブ ・屋外運動場 ・屋内運動場 ・体育館 ・水泳プール ・学校 ・レジャー施設 公共運動施設 ・Jリーグ（サッカー） ・Bリーグ（バスケットボール） ・野球チーム・サッカーチーム etc スポーツチーム ・スイミングスクール ・ダンス・バレエスクール ・ゴルフスクール ・テニススクール ・カルチャースクール ・空手・体操スクール ・サッカースクール 運動スクール ウェルネス施設の手続きをすべてデジタル化
6. Confidential About 6
7. Confidential About 7
8. 8 Copyright hacomono Inc. All Rights Reserved. “インプロセスQA” 引用: https://danashby.co.uk/2016/10/19/continuous-testing-in-devops/ QAエンジニア
9. section 2 AIによってQAエンジニアの 仕事はどう変わったか 滝田 啓介 / tackey
10. 10 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
11. 11 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
12. 12 Copyright hacomono Inc. All Rights Reserved. 本日登場するツール群 Cursor / Claude Code AIネイティブな開発・検証の 基盤。思考のスピードでQA を加速させます。 Agent Skills テスト分析や実装など、QA 固有の専門知識をAgentに付 与した知能拡張。 MCP Tools PlaywrightやNotionと連 携。Agentに強力な「手足」 を与える機能群。
13. 13 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
14. 14 Copyright hacomono Inc. All Rights Reserved. hacomonoQAの課題感 開発スピードに追いつく 開発スピードの向上において いかれない。 サイクルを崩さずに価値検証 を行う。 テスト精度向上 QAコーチ プロダクトコードを理解した テストをしたい。 QAエンジニア以外でもテス トができる土台を作る。
15. 15 Copyright hacomono Inc. All Rights Reserved. hacomonoQAの課題感 開発スピードに追いつく 開発スピードの向上において いかれない。 サイクルを崩さずに価値検証 を行う。 テスト精度向上 QAコーチ プロダクトコードを理解した テストをしたい。 QAエンジニア以外でもテス トができる土台を作る。 →AIをこれらの解消に向けて活用できないか？
16. 16 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
17. 17 Copyright hacomono Inc. All Rights Reserved. 「ツール」から「パートナー」へのシフト 過去: 補助ツールとしてのAI 人間が作業を指示する。 特定の作業においてAIを利用した。 （断片的なコード生成など）
18. 18 Copyright hacomono Inc. All Rights Reserved. 「ツール」から「パートナー」へのシフト 現在: 自律的なパートナー AI Agentがプロセスの中心。 人間は目的と文脈を共有し、Agentが自律的 にタスクを牽引する。
19. 19 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
20. 20 Copyright hacomono Inc. All Rights Reserved. テストプロセスの自律化 - テスト分析・設計 INPUT ・開発詳細(チケット、PRD) ・受け入れ条件 ・修正コード PROCESS ・解析、抽出 改修内容、対象機能、影響範囲 を自動抽出 ・フォーマット 指定フォーマットで出力 OUTPUT ・テスト分析結果 ・テストケース ・デシジョンテーブル
21. 21 Copyright hacomono Inc. All Rights Reserved. ・テスト分析結果 ・テストケース ・デシジョンテーブル 上記はテスト分析・設計のア ウトプット テストプロセスの自律化 - テスト実行 INPUT PROCESS ・テストを理解する テストする内容 実際にブラウザを操作する ・Agentがテストケースを実 行する PlaywrightMCP/CLI OUTPUT ・テスト実行結果 ・バグ検出 バグがあれば再度コードを読 んで原因まで特定させる ただし仕様orバグの判断はま だ甘い
22. 22 Copyright hacomono Inc. All Rights Reserved. ・テストシナリオ/ケース ・既存のテストコード ・プロンプト/Agent Skill テストプロセスの自律化 - E2Eテスト実装 INPUT PROCESS ・AgentがE2Eテストを実装 する 受け入れ条件を期待値にする 実装&デバッグを繰り返して passするように自動修復 OUTPUT ・リグレッションテスト 実装したらそのまま運用する ・仕様書 E2Eテストを見れば機能仕様 が理解できる
23. 23 Copyright hacomono Inc. All Rights Reserved. ・E2Eテストに組み込まない 箇所をテストする 要求を満たすかどうかなど ・エッジケースをチェック 特定条件で発生するケースを 想定 テストプロセスの自律化 - テスト実行・E2Eテスト実装の関係性 テスト実行 E2Eテスト ・passすることを目指す 開発中はpassしない箇所もあ る ・開発が進む/改修の度に実 行する デグレが検知できる それぞれの関係 ・E2Eテストで受け入れ条件 を常にチェックする ・手動テストは繰り返さない テストを対象にする （Agent/人間どちらも）
24. 24 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
25. 25 Copyright hacomono Inc. All Rights Reserved. AI活用を広げるための3ステップ Phase 1: 慣れる まずは特定のタスクをAgent に任せ、AIの特性と限界を理 解する。 Phase 2: 並走する 人間とAgentが同一Task内で役割を 分担し、リアルタイムに並走。 Phase 3: 自律化 複数TaskをAgentが自律実 行。人間はオーケストレー ターに回る。
26. 26 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
27. 27 Copyright hacomono Inc. All Rights Reserved. AIと人間（QAE）の棲み分け AI Agentの役割 ・ドキュメントの横断分析 ・テストの自動実行 ・コード実装 人間（QAE）の役割 ・Agent Skillの定義と拡充 ・ドメイン特有の傾向分析 ・最終的な品質の意思決定
28. 28 Copyright hacomono Inc. All Rights Reserved. 目次 1. 本日登場するツール群 2. hacomonoQAの課題感 3. 「ツール」から「パートナー」へのシフト 4. テストプロセスの自律化 5. AI活用を広げるための3ステップ 6. AIと人間（QAE）の棲み分け 7. まとめ
29. 29 Copyright hacomono Inc. All Rights Reserved. まとめ 「実行者」から「オーケストレーター」への進化: 　AIが自律的に動けるよう、環境を整え、経験をSkillとして注入する。 コンテキストを積み上げる: 　工程を細切れにせず、Agentと同じ文脈で走り続けることが最大の効率を生む。 経験ベースの知見の融合: 　人間が培ってきた勘や経験を捨てず、AIの精度を高める「重み」として活用する。
30. section 3 品質特性を考慮した 決済システムのテスト戦略 テスト戦略を地図に変える、品質特性アプローチ 蛯子 将樹 / ebi-chan
31. section イメージの共有 決済システムのテストとは 01 part
32. 32 Copyright hacomono Inc. All Rights Reserved. イメージの共有 突然ですが、みなさん。 「決済システムのテスト」のイメージとはどんなものでしょうか？
33. 33 Copyright hacomono Inc. All Rights Reserved. AI(Gemini)に聞いてみた 一言で言えば、「時速300kmで走る新幹線の中で行う、やり直しのきかない精密な心臓手術」です。 具体的には、以下の3つの「極限状態」が組み合わさったものだと認識しています。 1. 「100.000%」への執念（正確性） ◦ 99.9%の成功では「不合格」。 ◦ 1円のズレ、1件の二重決済が社会的な信頼失墜に直結する、妥協なき「潔癖」な世界。 2. 「見えないパートナー」との共演（不確実性） ◦ 自社で制御できない外部APIやネットワークの瞬断という「不確定要素」が常に牙を剥いている。 ◦ 「正常に失敗させる（リカバリ）」ことの難易度が、他のシステムより格段に高い。 3. 「終わりのないパズル」の迷宮（複雑性） ◦ 決済手段、ポイント、クーポン、端数処理、返品、認証……。 ◦ これらが複雑に絡み合い、テストケースを網羅しようとすると、すぐに「組み合わせの爆発」という 壁にぶち当たる。
34. 34 Copyright hacomono Inc. All Rights Reserved. イメージの共有 ちょっと誇張している部分はあるかも。 でも、言ってることはわかる。
35. 35 Copyright hacomono Inc. All Rights Reserved. AIの回答を自分なりに解釈してみた 時速300kmで走る新幹線 の中で行う、やり直しのき かない精密な心臓手術 秒間数百、数千の決済処理が 行われている中、アップデー トを行う。 「100.000%」への執念 決済処理において １円のズレも許されないし それが「当たり前」である。 「終わりのないパズル」 の迷宮 決済システムを取り巻く制約 ・構成要素は多く、カバレッ ジは常に高水準が求められ る。
36. section 直面した課題 AIとの協業で加速したテスト分析の「不安」 02 part
37. 37 Copyright hacomono Inc. All Rights Reserved. 直面した課題 そんな決済システムのテスト分析をしながらふと不安になる。 私たちのテストは必要な観点を満たせているのか・・？ テスト分析をAIと協業して作成するようになった昨今。 その想いは加速しました。 ここで我々の進むべき道を示す地図のひとつとして採用したのが 『品質特性』でした。
38. 38 Copyright hacomono Inc. All Rights Reserved. 直面した課題 品質特性？？
39. 39 Copyright hacomono Inc. All Rights Reserved. 品質特性（ISO/IEC 25010:2023）とは 引⽤：JIS X 25010:2025 製品品質の定義 製品又はシステムが、特定の条件下で使用されるときに、 「明示的ニーズ及び暗示的ニーズを満足させる度合い」のこと。 品質モデルの役割 品質要求を規定し、品質を評価するための 「共通の構造（フレームワーク）」を提供すること。 品質特性の意義 引用：JIS X 25010:2013 「4.3 製品品質モデル」 品質を特性の集合へと分類して捉えることで、「品質要求の網羅性の検証」を 可能にすること。
40. 40 Copyright hacomono Inc. All Rights Reserved. ISO/IEC 25010:2023における品質特性分類 引⽤：JIS X 25010:2025 品質特性 品質副特性 機能完全性 機能正確性 機能適切性 時間効率性 資源効率性 容量満⾜性 共存性 相互運⽤性 適切度認識性 習得性 運⽤操作性 ユーザーエラー 防⽌性 利⽤者関与性 包摂性 無障害性 可⽤性 障害許容性 回復性 機密性 インテグリティ 否認防⽌性 責任追跡性 真正性 モジュール性 再利⽤性 解析性 修正性 試験性 適応性 設置性 置換性 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 柔軟性 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 性能効率性 安全性 ユーザー⽀援性 • ⾃⼰記述性 • 耐攻撃性 拡張性 運⽤制約性 リスク識別性 フェールセーフ 危険警告性 統合時安全性 • • • • • • •
41. 41 Copyright hacomono Inc. All Rights Reserved. ISO/IEC 25010:2023における品質特性分類 引⽤：JIS X 25010:2025 品質特性 品質副特性 機能完全性 機能正確性 機能適切性 時間効率性 資源効率性 容量満⾜性 共存性 相互運⽤性 適切度認識性 習得性 運⽤操作性 ユーザーエラー 防⽌性 利⽤者関与性 包摂性 無障害性 可⽤性 障害許容性 回復性 機密性 インテグリティ 否認防⽌性 責任追跡性 真正性 モジュール性 再利⽤性 解析性 修正性 試験性 適応性 設置性 置換性 • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • • 柔軟性 機能適合性 性能効率性 互換性 使用性 信頼性 セキュリティ 性能効率性 安全性 ユーザー⽀援性 • ⾃⼰記述性 • 耐攻撃性 拡張性 運⽤制約性 リスク識別性 フェールセーフ 危険警告性 統合時安全性 • • • • • • •
42. 42 Copyright hacomono Inc. All Rights Reserved. 決済システムのテストにおける観点例 機能正確性 決済・取消・返金等が網羅さ れ、税計算や割引計算におい て1円の狂いもないか。 ユーザーエラー防止性 カード登録・決済時の二重押 し防止などのエラー防御がさ れているか。 責任追跡性 不正利用時に、どの端末から どのルートで決済されたか追 えるか。
43. section 導入後の変化 品質特性の導入で変わった３つのこと 03 part
44. 44 Copyright hacomono Inc. All Rights Reserved. 導入後の変化 レビューの効率化 「”責任追跡性”の観点が抜けて いる」など具体的なフィード バックおよびセルフチェックが 可能に。 新たな観点の気づき 観点として漏れがちであった、 「非機能テスト」に対してもア プローチ可能に。 テスト分析の標準化 テスト分析担当者のスキルセッ トに依存せず、一定の品質で作 成可能に。
45. 45 Copyright hacomono Inc. All Rights Reserved. 今後の展望 品質特性によって、「要求ベース」 × 「リスクベース」 × 「探索的テスト」 × 「...」 のような複数のアプローチの組み合わせを支援し、テスト戦略の地図として機能することを期待しています。 品質特性 対応するテストアプローチ 根拠 機能適合性 (Functional Suitability) 要求ベースドテスト 機能完全性・正確性の検証。明文化さ れた仕様を満たしているか「機能要件 の充足」を保証するため。 セキュリティ (Information Security) リスクベースドテスト 機密性など影響度が極めて高い領域を 特定。資産価値の高いデータへの経路 を重点的に防御するため。 使用性 (Usability) 探索的テスト 適切性認識性・操作性を評価。ユー ザー視点での直感的な違和感や「負の 体験」を動的に検知するため。
46. 46 Copyright hacomono Inc. All Rights Reserved. まとめ 決済システムのテストとは 　1円の狂いも、一瞬の停止も許されない、リスクの高いシステムに対する検証作業　 である。 品質特性導入の利点 　求められる品質のチェックリストとして機能し、テストの死角を減らす。 品質特性の可能性 　複数のテストアプローチの組み合わせを支援し、テスト戦略の地図として機能する　 ことを期待している。
47. section 4 質疑応答
48. https://www.hacomono.jp/