信頼できるテスティングAIをどう育てるか？

https://test-talk.connpass.com/event/383642/ の資料です。

Transcript

1. 2026/07/28 QA Test Talk Vol.7 信頼できるテスティングAIを どう育てるか 〜タスク毎の品質ゲートで実現する人間とAIの協業環境〜 おーだん
2. おーだん Web事業会社のQAグループ マネージャー。 AI活用に限らず、部内の業務効率化に取り組んでいます。 最近はVibe Codingを楽しみつつ、 いままでできなかった色々なタイプのテストを実装して遊んでいます。 SNS: • X：@dandan_611 2
3. 本発表で伝えたいこと 3
4. 明確なプロセス定義 と タスクごとの品質ゲートは とても大事
5. テスティングAI活用における信頼性の壁 背景 • テストプロセスの効率化のため、生成AIの活用領域拡大が求められている。 課題 • AIに丸投げすると・・・ • AIがどうやってその成果物を作ったのかがわからない • 丸投げのたびに、判断基準の曖昧さや成果物の質のばらつきが発生し、結局は人 間の手戻りが増える。 5
6. 信頼できるAIに育てる3つの取り組み 以下の三つをトライ＆エラーで地道に取り組んでいます。 1 標準化 プロセスと成果物定義の明確化。AI(人も)への指示基準を統一する。 2 段階適用 小さな一歩から適用範囲を広げる。安全な領域から徐々に拡張する。 3 品質ゲート タスクごとに確認の仕組みを置く。AIが勝手に基準を緩めるのを防ぐ。 6
7. 取り組み①標準化：プロセスと成果物定義の明確化 • プロセスごとの入力（前提・仕様書）と出力（記載項目・書き方）を厳密にルール化。既存の業務テンプレートをベースに、暗 黙知だったプロセスを言語化・可視化。 • 定義・管理には図を活用。データの流れを表す図や、扱う情報の構造を表す図を用いることで、プロセスをAIが変更・提案した場 合でも、人が全体像をすぐに理解できるようにしている。 • 担当領域の広がり具合を見える化でき、各プロセスやタスク定義自体も柔軟に見直せるため、AIの適用範囲を安全に広げ続けら れる。 成果物定義(クラス図) プロセス定義(DFD図) IDトレース 7
8. 取り組み➁段階適用：小さな一歩から適用範囲を広げる • テスト分析やテスト設計ではなく、テスト実装・実行から着手し、ノウハウの蓄積を進めています。 • デバイス環境差異や画面表示の見え方の違いなど判断要素が多く、テスティングAIにとって最も難易度の高い領域。 • 利用ツール例：Playwright、Appium、Android Studio、Xcode • テスト実行領域は、暗黙的な知識をもとに実行されているかつ作業の信頼性が高いor低いが人依存になっている • その次に、テスト実行で得た知見をもとに、仕様書からのテスト要件の洗い出しやテストケース生成へ広げています。 テストケース テストコード (スクリプト)変換 起点 テストコード 自動テスト フレームワーク実行 テスト結果 8
9. 標準化と段階適用だけでは足りなかった—AIがタスク完了基準を緩めてしまう罠 • 標準化と段階適用の2本柱で運用を進めていたところ、次のような現象が現場で起き始めた。 • 発生した現象 • テストケース期待値の曖昧化による自発的な期待値判定条件の緩和。 • 例 • テストケース期待値：残高ポイントが正しく表示されていること • × → 残高ポイントの表示領域が表示されていること • 〇 → 残高ポイントが処理後に100ポイント分減って400ポイントと表示されていること • 原因 • 人間/AIの作成したテストケースに曖昧性が残されており、一定の類推をしないと文面だけでは理解できない。 • 特に初回の作業では、曖昧な記載を過去の経験から具体的な内容に読み替えて作業することができない。 • AIはタスクを終わらせることを優先しがちで、平易な方法で終えようとし、人間のような品質リスクへの懸念を持たない。 • 対応すべき課題 • AIの出力を確認なしに後工程へ渡すと、気づかないうちにテストの質が下がってしまう。 • 標準化と段階適用だけでは、この「静かな劣化」は防げない。 • 実は人間でも日常的に起きているがコミュニケーションでカバーしている。 9
10. 取り組み➂品質ゲート：タスクごとに確認の仕組みを置く • 各工程の成果物が基準を満たしているかを、スライド5で言語化したレビュー観点をもとにその場で判定する。 • チェックの方法（組み合わせによる検証）： 1. 決まりに基づく機械的な確認：必須項目の漏れや書き方の誤りをコードで自動チェック。AIにすべて任せると呼び出しのたびに費用がかさ むため、ルール化できる範囲は積極的にコード側に寄せる。 2. AIによる相互チェック：成果物を作ったAIとは別のAIが客観的に判定させる。 3. 人による最終確認：重要な箇所は人が承認し、判定にフィードバックを返すこれらはAIがミスしやすい箇所から人とAIの両方で行い、精度 が確認できた範囲からAIだけに任せる範囲を広げていく。 テストケースのレビュー観点と修正方針 10
11. まとめ：人間・AI・コードで役割を分け合う、信頼できるテストプロセス • 標準化と段階適用の2本柱で始め、現場でのつまずきをきっかけに品質ゲートを 加え、3本柱になった。 • 明確なプロセス定義とタスクごとの品質ゲートがあるからこそ、安心してAIの適用領域 を広げられる。 • 信頼できるテストプロセスのための役割分担 • 人間 • 確認の仕組みの設計、リスクの高い判断、AIへの指示や手順の改善。 • AI 重要判断・仕組化 • 判断が必要な確認（テストケース生成、評価専用AIによる相互チェックなど）を担う。 • コード 人間 • ルール化できる機械的な確認を自動化し、費用を抑えながら安定して繰り返す。 コード AI 安定・低コスト 単純判断 11
12. ご清聴ありがとうございまし た。 12