プロンプトの良し悪しを、数値で判断してみた

JaSST Niigata 2026 LT

Transcript

1. JaSST’26 Niigata ・ Lightning Talk プロンプトの良し悪しを、 数値で判断してみた テスト設計を生成するプロンプトの改善を、都度の人のレビューではなく指標で判断した Merpay QA komatsuna 01
2. 背景 みんなが使うツールになると、フィードバックのたびの手直しが非効率になる 1 2 個人からチームへ フィードバックのジレンマ 以前は個人でスキルやプロンプトを書くことが多かったが、最近 は1つのツールを多くのメンバーが使うようになった 直すたびにレビュワーが仕様書と読み比べる必要があり非効 率。しかも、そのフィードバックが本当に望むものとは限らない そこで、指標を定義して数値で比較することにした 02
3. 指標 受け取ったフィードバックを、そのまま指標に変換した 1 仕様との用語一致率 「言い換えられて分かりにくい」への対応 生成結果が仕様書と同じ用語を使えているかを、文字列マッチで計算 2 トレース可能セクション数 「仕様書に対して観点が多く、対応しづらい」への対応 仕様書のどのセクションに機械的に辿れるかの件数 3 生成されたテストケースの総数 「内容が薄くなった/増えた」への対応 テストケースの水増しや欠落がないかを確認する件数 03
4. 比較結果 同じ仕様書で、 4つのプロンプト候補を比較 案A・案Bは「観点数を旧プロンプトと同じ7個に揃えてほしい」という要望に応えて追加で作った 2パターン 観点数 一致率 トレース可能 生成されたテス トケースの総数 旧プロンプト 7 44% 0/20 76 ✓ 新プロンプト＋粒度ガード 15 55% 10/20 83 新プロンプト＋案 A（観点数アンカー） 7 45% 6/20 57 新プロンプト＋案 B（セクション束ね） 7 59% 6/20 61 プロンプト 4件を1つずつ読み比べなくても、数値を並べるだけで違いが見える 04
5. 数値が拾った変化 数値を並べたおかげで、素早く退行を見つけられた 一致率が最高だった案 Bも、トレース可能セクションは 10/20→6/20に下がっていた。 4件を全部読み比べなくても、この数値だけで異変 に気づけた。理由を確認すると、以下の観点が丸ごと消えていた : 特定要素の表示内容の細部（アイコン・ラベルなど） 補助的な導線（ヘルプ・ガイドリンクなど） 呼び出し元によって変わる表示の分岐 人が全部読み比べていたら、気づくまでもっと時間がかかっていたはず 05
6. まとめ プロンプトの良し悪しは、 都度のレビューだけではなく 数値で判断も可能 ４パターンの比較も、退行の検出も、人が全部読み比べるより数値の方が速くできた AIで分析して出す数値も、品質の壁を突破するための道具の一つ 06