Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
プロンプトの良し悪しを、数値で判断してみた
Search
Sponsored
·
SiteGround - Reliable hosting with speed, security, and support you can count on.
→
komatsuna
September 17, 2026
Technology
65
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
プロンプトの良し悪しを、数値で判断してみた
JaSST Niigata 2026 LT
komatsuna
September 17, 2026
Transcript
6 slides
JaSST’26 Niigata ・ Lightning Talk プロンプトの良し悪しを、 数値で判断してみた テスト設計を生成するプロンプトの改善を、都度の人のレビューではなく指標で判断した Merpay QA
komatsuna 01
背景 みんなが使うツールになると、フィードバックのたびの手直しが非効率になる 1 2 個人からチームへ フィードバックのジレンマ 以前は個人でスキルやプロンプトを書くことが多かったが、最近 は1つのツールを多くのメンバーが使うようになった 直すたびにレビュワーが仕様書と読み比べる必要があり非効 率。しかも、そのフィードバックが本当に望むものとは限らない
そこで、指標を定義して数値で比較することにした 02
指標 受け取ったフィードバックを、そのまま指標に変換した 1 仕様との用語一致率 「言い換えられて分かりにくい」への対応 生成結果が仕様書と同じ用語を使えているかを、文字列マッチで計算 2 トレース可能セクション数 「仕様書に対して観点が多く、対応しづらい」への対応 仕様書のどのセクションに機械的に辿れるかの件数
3 生成されたテストケースの総数 「内容が薄くなった/増えた」への対応 テストケースの水増しや欠落がないかを確認する件数 03
比較結果 同じ仕様書で、 4つのプロンプト候補を比較 案A・案Bは「観点数を旧プロンプトと同じ7個に揃えてほしい」という要望に応えて追加で作った 2パターン 観点数 一致率 トレース可能 生成されたテス トケースの総数
旧プロンプト 7 44% 0/20 76 ✓ 新プロンプト+粒度ガード 15 55% 10/20 83 新プロンプト+案 A(観点数アンカー) 7 45% 6/20 57 新プロンプト+案 B(セクション束ね) 7 59% 6/20 61 プロンプト 4件を1つずつ読み比べなくても、数値を並べるだけで違いが見える 04
数値が拾った変化 数値を並べたおかげで、素早く退行を見つけられた 一致率が最高だった案 Bも、トレース可能セクションは 10/20→6/20に下がっていた。 4件を全部読み比べなくても、この数値だけで異変 に気づけた。理由を確認すると、以下の観点が丸ごと消えていた : 特定要素の表示内容の細部(アイコン・ラベルなど) 補助的な導線(ヘルプ・ガイドリンクなど)
呼び出し元によって変わる表示の分岐 人が全部読み比べていたら、気づくまでもっと時間がかかっていたはず 05
まとめ プロンプトの良し悪しは、 都度のレビューだけではなく 数値で判断も可能 4パターンの比較も、退行の検出も、人が全部読み比べるより数値の方が速くできた AIで分析して出す数値も、品質の壁を突破するための道具の一つ 06
More Decks by komatsuna
See All by komatsuna
komatsuna「分散システムにおけるバグ分析手法」
komatsunaqa
0
360
Other Decks in Technology
See All in Technology
攻撃と守りは何が変わり、何が変わらないのか~最近の不正アクセスから考える、リスク評価と標準の使いどころ
oidfj
2
300
MCPでネットワーク障害調査を自動化する前に直すべき3つのこと
yama3133
1
650
IP重複は"ランディングVPC"で受け止める ― PrivateLink と Transit Gatewayによるマルチテナント接続基盤の設計
hatahata021
3
260
マネージャーをエスパーにしない マネジメントされる側から始める、働きやすい現場づくり
comi190327
1
850
AWS Client VPNの設定でハマったポイントとその過程での気づき
amarelo_n24
1
430
Dark Web - Como o Cibercrime Opera na Internet
nicholsjasper
0
100
自動計装なしでECSサービスをApplication Signalsに載せるまで
ota1022
2
460
メルカリの小規模チーム「Pod」で、 エンジニアがデータアナリストなしで、 AIを使ってデータ分析の自走を目指す取り組み
jackojacko_
0
340
AWS Well-Arhitected Frameworkセキュリティの柱 について
miu_crescent
PRO
2
170
飯から始まるデータエンジニア
sansantech
PRO
0
130
そのイメージ、どのCIが作った? Artifact Attestationsで来歴を固定する / Which CI system created that image? Pinning provenance with Artifact Attestations
chmikata
0
230
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
260
Featured
See All Featured
Pawsitive SEO: Lessons from My Dog (and Many Mistakes) on Thriving as a Consultant in the Age of AI
davidcarrasco
1
310
The Curse of the Amulet
leimatthew05
4
17k
Crafting Experiences
bethany
1
450
Making Projects Easy
brettharned
120
6.9k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
250
1.3M
The innovator’s Mindset - Leading Through an Era of Exponential Change - McGill University 2025
jdejongh
PRO
1
400
Collaborative Software Design: How to facilitate domain modelling decisions
baasie
1
390
Typedesign – Prime Four
hannesfritz
42
3.2k
Navigating the moral maze — ethical principles for Al-driven product design
skipperchong
2
690
Practical Orchestrator
shlominoach
192
12k
Efficient Content Optimization with Google Search Console & Apps Script
katarinadahlin
PRO
1
1k
Making the Leap to Tech Lead
cromwellryan
135
10k