Sweep Scan

Transcript

1. AI4QA 条件空間をテスト技法でSweep Scanしていたら 別のものが見つかり始めた件なの はな丸 JaSSTnano2610
2. 今日のお持ち帰り 昨今のセキュリティ事情をかんがえると、出さないわけにいかないと思いました・・・。 マニュアルテスターもSweep Scanできる 武器は、いつものテスト技法 AIに「怪しい条件」を探させて、人間が確かめる
3. Sweep Scanとは？ 条件空間を見渡して、リスクの候補を探す ① 条件を整理 ② 組合せを見る ③ 根拠を確認 仕様・画面・ 権限・状態など 抜け／矛盾／境界を 探索 不具合と要確認を 分ける 「バグを見つけて」で終わらせず、テスト技法で探索を構造化する。
4. 用意するもの 今回実際に検証したAI：Claude / ChatGPT / Gemini テストベース： 仕様書・チケット・トリミングしたコード 他 生成AI： Claude / ChatGPT / Gemini テスト技法： 使い慣れたものからでOK キョウスケ先輩 （直交表や状態遷移表もつかってます） 注意：社外秘・個人情報・認証情報は、利用規約と社内ルールを確認。
5. 武器は、いつものテスト技法！ 今回は「デシジョンテーブル」で実演 デシジョン テーブル 状態遷移 境界値・同値分割 状態 × イベント 境界／分類 応用できる視点 応用できる視点 条件 × 結果 今回の主役 状態をコードから 出してもらう 技法を選び、AIに「どの空間を調べるか」を渡す。 テラ
6. STEP 1｜条件をテストベースから取り出す テストターゲット： 機能・操作・業務ルールを決める 適用範囲： 入力条件・状態・権限・前提条件を列挙する Aya
7. STEP 2｜デシジョンテーブルにする 以下は説明用の架空例。実測結果ではありません。 条件／ルール R1 R2 R3 R4 権限あり Y Y N N データ有効 Y N Y N 処理を許可 Y N N ? 「？」は不具合確定ではない。ここから調べる。
8. STEP 3｜強力なひと言 条件表や資料を渡したうえで、探索の姿勢を指定する 「敵対的検証をしてください」 正しさの確認だけでなく、破綻する条件を探してもらう。
9. STEP 4｜条件空間をSweep Scan 見る観点を明示すると、調査しやすくなる 抜け 矛盾 未検討・未定義の組合せ 条件によって結果が食い違う 境界 予期しない副作用 ちょうど境目で挙動が変わる 権限・データ・外部影響など
10. STEP 5｜発見候補を検証する AIの指摘を、そのまま確定不具合として扱わない 根拠あり 要確認 根拠不足 仕様・再現結果などで 支持 仕様の未定義・不整合 推測・誤認の可能性 → 関係者へ確認 → 保留／除外 → 不具合／テスト追加 候補 「候補」と「確定」を区別するところまでが防御。
11. コードから探索すると、見える範囲が広がる 画面操作では見えない範囲も 内部の条件分岐・権限・状態遷移を探索できる セキュリティや境界条件も 通常のマニュアルテストで対象外になりやすい挙動を探せる 実行しにくい組合せも テスト技法で条件空間を整理し、問題の候補を洗い出せる 発見を具体的な行動へ 根拠を確認し、不具合起票や仕様確認につなげられる ※ AIの指摘は候補。仕様・コード・観測結果を照合して判定します。 ユウタ
12. 明日から始めるSweep Scan 小さな機能ひとつから始めるとわかりやすい ① テストベースを用意する ② テスト技法で条件空間を整理する ③ 「敵対的検証をしてください」と指示する ④ 出てきた候補を根拠で検証する ⑤ 不具合報告・仕様確認・テストに活用する 条件の境界から不具合を検出した例
13. コードが書けなくても、守れる。 コードが書ければ、違う守り方もできる。 いつものテスト技法で、守れるものを増やそう。 X @EgaSaQA https://qiita.com/EgaSaQA ユウタ ご清聴ありがとうございました | QA学園 academyofqa.com