Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIを活用したソフトウェアテスト技術 - ISTQB Foundation Level - A...

ymgc
December 22, 2024

AIを活用したソフトウェアテスト技術 - ISTQB Foundation Level - AI Testing (CT-AI)

ISTQB Foundation Level シラバス - AI Testing (CT-AI) 「11.テストにAIを使う」をもとに作成したもの。

ymgc

December 22, 2024
Tweet

More Decks by ymgc

Other Decks in Technology

Transcript

  1. 目次 1. テストのためのAI 技術 2. 報告された欠陥の分析にAI を活用 3. テストケース生成へのAI 活用

    4. リグレッションテストスイートの最適化 5. AI による欠陥予測 6. ユーザーインターフェースのテストにAI を活用 2
  2. 想定読者 ソフトウェアテストエンジニア ▶ テスト自動化の経験を持つエンジニア ▶ AI テスト導入を検討している実務者 ▶ 開発チームリーダー・マネージャー ▶

    テストプロセスの改善を推進する立場の方 ▶ AI 技術の導入を検討している方 ▶ AI/ML エンジニア ▶ テスト分野でのAI 活用に興味のある方 ▶ テスト自動化基盤の開発者 ▶ 3
  3. 1. テストのためのAI 技術 ファジー論理と確率的手法 分類・学習・予測 ベイズ法によるシステム故障の分析・予測 ▶ コンポーネントや機能の故障確率の定量的推定 ▶ 人間-

    システム間の相互作用における不確実性のモデル化 ▶ プロジェクトコストの予測モデル構築 ▶ 欠陥の自動分類と優先順位付け ▶ ML による欠陥パターンの学習 ▶ 4
  4. 1. テストのためのAI 技術 計算機による探索と最適化 現状のAI 実装における制約 大規模テスト空間の効率的探索 ▶ カバレッジ基準を満たす最小テストセット導出 ▶

    テストスイートの自動最適化 ▶ テストオラクル問題 ▶ ステークホルダーとの複雑なコミュニケーション ▶ UX の質的評価 ▶ 批判的思考の限界 ▶ 潜在ニーズの理解 ▶ 5
  5. 2. 報告された欠陥の分析にAI を活用 自然言語処理による欠陥分類 クリティカル性評価 欠陥報告書からの重要トピック抽出 ▶ クラスタリングアルゴリズムの適用 ▶ k

    近傍法 ▶ サポートベクターマシン ▶ 類似・重複欠陥の特定 ▶ 過去の重大欠陥パターンの学習 ▶ システム障害リスクの予測 ▶ リソース配分の最適化 ▶ 6
  6. 3. テストケース生成へのAI 活用 多角的なテスト生成アプローチ テストオラクル問題への対応 ソースコード解析ベース ▶ UI マップベース ▶

    テストモデルベース ▶ システム動作監視ベース ▶ バックツーバックテスト ▶ 基本的な異常検知 ▶ モデルベースの期待値定義 ▶ 8
  7. 3. テストケース生成へのAI 活用 AI 手法の優位性 欠陥検出能力の向上 ▶ 同等カバレッジでより多くの欠陥を検出 ▶ デバッグ容易性の大幅改善

    ▶ 従来: 約15,000 ステップ - AI 活用: 約100 ステップ - 効率化と品質向上の両立 ▶ テストケース生成の自動化 ▶ 探索空間の効率的カバー ▶ メンテナンス性の向上 ▶ 9
  8. 4. リグレッションテストスイートの最適化 AI による包括的最適化 データ駆動型戦略 テスト実行履歴の分析 ▶ 欠陥検出パターンの学習 ▶ コード変更影響分析

    ▶ テストケース重要度評価 ▶ 高効率テストケースの優先順位付け ▶ 重複テストケースの統合 ▶ 低影響テストケースの除外 ▶ 新規テストケース追加判断 ▶ 10
  9. 5. AI による欠陥予測 多面的予測要因 コード品質メトリクス ▶ 行数 ▶ 複雑度 ▶

    結合度 ▶ プロセス特性 ▶ 変更頻度 ▶ レビュー状況 ▶ 組織要因 ▶ チーム構成 ▶ 開発者経験 ▶ 12
  10. 5. AI による欠陥予測 予測モデルの特徴 予測精度の決定要因 ▶ 人材・組織指標が最重要 ▶ 類似プロジェクト経験の活用 ▶

    要因間の相互作用考慮 ▶ 実用上の留意点 ▶ データ品質の重要性 ▶ モデル更新の必要性 ▶ 予測結果の解釈方法 ▶ 13
  11. 6. ユーザーインターフェースのテストにAI を活用 GUI 要素の堅牢な識別 複数識別基準の動的評価 ▶ XPath ▶ ID

    ▶ 座標 ▶ ビジュアル特徴 ▶ 過去の安定性に基づく選択 ▶ 変更耐性の強化 ▶ 14
  12. 6. ユーザーインターフェースのテストにAI を活用 GUI 品質の自動評価 受容性判断 ▶ ヒューリスティック評価 ▶ 教師あり学習による判定

    ▶ 変更検出 ▶ レイアウト崩れ ▶ スタイル変更 ▶ 互換性問題 ▶ ビジュアルリグレッション ▶ 16
  13. AI テスト技術の現状 ▶ 多様な適用領域の確立 - 具体的な効果の実証 - 実用レベルのツール登場 - 導入における注意点

    ▶ テストオラクル問題への対処 - データ品質の確保 - 人間の役割の再定義 - 今後の展望 ▶ AI 技術の進化による適用範囲拡大 - ハイブリッドアプローチの重要性 - テストプロセスの継続的改善 - 18
  14. Appendix: 用語辞書 ベイジアン手法: 確率論的アプローチによる予測・推論手法 ▶ NLP (Natural Language Processing): 自然言語処理

    ▶ GUI (Graphical User Interface): グラフィカルユーザーインターフェース ▶ クラスタリングアルゴリズム: データの自動分類手法 ▶ k 近傍法: パターン認識のための機械学習アルゴリズム ▶ サポートベクターマシン: 教師あり学習による分類アルゴリズム ▶ テストオラクル: テスト結果の正否判定基準 ▶ リグレッションテスト: 回帰テスト、変更による影響確認テスト ▶ 19