欠陥分析（ODC分析）における生成AIの活用プロセスと実践事例 / 20260320 Suguru Ishii & Naoki Yamakoshi & Mayu Yoshizawa

Embed

Start on current slide

Slide 1

Slide 1 text

Copyright SHIFT Inc, All Rights Reserved. 2026 / Copyright SHIFT Inc, All Rights Reserved. 3 JaSST’26 Tokyo 株式会社SHIFT CATエヴァンジェリスト Naoki Yamakoshi 20 3 13:50 – 14:25 山腰直樹欠陥分析（ODC分析）における生成 AIの活用プロセスと実践事例石井優 Suguru Ishii 吉澤麻由 Mayu Yoshizawa 株式会社SHIFT Executive Test Specialist 株式会社SHIFT Test Engineer

Slide 2

Slide 2 text

Slide 3

Slide 3 text

5 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介山腰直樹｜Naoki Yamakoshi 株式会社SHIFT Executive Test Specialist 大手ITベンダーにて、約38年の製品開発（SWエンジニア）およびITシステム開発（ソフトウェアテスト事業）を経験後、 2022年2月SHIFTに参画。海外事業推進部にてお客様支援の傍ら、ライフワークのソフトウェアテスト事業の拡大の一環として「欠陥分析サービス」を立ち上げる。また、我々自身すべてのメンバーに、SHIFTのもつテストオファリングをよく知ってもらい、お客様のニーズに応じたご支援ができるよう活動中。

Slide 4

Slide 4 text

6 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介吉澤麻由｜Mayu Yoshizawa 株式会社SHIFT Test Engineer 大手SIerで新卒から10年以上 Web系システムの要件定義から保守・運用までの開発業務を担当 2014年 SHIFT入社入社後は、パッケージ製品、金融システム、医療システムなどの検証業務に従事 2018年～ SHIFT品質保証標準（SHIFT Quality Framework）の策定と適用推進に従事 SHIFTが刊行する書籍「SHIFT流 AI時代のソフトウエアテスト(日経BP)」監修メンバーとしても活動

Slide 5

Slide 5 text

7 Copyright SHIFT Inc, All Rights Reserved. 登壇者紹介石井優（Suguru Ishii）ソリューション本部デリバリ改革統括部デリバリ改革部サービスプラットフォームグループ CATエヴァンジェリスト大規模テストの進捗・品質を可視化テスト管理ツール「CAT」約820社約18,000ライセンス (※） ※2025年3月時点「テスト管理 CAT CM」で検索！経歴 2009/4 ～ 2014/11 倉庫系システム部門 2014/12 ～ 2015/7 東中野のPCサポート屋さん・石井屋 2015/8 ～ SHIFT CATサポート、プリセールス、エヴェンジェリスト CATほど面白いプロダクトはなかなかない！ CAT CM もよろしくね！

Slide 6

Slide 6 text

Slide 7

Slide 7 text

9 Copyright SHIFT Inc, All Rights Reserved. 品質の可視化・改善におけるAIの使い所・勘所のヒントになれば幸いです。本講演のターゲットとゴールターゲット主な内容 • ODC分析の解説・ODC分析のボトルネック • AIによる分類の効率化のアプローチ、ハードルと乗り越え方 • 実用時の効果・人力との比較・副次的な効果 • 今後の展望テストエンジニア開発マネージャー品質管理部門担当者・責任者品質管理で AI活用検討中ゴール • 品質分析のアプローチを知って明日から活用する • AIの使い所を知って効率化に役立てる • 気になることを登壇者にDiscordやお問い合わせなどで聞く

Slide 8

Slide 8 text

Slide 9

Slide 9 text

11 Copyright SHIFT Inc, All Rights Reserved. ソフトウェアの欠陥の質を可視化し改善を促すための欠陥分析手法 ODC分析の特徴統計的分析原因分析 • 履歴データとの比較 • 成長曲線モデル限定・特定不具合の調査パレート図・管理図… RCA（なぜなぜ分析）原因の深堀りに至りづらいデータの量が必要多大な労力・コストがかかる全体の把握には向かない ODC 分析手法個々の不具合の意味論を定量的に捉え、プロセスの進歩と品質成熟への橋渡し全体の傾向・偏りを定量的に把握 300件程度で分析が可能初出 Ram Chillarege Inderpal S. Bhandari, Michael J. Halliday, etc. : "Orthogonal Defect Classification - A concept for In-process Measurement", IBM Thomas J. Watson Research Center IEEE Transactions on Software Engineering. Vol.18. No.11. Nov. 1992. 杉崎眞弘他 (著) 日科技連出版社目的テスト活動のアウトプット（欠陥）を分析し、品質や開発プロセスの改善を促す情報を得る

Slide 10

Slide 10 text

12 Copyright SHIFT Inc, All Rights Reserved. EDI受信時の商品コード不一致エラー入庫検品時の賞味期限チェック漏れロケーション空き容量計算の不備複数出荷指示のピッキングリスト重複ボトルネックとなる欠陥の分類をAIで効率化今回の取り組み欠陥一覧（システムテスト・本番障害など）種別（修正箇所）先入れ先出し（FIFO）ロジックの無視 …（約300件以上）… インターフェースチェックアルゴリズム機能アルゴリズムバリエーションカバレッジバリエーション相互作用シーケンス信頼性完全性/整合性完全性/整合性完全性/整合性操作性/運用性トリガー（検出のきっかけ）影響（何に関わるか）機能インターフェースアルゴリズム機能の作り込みは安定ロジックの欠陥増１．欠陥を分類する２．傾向を分析する分類が工数の約8割 AIで分類作業※ を2週間から1時間に削減！設計レビューの強化が必要！ ※ODC分析のプロセスには分類の他に再鑑・分析などもあります。

Slide 11

Slide 11 text

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

20 Copyright SHIFT Inc, All Rights Reserved. 分類フロー ①欠陥・欠陥以外受領した障害表のデータ欠陥データ欠陥データ以外有効無効分類不能 ②欠陥カテゴリー ③修正対象 ④欠陥サブカテゴリー ⑤欠陥タイプ実装タイプトリガー無効分類欠陥情報の分類要件定義、設計書、プログラムの修正左記以外の修正欠陥分類フロー障害表のデータを以下の順番で分類再現せず仕様通り重複登録スコープ外新規要望/先送りテスト操作ミス分類項目説明 1 欠陥タイプどのような修正をしたか 2 実装タイプ対応の種類（欠陥or修正） 3 トリガーどのようなテストで検出したか

Slide 18

Slide 18 text

21 Copyright SHIFT Inc, All Rights Reserved. 欠陥を分類するための5つのプロンプト欠陥分類のAI化の流れ 01 整形（忠実性担保・構造化） 02 欠陥 / 非欠陥 / 分類不能 03 欠陥タイプ（機能/順序/IF/アルゴリズム/チェック/値の設定/曖昧） 04 実装タイプ（欠如/修正） 05 トリガー（カバレージ/バリエーション/特定順序/相互作用/性能・負荷）

Slide 19

Slide 19 text

22 Copyright SHIFT Inc, All Rights Reserved. 01.整形プロンプトの整形結果 ID タイトル事象発生条件原因対処内容 EC-002 カート数量がページ遷移で 1に戻る商品詳細画面で数量を2に設定してカートに入れた後、ページ遷移を行うと数量が1に戻る。 ①バリエーション（色・サイズ）を持つ商品、②カート操作後にページ遷移を行った場合数量保持処理が未実装であり、ページ遷移時に数量情報が保持されていなかったためセッション保持処理を追加予定。 EC-006 ログイン直後の注文履歴が0件表示ログイン直後に注文履歴画面を表示すると0件と表示されるが、再読み込みすると正常に表示される。 ①特定ユーザーからの 1件報告のみ現時点で未再現のため、原因は特定できていないログ出力を強化して継続調査を実施（再現せずの可能性あり）。 ID 題名内容テスト条件対応メモ EC-002 カート数量がページ遷移で 1に戻る数量を2にしても、遷移後に1 へ戻るバリエーション（色・サイズ）を持つ商品数量保持処理が未実装のため、セッション保持処理を追加予定。 EC-006 ログイン直後の注文履歴が0件表示すぐは空、再読み込みで正常表示特定ユーザーの1件報告のみ現時点で未再現。ログ出力を強化して継続調査（無効：再現せずの可能性）。インプットとなる障害チケット AIでの整形後

Slide 20

Slide 20 text

23 Copyright SHIFT Inc, All Rights Reserved. 02～05.分類プロンプトによるAIの分類結果 ID タイトル分類カテゴリ分類理由修正対象無効理由欠陥以外の理由欠陥タイプ修正すべき不備実装タイプ実装タイプの分類理由トリガートリガーの分類理由 EC-002 カート数量がページ遷移で1に戻る欠陥(有効) 数量保持処理が未実装であり、セッション保持処理の追加という明確な修正対象があるため。プログラム - - 機能ページ遷移後もカート数量を保持するためのセッション管理機能が未実装であり、数量保持処理を新たに追加する必要があった欠如ページ遷移後に数量を保持するためのセッション管理処理自体が未実装であり、新たに処理を追加する必要があるため。バリエーションバリエーション（色・サイズ）を持つ商品という特定条件下でのみ発生しており、商品条件の違いを考慮したテストで検出可能なため EC-006 ログイン直後の注文履歴が0件表示欠陥(無効) 現時点で再現せず、原因未特定のまま継続調査扱いとなっているため。 - 再現せず - 02 欠陥 / 非欠陥/ 分類不能 03 欠陥タイプ 04 実装タイプ 05 トリガー

Slide 21

Slide 21 text

24 Copyright SHIFT Inc, All Rights Reserved. AIの活用では以下のようなことが起こりがち AIの活用で苦労した点 1.インプット（障害）の書き方の揺れで精度が落ちる 2.暗黙の判断基準が共有できておらず、解釈がぶれる 3.曖昧な情報でも勝手に判断して誤分類する 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5.行間が読めない（潜在的な内容を見落とす）入力基準判断結果応用

Slide 22

Slide 22 text

25 Copyright SHIFT Inc, All Rights Reserved. 工夫1：最初に整形することで忠実性 × 構造化 × 一貫性を担保 1. インプット（障害）の書き方の揺れで精度が落ちる様々な障害表 • 忠実性：「要約しすぎない」「元データの表現を変えない」と複数箇所で明示 • 構造化：「情報が無い場合は無いと書く」と明示 → 空欄を許さないことで抜け漏れ防止 • 一貫性：チェックリストで“最終バリデーション”をAI自身にチェックリストでチェック ID タイトル事象発生条件原因対処内容最初に整形

Slide 23

Slide 23 text

26 Copyright SHIFT Inc, All Rights Reserved. 工夫2：AIが再現できるように、判断基準を“優先度付き”で具体化 2. 暗黙の判断基準が共有できておらず、解釈がぶれる • 決め打ち回避のために「修正対象が複数ある可能性を考慮」を明記 • 複数候補が並ぶ時は、順番ルールに従う見る順番や、重みが揺れる判断の順番と重みを固定【順番ルール】要件定義＞設計書＞プログラム＞テストデータ＞テスト環境＞テストケース＞リビルド例：修正対象を特定する際複数（要件、設計書、プログラム）が変更されている場合に何に分類するか

Slide 24

Slide 24 text

27 Copyright SHIFT Inc, All Rights Reserved. 工夫3：曖昧であることを可視化する 3.曖昧な情報でも勝手に判断して誤分類する曖昧な場合の救済用カテゴリを追加【欠陥タイプ】・「アルゴリズム or チェック（曖昧）」・「値の設定」・「チェック」・「アルゴリズム」・「インターフェース」・「処理の順番」・「機能」欠陥タイプの区別は人間でもむずかしい【欠陥タイプ】・「値の設定」・「チェック」・「アルゴリズム」・「インターフェース」・「処理の順番」・「機能」 • “原因が複合している” 場合の救済用カテゴリを活用 • 人間でも曖昧な領域を積極的に“曖昧なまま価値として扱える仕組み”をAIに持たせた

Slide 25

Slide 25 text

28 Copyright SHIFT Inc, All Rights Reserved. 工夫4： “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える・結果だけだと「欠如」or「修正」判定の揺れやすい場面で決め打ちが起きる例：処理の追加も、処理の修正も「プログラム修正」とだけ記載されがち・レビュー時に根拠が見えず、差戻しと再作業が増える • 何を“追加／削除” したのか理由を出力（分類理由により判断軸を露出） • “分類不能”も活用し、理由を残す（再分析可能） “分類理由”の出力を必須にする AIが理由文と結論を自己チェックする

Slide 26

Slide 26 text

29 Copyright SHIFT Inc, All Rights Reserved. 工夫5：実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する 5. 行間が読めない（潜在的な内容を見落とす）・人間のような推測ができずに、文面から決め打ちが起きる例：複雑な操作順序が書いてあると「特定順序」と判断実際: ログアウト→別ユーザーでログインで再現潜在: 同一機能を別端末で同時操作でも再現可 • 分類理由に潜在の根拠を必須化し、自己整合チェックで言及漏れを検知 • 複合原因の取りこぼしを抑え、人に近い判断をする実際＝発生事象どおりのテストパターン潜在＝そうテストすれば発見できたと判断されるパターン

Slide 27

Slide 27 text

30 Copyright SHIFT Inc, All Rights Reserved. まとめ人の分類プロセスを仕様としてAIに渡す 1.インプット（障害）の書き方の揺れで精度が落ちる 2.暗黙の判断基準が共有できておらず、解釈がぶれる 3.曖昧な情報でも勝手に判断して誤分類する 4.根拠が見えず、判定が揺れやすい場面で“決め打ち”や再作業が増える 5.行間が読めない（潜在的な内容を見落とす）曖昧であることを可視化する AIが再現できるように、判断基準を“優先度付き”で具体化 “結果”＋“理由”をセットで出力し、整合チェックで決め打ちを抑止実際の検出パターン＋潜在的な検出パターンの両方を考慮して分類する最初に整形することで忠実性 × 構造化 × 一貫性を担保入力基準判断結果応用

Slide 28

Slide 28 text

31 Copyright SHIFT Inc, All Rights Reserved. 今後の展望今後は、AI活用の範囲をさらに広げるとともに、欠陥分析プロセス全体の品質と効率の向上を目指す。 1. ODC分類の高精度化と分析領域への展開欠陥原因推定再発防止策の候補生成など、分析以降の分析→改善提案までAIが行えるよう拡張中２. 人のレビューしやすさの強化結果×理由＋人間へのレビュー依頼をセット出力。優先度・論点・不足情報・自信度・差分で“見るべきポイント”を提示