SIerの大規模案件で探索的テストを続けてみたら

JaSST'26Tokyoでの登壇資料です。

Transcript

1. © NTT DOCOMO SOLUTIONS, Inc. 2026 SIerの大規模案件で探索的テストを続けてみたら。 ー 2,193時間の積み重ねと可視化の試み 吉村 優 2026.3.20 JaSST’26 Tokyo F3-2)
2. © NTT DOCOMO SOLUTIONS, Inc. 2026 1 自己紹介 吉村 優（よしむら ゆう） - NTTドコモソリューションズ株式会社 技術革新本部 エキスパート - 社内の第三者的立場からの品質向上支援 - 技術コミュニティ運営、テスト関連研修講師 など - WACATE実行委員 最近の趣味 - ジム通い（メニューはAIまかせ）
3. © NTT DOCOMO SOLUTIONS, Inc. 2026 2 私のチームの役割 NTTドコモソリューションズ株式会社 (2025.7.1に”NTTコムウェア”より社名変更) - 幅広い業界/業種のお客様にICTを活用した課題解決を提供 - ドコモのビジネスをさらに推進する役割を担う 技術革新本部 システム技術部 - 全社の開発PJを支える技術集約組織 - 開発技術・技法・環境の高度化・標準化・社内展開 など 私のチーム - 探索的テスト等を社内の第三者的立場から開発PJに対して実施することによる品質向上の支援 - これらの品質向上の取り組みを、開発PJ自身でも実施できる状態の整備にも取り組んでいる
4. © NTT DOCOMO SOLUTIONS, Inc. 2026 3 今日のおはなし ⚫ 社内のさまざまな開発案件での探索的テスト活用を推進 ⚫ 見極めながら進める探索的テスト と 網羅性を重視したテストを求める当社文化 との両立の難しさに直面 ⚫ この前提の中で組織に定着させるための取り組みに挑戦 - 多くの関係者・開発会社が関わる大規模案件で活用するための工夫 - 説明・判断できる探索的テストにするための工夫
5. © NTT DOCOMO SOLUTIONS, Inc. 2026 4 なぜ必要になったか・どこで詰まったか
6. © NTT DOCOMO SOLUTIONS, Inc. 2026 5 採用技術の変化 機能/画面の拡大 関係者の増加 要求の多様化 など 探索的テストの社内展開に取り組み始めたころ ⚫ システム開発が徐々に複雑化 数百人規模以上の関係者/複数社の開発会社が関与する開発案件も多く 仕様/設計から事前に作成しておいたテストケースだけでは品質確保が大変 ⚫ 探索的テストの実施サービスを社内向けに提供（2021年ごろ） - 開発PJが実施するテストとは別に、第三者による強化テストとして探索的テストを行う
7. © NTT DOCOMO SOLUTIONS, Inc. 2026 6 探索的テストとは ⚫ 探索的テスト [1] ISTQB Glossary 探索的テスト Translate – バージョン4 「テスト担当者の知識、テストアイテムの探索、および過去のテスト結果に基づいて、 テストを動的に設計し実行するテストアプローチ。」 詳細なテストケースを事前に作成せず、状況を踏まえてテストを進める テストチャーター(目的・観点等を記した指針書 )を用いることがある 知識や経験も活かしながら柔軟・創造的に実施 仕様/設計から作るテストケースだけでは見つけにくい欠陥の発見も期待できる ※以降は、事前に作成したテストケースを使用してテストを行う方法を「記述式テスト」と呼称
8. © NTT DOCOMO SOLUTIONS, Inc. 2026 7 開発PJからのよくある声 品質向上のための一手として、探索的テストを試してみませんか？ 私のチームで探索的テストをして欠陥を見つけます。 私のチーム 開発PJの人たち 良さそうですけど、網羅性はなさそうですね。本当に効果は見込めますか？ 経過や結果はどんな形で報告してもらえるのでしょうか？ 多くのチームが関わる当社の開発では、環境やデータ準備のための合意形成も重要 各方面に声をかけるも、進め方や必要リソースなどの説明の難しさから社内展開が進まず
9. © NTT DOCOMO SOLUTIONS, Inc. 2026 8 制約条件の違い ⚫ 探索的テスト自体に問題があるわけではない ⚫ 社内の状況を見ても、活用すべき技法 探索的テストの特性 試しながら見極める 柔軟性 個人の経験を活かす 当社の強み・文化 網羅性・説明性 計画・管理 標準化・再現性 どちらも必要 技法特性 と 組織文化 の間にあるギャップのすり合わせが必要
10. © NTT DOCOMO SOLUTIONS, Inc. 2026 9 定着させるためのすり合わせ
11. © NTT DOCOMO SOLUTIONS, Inc. 2026 10 方針転換 ⚫ 探索的テストそのままではなく、前提の差分を吸収する形に再設計 開発PJの声 取り組み方針 個人ごとのバラツキがあるのでは？ プロセスの標準化/ノウハウ蓄積 進捗はどうやって見るの？ 状況の可視化 どこまでで完了？ 完了判断の仕組み 網羅性はどう担保するの？ “探索”の考え方の社内浸透
12. © NTT DOCOMO SOLUTIONS, Inc. 2026 11 探索的テストの枠組み作り テスト計画 テスト分析 テスト 設計 / 実装 / 実行 テスト完了 ⚫ 探索のやり方ではなく、説明・判断のための枠組みを標準化 ⚫ テストプロセスに沿って全体像を整備 - 実施作業、役割分担、成果物、開始/終了/中断/再開条件、コミュニケーション方法などを整備 - ガイドラインとして全社に公開 ※ 大規模な開発案件が多いことから、数名×数週間～などのある程度の期間を確保した実施を想定 前提/目的 スケジュール 体制/タスク/分担 テストチャーター 優先度/制約 実施記録 コミュニケーション 傾向分析 収束/完了判断 改善提案 モニタリング・コントロール
13. © NTT DOCOMO SOLUTIONS, Inc. 2026 12 ⚫ 探索ノウハウの共有で個人の経験差に対応 ⚫ 欠陥情報を抽象化し、再利用可能なチャーターエレメント[2]として蓄積 探索ノウハウ蓄積の仕組み ⚫ 他者の知見で見つけた情報を、自分の知見に流用 - 経験の浅いメンバの探索の取っ掛かり、仕様改善の提案などに活用 ⚫ 各エレメントをきっかけに発見した欠陥数をカウントし、効き具合を評価 - 社内で起きやすい/記述式テストで見逃しがちな欠陥の傾向を把握 案件Ａで見つけた欠陥情報 事象：検索結果件数が更新されない 前提条件：••が1件以上登録済みであること 再現手順： １．▲▲画面で検索ボタンを… 実施結果：検索結果件数が 0 件となる 期待結果：… 検索結果の件数が変わるように複 数回連続で検索処理を実施しても、 結果件数が正しく更新されること 再利用できる粒度に抽象化して蓄積
14. © NTT DOCOMO SOLUTIONS, Inc. 2026 13 プロセス標準化と知見共有で何が変わったか 大枠や最低限の知見を揃えたことで、 人の創造性は活かしたまま、再現・説明できる活動に Before 進め方が人によって違う 今なにをしているかわからない 経験値が成果差になりがち After 最低限の流れと成果物がそろう 今何をしているのかが説明できる 他者知見を使って探索できる
15. © NTT DOCOMO SOLUTIONS, Inc. 2026 14 探索の状況は見えていなかった ⚫ 依然としてテストの実施状況は見えにくいまま ⚫ 探索はしているが「どこまで進んだか」「いま効いているか」を説明できない - 大規模案件で「今どうなっているのかを説明できない」ことはリスク 記述式テストの管理方法の例 日付 …… 私が実施する探索的テストの場合 テストチャーター 状況の説明や判断には使いにくい ※ 1回の探索を時間で区切るセッションベースドテストを採用 全体に対しての進捗や状況が分かる x/x チャーターA 0.5h x/x チャーターC 0.5h x/y チャーターB 1.0h x/z チャーターB 0.5h テストケース消化率 欠陥検出数 テストケース消化実績 テストケース消化予定数
16. © NTT DOCOMO SOLUTIONS, Inc. 2026 15 探索の状況をテストチャーター単位で捉える ⚫ 探索的テストで取得可能な情報から説明可能な進捗を示す ⚫ 「どこに」「どれだけ時間を使って」「どれだけ欠陥が見つかったか」をグラフ化 日付 テストチャーター① そのテストチャーターをいつ・どれだけテス トしたか そのテストチャーターで欠陥(影響度で重み 付け)が、いつ・どれだけでたか …… ※ 同じテストチャーターを複数回実施する前提 ※ 影響度は 大, 中, 小, 改善 の4段階で 5, 3, 1, 0.1 と設定 ⚫ 重み付き欠陥検出数(件) ⚫ 探索的テスト実施時間(分) テスト実施時間 重み付き欠陥検出数
17. © NTT DOCOMO SOLUTIONS, Inc. 2026 16 探索の状況の議論が可能に 日付 テストチャーター① ⚫ 探索の進め方や効き具合を、状況として説明・議論できるようになった 有効に機能しているかの判断・説明ができる - 欠陥発見につながる時間の使い方か - 気になる所に意図して時間を使っていること - 同じ観点が良いか/変えるべきか 打ち切りや深掘りの裏打ち - 最後に欠陥が見つかってからどれだけテストしたかが テストチャーターの終了判断の1要素に活用できる …… テスト実施時間 重み付き欠陥検出数
18. © NTT DOCOMO SOLUTIONS, Inc. 2026 17 探索的テストの終わりどころ ２つのグラフで、戦略的に進め、根拠をもって終えたことを説明できるように 累計テスト時間 重み付き欠陥数の推移(3項移動平均) 単位時間あたりの 重み付き欠陥検出数 ・・・・ ⚫ テストチャーター単位だけではなく取り組みの全体傾向もグラフ化 全体が有効に機能しているか - 移動平均を見ることで全体傾向を説明できる - 対象範囲内の「出し切った感」を議論できる 単位時間当たりにみつかる欠陥の 検出量の推移がどう変化しているか ※ あくまで対象範囲や制約条件下での探索的テスト実施状況の説明であり、プロダクト全体の品質判断や統計的評価ではない ⚫ 単位時間あたりの重み付き欠陥検出数(件/単位時間)
19. © NTT DOCOMO SOLUTIONS, Inc. 2026 18 探索的テストセミナー（座学・ハンズオン）を開発し、継続実施[3] - 2022年度からの累計で 約20回開催 / 260名超が受講 社内イベントや日常的な声掛けで、探索的テストに触れる機会を増やした 考え方を社内に浸透させる ⚫ 定着のためには中身の整備だけではなく考え方の共有も重要 「再現/説明できるか」だけではなく、「欠陥や違和感が見つけられそうか」 「仕様改善につながりそうか」も判断軸にいれて考えてもらえるようになった
20. © NTT DOCOMO SOLUTIONS, Inc. 2026 19 雰囲気の変化 と 次の一歩
21. © NTT DOCOMO SOLUTIONS, Inc. 2026 20 組織の変化と蓄積 ⚫ さまざまな組織・案件から品質向上の手段としての相談が加速度的に増加 ⚫ 自分たちが提案する活動から、内容に納得した上で相談・導入される活動へ変化 - 一度試して効果を感じてもらい、同一案件の次期開発で継続導入されるケースも増加 2021年度 2025年度 累計300件超の欠陥・仕様改善を報告 累計2000時間超の探索的テスト実践経験 「特別な取り組み」から「選択肢の一つ」に
22. © NTT DOCOMO SOLUTIONS, Inc. 2026 21 継続的な改善 累計テスト時間 重み付き欠陥数の推移(3項移動平均) 次の弱点を狙う 欠陥が 見つかる その観点の 欠陥が減ってくる ⚫ 多くの実データが蓄積してきたことから、さらなる工夫の取り組みも検討中 ⚫ 案件個別ではなく、探索的テスト特有の傾向などがないか？ こんなことに使えるかも - リスクのある箇所を狙えているかの判断 - 狙いどころを一新する判断 - 狙う順番が妥当だったかの振り返り 各案件の結果を見ると、上下しながら徐々に ピークが下がっているように見える(仮説) ※ テスト担当者や案件条件など複数要因があることを前提に、 振り返りや次の狙いを考えるための示唆としています 単位時間あたりの 重み付き欠陥検出数
23. © NTT DOCOMO SOLUTIONS, Inc. 2026 22 さいごに
24. © NTT DOCOMO SOLUTIONS, Inc. 2026 23 取り組みの結果と今後の課題 ⚫ やってきたことと成果 - 特性と文化のすり合わせ - 時にはトレードオフも許容しながら - 考え方自体も浸透させた - 説明・判断しながら進められる活動として全社への定着を促進 ⚫ まだまだ改善＆知見の再利用 - 状況に応じた使い分けや工夫 - 個別の状況・制約などにも影響も大きく受けている - 統計的な分析・活用 - シフトレフトな貢献にもつなげる - 起こりがちな欠陥をより上流で食い止める
25. © NTT DOCOMO SOLUTIONS, Inc. 2026 24 ⚫ 大規模案件という文脈の中で、探索的テストを説明・判断しながら進められる活動として再設 計した取り組みをご紹介しました - 最初はうまくいかなかった - 2,193時間は悩みと試行錯誤の積み重ね - 立ち止まって考え、試し、振り返り続けることが大切 - 繰り返すうちに少しずつ「ちょうど良い形」が見えてくる 探索的テストに限らず、新しい取り組みを組織に定着させる上で、 なにか一つでも、みなさんの現場で使えそうなヒントがあれば幸いです まとめ 特性要因図 KPT ビジネスモデル キャンバス
26. © NTT DOCOMO SOLUTIONS, Inc. 2026 25 ご清聴ありがとうございました ISTQBは、International Software Testing Qualifications Board の登録商標です。 その他、記載されている会社名、製品名、サービス名は、各社の商標または登録商標です。 参考 [1] ISTQB Glossary 探索的テスト Translate – バージョン4 https://glossary.istqb.org/ja_JP/term/-65?term=%E6%8E%A2%E7%B4%A2%E7%9A%84%E3%83%86%E3%82%B9%E3%83%88&exact_matches_first=true （確認日：2026/01/19） [2] ソフトウェア・シンポジウム 2017 in 宮﨑, 探索的テストにおける不具合発見向上に向けた取り組み, 株式会社LIFULL 中野直紀, https://www.sea.jp/ss2017/download/1-2(2)_SS2017.pdf （確認日：2026/01/19） [3] JaSST nano vol.38,実践力を鍛える探索的テストセミナーを開発したの, NTTコムウェア株式会社 吉村優, https://speakerdeck.com/y_yoshi_m/shi-jian-li-woduan-erutan-suo-de-tesutoseminawokai-fa-sitano （確認日：2026/01/19）
27. © NTT DOCOMO SOLUTIONS, Inc. 2026 26