カバレッジとは？

カバレッジとは？ソフトウェアテストを学ぼう

自己紹介 Atsushi Okui (@blue32a_jp) ソフトウェアエンジニア / Webアプリケーションエンジニア / PHPer
関心：設計、コード品質、リファクタリング、テスト、モデリング

今回のテーマソフトウェアテストに関して「カバレッジ」という言葉を聞くことがあると思いますが、ぼんやりと「どれくらいカバーされているか」のようなイメージしかない事も多いと思います。そこで「カバレッジ」とはどんなものか掘り下げて学習していきたいと思います。

カバレッジ（Coverage）とは？カバレッジは、テスト設計手法の中の制御フローテスト（制御パステスト）で使われる用語です。制御フローテストはソースコードの処理の流れ（フロー）を特定の基準に注目してテストするものです。そして、その基準の中で「どれだけテストで網羅できたか」という網羅率のことをカバレッジです。

カバレッジ＝網羅率

テスト網羅基準制御フローテストにおいて注目する特定の基準のことをテスト網羅基準（カバレッジ基準）といいます。注目する要素は「命令文（ステートメント）」「分岐した経路」「条件」の３つです。基本的なものとして、例えば以下の基準があります。 • 命令文（ステートメント） ◦ ステートメントカバレッジ •
分岐した経路 ◦ デシジョンカバレッジ • 条件 ◦ 条件カバレッジ ◦ 複合条件カバレッジ

サンプルコード function sampleMethod($age, $withCoupon) { $price = 1200; if ($age
< 6 || $age >= 65) { $price = 0; return $price; } if ($withCoupon) { $price -= 200; } return $price; } 『ソフトウェア徹底指南書』のサンプルコードを PHPに書き替えたコード

ステートメントカバレッジ「対象の命令文（ステートメント）の実行を、テストでどの程度網羅できたか」の割合です。赤枠を含む全ての命令文（ステートメント）を実行すれば100%になります。例えば、次の入力を用意すれば達成できます。 • $age =
5 • $age = 10, $withCoupon = true function sampleMethod($age, $withCoupon) { $price = 1200; if ($age < 6 || $age >= 65) { $price = 0; return $price; } if ($withCoupon) { $price -= 200; } return $price; }

デシジョンカバレッジ「対象の判断文の真偽を、テストでどの程度網羅できたか」の割合です。赤枠の分岐で真偽それぞれ実行できれば 100%になります。例えば、次の入力を用意すれば達成できます。 • $age =
10 • $age = 5, $withCoupon = true • $age = 5, $withCoupon = false function sampleMethod($age, $withCoupon) { $price = 1200; if ($age < 6 || $age >= 65) { $price = 0; return $price; } if ($withCoupon) { $price -= 200; } return $price; }

条件カバレッジ「対象の条件式の真偽を、テストでどの程度網羅できたか」の割合です。赤枠の条件式で真偽それぞれ実行できれば 100% になります。例えば、次の入力を用意すれば達成できます。 • $age =
5 • $age = 10, $withCoupon = true • $age = 10, $withCoupon = false • $age = 65 function sampleMethod($age, $withCoupon) { $price = 1200; if ($age < 6 || $age >= 65) { $price = 0; return $price; } if ($withCoupon) { $price -= 200; } return $price; }

複合条件カバレッジ「対象の条件式の真偽の組み合わせを、テストでどの程度網羅できたか」の割合です。右の例では、赤枠の２つの条件式の真偽の組み合わせをそれぞれ実行できれば 100%になります。例えば、次の入力を用意すれば達成できます。 • $a
= -5, $b = 5 (真、真） • $a = -5, $b = -5 (真、偽） • $a = 5, $b = 5 (偽、真） • $a = 5, $b = -5 (偽、偽） function sampleMethod2 ($a, $b) { if ($a < 0 || $b >= 0) { return true; } return false; }

コードカバレッジの限界紹介したカバレッジだけでは、網羅できない制御フローがあります。また、制御フロー以外にも網羅すべきものが多数あります。そのため、コードカバレッジを100%に出来たとしても、テストが十分であるという根拠にはなりません。網羅できない制御フローの例 •
例外処理 • 並行処理 • プリプロセッサやメタプログラミング • ダックタイピング • フレームワークやライブラリ制御フロー以外にも網羅すべきものの例 • テスト対象の出力の妥当性 • 意図しない副作用や異常 • 必要なコードの欠落

コードカバレッジの限界カバレッジ以外にも境界値 /同値分割とか。 • $age = 0 • $age =
5 • $age = 6 • $age = 30 • $age = 64 • $age = 65 • $age = 90 function sampleMethod($age, $withCoupon) { $price = 1200; if ($age < 6 || $age >= 65) { $price = 0; return $price; } if ($withCoupon) { $price -= 200; } return $price; }

カバレッジ対費用 ”カバレッジテストは非常にコストがかかるテスト手法です。大規模ソフトウェアであるばあるほど、カバレッジテストすると決めた時点でこのテストに対する予算をしっかり組んでおく必要があります。特に80%を超えるような高いカバレッジを目標としている場合には覚悟しなければならないでしょう。” 労力網羅率 100%

時間をかけてカバレッジを高めれば質は向上するか？質とスピード（AWS Dev Day 2023 Tokyo 特別編、質疑応答用資料付き） https://speakerdeck.com/twada/quality-and-speed-aws-dev-day-2023-tokyo-edition

Googleのガイドライン ”「理想的なコードカバレッジ数値」というものはありませんが、Googleでは60%を「許容範囲」、75%を「推奨レベル」、90%を「模範レベル」とする一般的なガイドラインを設けています。ただし、私たちはトップダウンで大まかな指示を出すことは避け、各チームがそれぞれのビジネスニーズに合った適切な値を選択することを推奨しています。” ※ 原文の機械翻訳 Code Coverage Best
Practices – Google Testing Blog https://testing.googleblog.com/2020/08/code-coverage-best-practices.html

まとめ • カバレッジとはある基準においてソースコードをどれだけ網羅してテストできたかという網羅率のこと • 網羅基準は「命令文（ステートメント）」「分岐した経路」「条件」の３つ • カバレッジが低いとテストは不十分かもしれないが、100%を達成したからといって十分という根拠にはならない •
高いカバレッジによる一時的な安心を目指すのではなく、コストやスピードも天秤に乗せていい塩梅を見つけ出そう

メイン参考文献

How do you like Testing?

カバレッジとは？

カバレッジとは？

Atsushi Okui

More Decks by Atsushi Okui

Other Decks in Programming

Featured

Transcript