複数条件が関わるお題を用いてテスト設計から自動テストのケース作成まで考えてみたの #jasstnano / Test involving multiple conditions

by nihonbuson

Slide 1

Slide 1 text

複数条件が関わるお題を用いてテスト設計から自動テストのケース作成まで考えてみたのブロッコリー (@nihonbuson)

Slide 2

Slide 2 text

はじめに：本日のお題下記の画像は座席順番待ちシステムの入力画面です。この店では、大人と子供合わせて最大4名まで予約できます。氏名は10文字まで入力可能であり、入力必須です。この入力画面を用いて、順番待ちの登録ができるかどうかのテストを考えてください。

Slide 3

Slide 3 text

今回の発表の楽しみ方 ● 最初に問題を提示するので、それをお手元で解いた上で参加すると楽しめます ● WACATE 2021冬に参加した方は、「デシジョンテーブルで振る舞いを整理しよう」のセッションを思い出しつつ参加すると楽しめます

Slide 4

Slide 4 text

自己紹介 ● 風間裕也（ブロッコリー） ● @nihonbuson ● 社外活動 ○ JaSST Review実行委員長 ○ WACATE実行委員 ● 執筆活動 ○ 『テストコードの注入から始めるレガシーコードのリファクタリング』 ○ 『Agile Testing Condensed』翻訳 ○ 『Testing in DevOps』翻訳

Slide 5

Slide 5 text

アジェンダ ● 今回のお題発表 ● 愚直にデシジョンテーブルを書く ● デシジョンテーブルを簡単化する ● テストプロセスを踏まえて今回のお題を解く ● 別のテスト技法を用いて考える ● テスト設計の成果物を元にテスト実装を行う ● PICTを用いて解いてみる ● 自動テストへの適用を考える

Slide 6

Slide 6 text

アジェンダ ● 今回のお題発表 ● 愚直にデシジョンテーブルを書く ● デシジョンテーブルを簡単化する ● テストプロセスを踏まえて今回のお題を解く ● 別のテスト技法を用いて考える ● テスト設計の成果物を元にテスト実装を行う ● PICTを用いて解いてみる ● 自動テストへの適用を考える時間の許す限り話す最低ここまで話す

Slide 7

Slide 7 text

45分以上喋っちゃうかも？

Slide 8

Slide 8 text

注意点 ● 今回の発表は発表者個人のやり方・考えを述べたものです。 ● お題に対して「これが正解」という話ではありません ○ 「私が考えたやり方がより良い！」という意見がありましたら、ぜひ教えてください！ ● 今回の発表を行うにあたり、JSTQB、JISなどを参考にしたものの、表記ルールはそれらに沿っていません。

Slide 9

Slide 9 text

今回のお題

Slide 10

Slide 10 text

お題下記の画像は座席順番待ちシステムの入力画面です。この店では、大人と子供合わせて最大4名まで予約できます。氏名は10文字まで入力可能であり、入力必須です。この入力画面を用いて、順番待ちの登録ができるかどうかのテストを考えてください。

Slide 11

Slide 11 text

解法の方針

Slide 12

Slide 12 text

解法の方針 ● 順番待ちの登録（予約）ができるかどうかについては、入力値の条件の組み合わせパターンを考えた方が良さそう ● そこで、デシジョンテーブルを使って組み合わせパターンを洗い出すことにした

Slide 13

Slide 13 text

因子水準を考える

Slide 14

Slide 14 text

因子水準を考える

Slide 15

Slide 15 text

愚直に全組み合わせのデシジョンテーブルを書く

Slide 16

Slide 16 text

条件と期待値を記述する

Slide 17

Slide 17 text

全組み合わせを書こうとする ※今回は、同一因子内の　各水準が排他関係　である前提で　適用したい条件は"◯"　適用しない条件は空欄　で表記しています。

Slide 18

Slide 18 text

全組み合わせを書こうとする（名前）×（大人の人数）×（子供の人数）×（印刷）＝ 3×5×5×2 ＝150通り

Slide 19

Slide 19 text

予約番号の印刷を任意にする

Slide 20

Slide 20 text

予約番号の印刷は結果に影響しない（無則）今回、テストしたい内容は「順番待ちの登録」ができるかどうかなので、予約番号の印刷はスコープ外として考える。 →「-」と表記

Slide 21

Slide 21 text

Slide 22

Slide 22 text

予約番号を任意にして書いてみる（名前）×（大人の人数）×（子供の人数）×（印刷）＝ 3×5×5×1 ＝75通り

Slide 23

Slide 23 text

予約番号の印刷の因子を外す予約番号の印刷は今回のデシジョンテーブルの因子から外した。

Slide 24

Slide 24 text

名前の因子と人数の因子を別表にする

Slide 25

Slide 25 text

それぞれで因子水準を分けて書いてみる名前と人数の組み合わせで予約できるかを網羅的に確認する必要が無さそうなので、それぞれで因子水準表を分けて記述する

Slide 26

Slide 26 text

別々にデシジョンテーブルを書いてみる（名前）＋（大人の人数）×（子供の人数）＝ 3＋5×5 ＝28通り ※↑は、もはやデシジョンテーブルではないですが…

Slide 27

Slide 27 text

あれ？ちょっと待って！ここで書いた表はそれぞれ単体の条件でエラーメッセージが出るか確認する表です。両方ともエラーの場合は別の表にした方が良さそうです。それだと、人数も名前も適切じゃない時に、きちんと両方ともエラーメッセージが出るか確認してないじゃないか！

Slide 28

Slide 28 text

両方とも無効なテストは別にして考える

Slide 29

Slide 29 text

両方とも無効なテストは別にして考える

Slide 30

Slide 30 text

両方とも無効なテストは別にして考える

Slide 31

Slide 31 text

両方とも無効なテストは別にして考える別のテスト

Slide 32

Slide 32 text

同値クラスを整理する

Slide 33

Slide 33 text

当然のように書いていたけど… 各文字数ごとに水準を分けても記述できる。そうしなかったのは「1文字〜10文字」を有効同値クラスとして捉えたため。（同値分割法）

Slide 34

Slide 34 text

人数の同値クラスを考える 1名〜3名を同値クラスとして捉えた。

Slide 35

Slide 35 text

デシジョンテーブルを書いてみる（大人の人数）×（子供の人数）＝ 3×3 ＝9通りとなった。

Slide 36

Slide 36 text

デシジョンテーブルを書いてみる（大人の人数）×（子供の人数）＝ 3×3 ＝9通りとなった。ただし、？が出てきてしまった… 例えば、・大人1名、子供1名…◯ ・大人3名、子供2名…×

Slide 37

Slide 37 text

合計人数という因子を加えてみる合計人数が予約可否の判断に関わるので、合計人数を因子として加えて表現する。

Slide 38

Slide 38 text

合計人数の因子も含めたデシジョンテーブル実施不可能なもの（禁則）の期待値には N/A（Not Applicable、適用不可）と表記する例）大人の人数が0名、子供の人数が0名で、　　合計人数が1〜3名の設定はできない

Slide 39

Slide 39 text

N/Aの部分（禁則）を省略する N/Aの部分は自明なので、省略して記述する。

Slide 40

Slide 40 text

デシジョンテーブル見比べると… ？の部分が、 2つのケースに分かれて表現された

Slide 41

Slide 41 text

ここまでのまとめ

Slide 42

Slide 42 text

ここまでのまとめ ● 愚直に全て書き出すと150通り ● 予約番号の印刷は予約登録の期待結果に影響しないため、因子から除外（150→75通り） ● 名前の因子と人数の因子を別々に考える（3×5×5=75→3＋5×5=28通り） ● 人数の同値クラスを考える ○ 合計人数という因子も含めてみる（28→3＋10＝13通り）

Slide 43

Slide 43 text

それぞれのデシジョンテーブルにおけるテスト観点図を考える

Slide 44

Slide 44 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）何をテストするかそれをどうテストするかテストの実行に必要なものすべてを準備したかテストスイートを実行する参考：ISTQBテスト技術者資格制度 Foundation Level シラバス日本語版 Version 2018V3.1.J03

Slide 45

Slide 45 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成テスト手順作成自動テストスクリプト作成デシジョンテーブル作成

Slide 46

Slide 46 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）デシジョンテーブル作成テスト手順作成自動テストスクリプト作成テスト観点図作成

Slide 47

Slide 47 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成デシジョンテーブル作成テスト手順作成自動テストスクリプト作成

Slide 48

Slide 48 text

初期のテスト観点

Slide 49

Slide 49 text

初期のテスト観点（名前）×（大人の人数）×（子供の人数）×（印刷）＝ 3×5×5×2 ＝150通り

Slide 50

Slide 50 text

無則な観点を削る

Slide 51

Slide 51 text

無則な観点を削る（名前）×（大人の人数）×（子供の人数）×（印刷）＝ 3×5×5×1 ＝75通り

Slide 52

Slide 52 text

名前と人数で条件を別々にまとめた場合

Slide 53

Slide 53 text

名前と人数で条件を別々にまとめた場合（名前）＋（大人の人数）×（子供の人数）＝ 3＋5×5 ＝28通り ※↑は、もはやデシジョンテーブルではないですが…

Slide 54

Slide 54 text

合計人数の条件を含めた場合

Slide 55

Slide 55 text

人数の同値クラスと合計人数で考える (名前のテスト)＋(人数のテスト)＝ 3＋10 ＝13通り

Slide 56

Slide 56 text

150通り 75通り

Slide 57

Slide 57 text

3+25通り 3+10通り

Slide 58

Slide 58 text

別のテスト技法を用いて考える

Slide 59

Slide 59 text

Slide 60

Slide 60 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成デシジョンテーブル作成テスト手順作成自動テストスクリプト作成別のテスト設計技法

Slide 61

Slide 61 text

ドメイン分析で考える x+y≦4 y≦4 x≦4 x≧0 y≧0 x+y≧1 赤色の部分が、予約できる範囲

Slide 62

Slide 62 text

ドメイン分析で考える y≦4 x≦4 x≧0 y≧0 ONポイント OFFポイント OFFポイント（テスト不可） x+y≦4 x+y≧1

Slide 63

Slide 63 text

【注意】ドメイン分析技法は応用です

Slide 64

Slide 64 text

テスト設計の成果物を元にテスト実装を行う

Slide 65

Slide 65 text

Slide 66

Slide 66 text

名前についてのテスト設計成果物

Slide 67

Slide 67 text

名前についてのテスト実装の例

Slide 68

Slide 68 text

テスト設計とテスト実装の関係性

Slide 69

Slide 69 text

テスト設計とテスト実装が1:1とは限らない

Slide 70

Slide 70 text

テスト設計とテスト実装が1:1とは限らない

Slide 71

Slide 71 text

実装実施時要検討事項の存在テスト設計に出てこない条件＝実装実施時要検討事項

Slide 72

Slide 72 text

実装実施時要検討事項の出所

Slide 73

Slide 73 text

実装実施時要検討事項を考慮しないと… 出てくるパラメータを全てテスト条件として、組み合わせを考えよう！ →全組み合わせ（今回の場合150通りのテストパターン）　が出てきてしまう

Slide 74

Slide 74 text

各テスト設計のテスト条件との関係性

Slide 75

Slide 75 text

PICTを用いてペアワイズテストを書いてみる

Slide 76

Slide 76 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成デシジョンテーブルテスト手順作成自動テストスクリプト作成ドメイン分析技法

Slide 77

Slide 77 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成デシジョンテーブルテスト手順作成自動テストスクリプト作成ドメイン分析技法 PICTを用いたペアワイズテスト法

Slide 78

Slide 78 text

PICTでテストパターンを書き出す 150通り→25通りになった！

Slide 79

Slide 79 text

PICTで作成したテストパターンだと… 予約可能パターンのうち、 #1, #15, #16 は予約できず #20は予約できた。 (#1, #15, #16が期待値通りにならない不具合) 不具合の原因はどこ？

Slide 80

Slide 80 text

自動テストの理解容易性にも影響する

Slide 81

Slide 81 text

テスト実行するまでの過程テスト分析テスト設計テスト実装テスト実行テストプロセス（JSTQBより）テスト観点図作成デシジョンテーブルテスト手順作成自動テストスクリプト作成ドメイン分析技法 PICTを用いたペアワイズテスト

Slide 82

Slide 82 text

Slide 83

Slide 83 text

PICTの場合でテスト実行

Slide 84

Slide 84 text

そもそも今回のお題でPICTを使うのはNG 詳しくはブログに書いてます。「全網羅テスト」という言葉について〜または、ペアワイズ法、直交表、PICT活用時の落とし穴〜 #テストアドカレ https://nihonbuson.hatenadiary.jp/entry/AllCoverageTrap

Slide 85

Slide 85 text

【注意】ペアワイズテストは応用ですペアワイズテスト直交表など

Slide 86

Slide 86 text

デシジョンテーブルで作成したテストパターン

Slide 87

Slide 87 text

デシジョンテーブルの場合でテスト実行

Slide 88

Slide 88 text

おわりに

Slide 89

Slide 89 text

まとめ ● テスト観点で整理すると、適切な因子水準を考えることができる ● 直接組み合わせる必要がないものは、別々のデシジョンテーブルにすることで、テストパターンが掛け算ではなく足し算になる ● 複数の因子の組み合わせで別の因子が出てくる場合、ドメイン分析が活用できる ● テスト実装の際は、テスト設計の成果物で理解した必要な情報のみを記載する ● 適切なテスト設計は自動テストの理解容易性も高まる

Slide 90

Slide 90 text

アドベントカレンダーの記事にします！ ● 今回のお題発表 ● 愚直にデシジョンテーブルを書く ● デシジョンテーブルを簡単化する ● テストプロセスを踏まえて今回のお題を解く ● 別のテスト技法を用いて考える ● テスト設計の成果物を元にテスト実装を行う ● PICTを用いて解いてみる ● 自動テストへの適用を考えるソフトウェアテスト Advent Calendar22日目自動テスト・テスト自動化 Advent Calendar 24日目

Slide 91

Slide 91 text

ちゃんとした書き方を知りたい人はこちら https://speakerdeck.com/imtnd/analyze-the-behavior-with-decision-table

Slide 92

Slide 92 text

おしまい