複数条件が関わるお題を用いてテスト設計から自動テストのケース作成まで考えてみたの #jasstnano / Test involving multiple conditions

Transcript

1. 複数条件が関わるお題を用いて テスト設計から 自動テストのケース作成まで 考えてみたの ブロッコリー (@nihonbuson)
2. はじめに：本日のお題 下記の画像は座席順番待ちシステムの入力画面です。 この店では、大人と子供合わせて最大4名まで予約できます。 氏名は10文字まで入力可能であり、入力必須です。 この入力画面を用いて、 順番待ちの登録ができるかどうかのテストを考えてください。
3. 今回の発表の楽しみ方 • 最初に問題を提示するので、 それをお手元で解いた上で参加すると楽しめます • WACATE 2021冬に参加した方は、 「デシジョンテーブルで振る舞いを整理しよう」の セッションを思い出しつつ参加すると楽しめます
4. 自己紹介 • 風間裕也（ブロッコリー） • @nihonbuson • 社外活動 ◦ JaSST Review実行委員長 ◦ WACATE実行委員 • 執筆活動 ◦ 『テストコードの注入から始める レガシーコードのリファクタリング』 ◦ 『Agile Testing Condensed』翻訳 ◦ 『Testing in DevOps』翻訳
5. アジェンダ • 今回のお題発表 • 愚直にデシジョンテーブルを書く • デシジョンテーブルを簡単化する • テストプロセスを踏まえて今回のお題を解く • 別のテスト技法を用いて考える • テスト設計の成果物を元にテスト実装を行う • PICTを用いて解いてみる • 自動テストへの適用を考える
6. アジェンダ • 今回のお題発表 • 愚直にデシジョンテーブルを書く • デシジョンテーブルを簡単化する • テストプロセスを踏まえて今回のお題を解く • 別のテスト技法を用いて考える • テスト設計の成果物を元にテスト実装を行う • PICTを用いて解いてみる • 自動テストへの適用を考える 時間の許す限り話す 最低ここまで話す
7. 45分以上喋っちゃうかも？
8. 注意点 • 今回の発表は発表者個人のやり方・考えを 述べたものです。 • お題に対して「これが正解」という話ではありません ◦ 「私が考えたやり方がより良い！」という 意見がありましたら、ぜひ教えてください！ • 今回の発表を行うにあたり、JSTQB、JISなどを参考に したものの、表記ルールはそれらに沿っていません。
9. 今回のお題
10. お題 下記の画像は座席順番待ちシステムの入力画面です。 この店では、大人と子供合わせて最大4名まで予約できます。 氏名は10文字まで入力可能であり、入力必須です。 この入力画面を用いて、 順番待ちの登録ができるかどうかのテストを考えてください。
11. 解法の方針
12. 解法の方針 • 順番待ちの登録（予約）ができるかどうかについては、 入力値の条件の組み合わせパターンを考えた方が良さそう • そこで、デシジョンテーブルを使って 組み合わせパターンを洗い出すことにした
13. 因子水準を考える
14. 因子水準を考える
15. 愚直に全組み合わせの デシジョンテーブル を書く
16. 条件と期待値を記述する
17. 全組み合わせを書こうとする ※今回は、同一因子内の 　各水準が排他関係 　である前提で 　適用したい条件は"◯"　 適用しない条件は空欄　 で表記しています。
18. 全組み合わせを書こうとする （名前）×（大人の人数）×（子供の人数）×（印刷） ＝ 3×5×5×2 ＝150通り
19. 予約番号の印刷を 任意にする
20. 予約番号の印刷は結果に影響しない（無則） 今回、 テストしたい内容は 「順番待ちの登録」 ができるかどうか なので、 予約番号の印刷は スコープ外として 考える。 →「-」と表記
21. 予約番号の印刷は結果に影響しない（無則） 今回、 テストしたい内容は 「順番待ちの登録」 ができるかどうか なので、 予約番号の印刷は スコープ外として 考える。 →「-」と表記
22. 予約番号を任意にして書いてみる （名前）×（大人の人数）×（子供の人数）×（印刷） ＝ 3×5×5×1 ＝75通り
23. 予約番号の印刷の因子を外す 予約番号の印刷は 今回の デシジョンテーブル の因子から外した。
24. 名前の因子と人数の因子 を別表にする
25. それぞれで因子水準を分けて書いてみる 名前と人数の組み合わせで予約できるかを 網羅的に確認する必要が無さそうなので、 それぞれで因子水準表を分けて記述する
26. 別々にデシジョンテーブルを書いてみる （名前）＋（大人の人数）×（子供の人数） ＝ 3＋5×5 ＝28通り ※↑は、もはや デシジョンテーブルでは ないですが…
27. あれ？ちょっと待って！ ここで書いた表はそれぞれ単体の条件で エラーメッセージが出るか確認する表です。 両方ともエラーの場合は別の表にした方が良さそうです。 それだと、 人数も名前も適切じゃない時に、 きちんと両方とも エラーメッセージが出るか 確認してないじゃないか！
28. 両方とも無効なテストは別にして考える
29. 両方とも無効なテストは別にして考える
30. 両方とも無効なテストは別にして考える
31. 両方とも無効なテストは別にして考える 別のテスト
32. 同値クラスを整理する
33. 当然のように書いていたけど… 各文字数ごとに 水準を分けても 記述できる。 そうしなかったのは 「1文字〜10文字」を 有効同値クラス として捉えたため。 （同値分割法）
34. 人数の同値クラスを考える 1名〜3名を同値クラスとして捉えた。
35. デシジョンテーブルを書いてみる （大人の人数）×（子供の人数） ＝ 3×3 ＝9通り となった。
36. デシジョンテーブルを書いてみる （大人の人数）×（子供の人数） ＝ 3×3 ＝9通り となった。 ただし、？が出てきてしまった… 例えば、 ・大人1名、子供1名…◯ ・大人3名、子供2名…×
37. 合計人数という因子を加えてみる 合計人数が予約可否の 判断に関わるので、 合計人数を因子として 加えて表現する。
38. 合計人数の因子も含めたデシジョンテーブル 実施不可能なもの（禁則）の期待値には N/A（Not Applicable、適用不可）と表記する 例）大人の人数が0名、子供の人数が0名で、 　　合計人数が1〜3名の設定はできない
39. N/Aの部分（禁則）を省略する N/Aの部分は自明なので、省略して記述する。
40. デシジョンテーブル見比べると… ？の部分が、 2つのケースに 分かれて 表現された
41. ここまでの まとめ
42. ここまでのまとめ • 愚直に全て書き出すと150通り • 予約番号の印刷は予約登録の期待結果に 影響しないため、因子から除外（150→75通り） • 名前の因子と人数の因子を別々に考える （3×5×5=75→3＋5×5=28通り） • 人数の同値クラスを考える ◦ 合計人数という因子も含めてみる （28→3＋10＝13通り）
43. それぞれの デシジョンテーブル における テスト観点図を考える
44. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） 何をテスト するか それをどう テストするか テストの実行に 必要なものすべて を準備したか テストスイート を実行する 参考：ISTQBテスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2018V3.1.J03
45. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 テスト手順 作成 自動テスト スクリプト作成 デシジョン テーブル作成
46. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） デシジョン テーブル作成 テスト手順 作成 自動テスト スクリプト作成 テスト 観点図作成
47. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル作成 テスト手順 作成 自動テスト スクリプト作成
48. 初期のテスト観点
49. 初期のテスト観点 （名前）×（大人の人数）×（子供の人数）×（印刷） ＝ 3×5×5×2 ＝150通り
50. 無則な観点を削る
51. 無則な観点を削る （名前）×（大人の人数）×（子供の人数）×（印刷） ＝ 3×5×5×1 ＝75通り
52. 名前と人数で条件を別々にまとめた場合
53. 名前と人数で条件を別々にまとめた場合 （名前）＋（大人の人数）×（子供の人数） ＝ 3＋5×5 ＝28通り ※↑は、もはや デシジョンテーブルでは ないですが…
54. 合計人数の条件を含めた場合
55. 人数の同値クラスと合計人数で考える (名前のテスト)＋(人数のテスト)＝ 3＋10 ＝13通り
56. 150通り 75通り
57. 3+25通り 3+10通り
58. 別のテスト技法を 用いて考える
59. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル作成 テスト手順 作成 自動テスト スクリプト作成
60. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル作成 テスト手順 作成 自動テスト スクリプト作成 別のテスト 設計技法
61. ドメイン分析で考える x+y≦4 y≦4 x≦4 x≧0 y≧0 x+y≧1 赤色の部分が、予約できる範囲
62. ドメイン分析で考える y≦4 x≦4 x≧0 y≧0 ONポイント OFFポイント OFFポイント（テスト不可） x+y≦4 x+y≧1
63. 【注意】ドメイン分析技法は応用です
64. テスト設計の 成果物を元に テスト実装を行う
65. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル作成 テスト手順 作成 自動テスト スクリプト作成 別のテスト 設計技法
66. 名前についてのテスト設計成果物
67. 名前についてのテスト実装の例
68. テスト設計とテスト実装の関係性
69. テスト設計とテスト実装が1:1とは限らない
70. テスト設計とテスト実装が1:1とは限らない
71. 実装実施時要検討事項の存在 テスト設計に出てこない条件 ＝実装実施時要検討事項
72. 実装実施時要検討事項の出所
73. 実装実施時要検討事項を考慮しないと… 出てくるパラメータを 全てテスト条件として、組み合わせを考えよう！ →全組み合わせ（今回の場合150通りのテストパターン） 　が出てきてしまう
74. 各テスト設計のテスト条件との関係性
75. PICTを用いて ペアワイズテストを 書いてみる
76. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル テスト手順 作成 自動テスト スクリプト作成 ドメイン分析 技法
77. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル テスト手順 作成 自動テスト スクリプト作成 ドメイン分析 技法 PICTを用いた ペアワイズテスト法
78. PICTでテストパターンを書き出す 150通り→25通りになった！
79. PICTで作成したテストパターンだと… 予約可能パターンのうち、 #1, #15, #16 は予約できず #20は予約できた。 (#1, #15, #16が期待値通り にならない不具合) 不具合の原因はどこ？
80. 自動テストの 理解容易性にも 影響する
81. テスト実行するまでの過程 テスト 分析 テスト 設計 テスト 実装 テスト 実行 テストプロセス（JSTQBより） テスト 観点図作成 デシジョン テーブル テスト手順 作成 自動テスト スクリプト作成 ドメイン分析 技法 PICTを用いた ペアワイズテスト
82. PICTで作成したテストパターンだと… 予約可能パターンのうち、 #1, #15, #16 は予約できず #20は予約できた。 (#1, #15, #16が期待値通り にならない不具合) 不具合の原因はどこ？
83. PICTの場合でテスト実行
84. そもそも今回のお題でPICTを使うのはNG 詳しくはブログに書いてます。 「全網羅テスト」という言葉について 〜または、ペアワイズ法、直交表、PICT活用時の落とし穴〜 #テストアドカレ https://nihonbuson.hatenadiary.jp/entry/AllCoverageTrap
85. 【注意】ペアワイズテストは応用です ペアワイズ テスト 直交表など
86. デシジョンテーブルで作成したテストパターン
87. デシジョンテーブルの場合でテスト実行
88. おわりに
89. まとめ • テスト観点で整理すると、 適切な因子水準を考えることができる • 直接組み合わせる必要がないものは、 別々のデシジョンテーブルにすることで、 テストパターンが掛け算ではなく足し算になる • 複数の因子の組み合わせで別の因子が出てくる場合、 ドメイン分析が活用できる • テスト実装の際は、テスト設計の成果物で理解した 必要な情報のみを記載する • 適切なテスト設計は自動テストの理解容易性も高まる
90. アドベントカレンダーの記事にします！ • 今回のお題発表 • 愚直にデシジョンテーブルを書く • デシジョンテーブルを簡単化する • テストプロセスを踏まえて今回のお題を解く • 別のテスト技法を用いて考える • テスト設計の成果物を元にテスト実装を行う • PICTを用いて解いてみる • 自動テストへの適用を考える ソフトウェアテスト Advent Calendar22日目 自動テスト・テスト自動化 Advent Calendar 24日目
91. ちゃんとした書き方を知りたい人はこちら https://speakerdeck.com/imtnd/analyze-the-behavior-with-decision-table
92. おしまい