$30 off During Our Annual Pro Sale. View Details »

複数条件が関わるお題を用いてテスト設計から自動テストのケース作成まで考えてみたの #jasstnano / Test involving multiple conditions

nihonbuson
December 21, 2021

複数条件が関わるお題を用いてテスト設計から自動テストのケース作成まで考えてみたの #jasstnano / Test involving multiple conditions

nihonbuson

December 21, 2021
Tweet

More Decks by nihonbuson

Other Decks in Technology

Transcript

  1. 複数条件が関わるお題を用いて
    テスト設計から
    自動テストのケース作成まで
    考えてみたの
    ブロッコリー
    (@nihonbuson)

    View Slide

  2. はじめに:本日のお題
    下記の画像は座席順番待ちシステムの入力画面です。
    この店では、大人と子供合わせて最大4名まで予約できます。
    氏名は10文字まで入力可能であり、入力必須です。
    この入力画面を用いて、
    順番待ちの登録ができるかどうかのテストを考えてください。

    View Slide

  3. 今回の発表の楽しみ方
    ● 最初に問題を提示するので、
    それをお手元で解いた上で参加すると楽しめます
    ● WACATE 2021冬に参加した方は、
    「デシジョンテーブルで振る舞いを整理しよう」の
    セッションを思い出しつつ参加すると楽しめます

    View Slide

  4. 自己紹介
    ● 風間裕也(ブロッコリー)
    ● @nihonbuson
    ● 社外活動
    ○ JaSST Review実行委員長
    ○ WACATE実行委員
    ● 執筆活動
    ○ 『テストコードの注入から始める
    レガシーコードのリファクタリング』
    ○ 『Agile Testing Condensed』翻訳
    ○ 『Testing in DevOps』翻訳

    View Slide

  5. アジェンダ
    ● 今回のお題発表
    ● 愚直にデシジョンテーブルを書く
    ● デシジョンテーブルを簡単化する
    ● テストプロセスを踏まえて今回のお題を解く
    ● 別のテスト技法を用いて考える
    ● テスト設計の成果物を元にテスト実装を行う
    ● PICTを用いて解いてみる
    ● 自動テストへの適用を考える

    View Slide

  6. アジェンダ
    ● 今回のお題発表
    ● 愚直にデシジョンテーブルを書く
    ● デシジョンテーブルを簡単化する
    ● テストプロセスを踏まえて今回のお題を解く
    ● 別のテスト技法を用いて考える
    ● テスト設計の成果物を元にテスト実装を行う
    ● PICTを用いて解いてみる
    ● 自動テストへの適用を考える
    時間の許す限り話す
    最低ここまで話す

    View Slide

  7. 45分以上喋っちゃうかも?

    View Slide

  8. 注意点
    ● 今回の発表は発表者個人のやり方・考えを
    述べたものです。
    ● お題に対して「これが正解」という話ではありません
    ○ 「私が考えたやり方がより良い!」という
    意見がありましたら、ぜひ教えてください!
    ● 今回の発表を行うにあたり、JSTQB、JISなどを参考に
    したものの、表記ルールはそれらに沿っていません。

    View Slide

  9. 今回のお題

    View Slide

  10. お題
    下記の画像は座席順番待ちシステムの入力画面です。
    この店では、大人と子供合わせて最大4名まで予約できます。
    氏名は10文字まで入力可能であり、入力必須です。
    この入力画面を用いて、
    順番待ちの登録ができるかどうかのテストを考えてください。

    View Slide

  11. 解法の方針

    View Slide

  12. 解法の方針
    ● 順番待ちの登録(予約)ができるかどうかについては、
    入力値の条件の組み合わせパターンを考えた方が良さそう
    ● そこで、デシジョンテーブルを使って
    組み合わせパターンを洗い出すことにした

    View Slide

  13. 因子水準を考える

    View Slide

  14. 因子水準を考える

    View Slide

  15. 愚直に全組み合わせの
    デシジョンテーブル
    を書く

    View Slide

  16. 条件と期待値を記述する

    View Slide

  17. 全組み合わせを書こうとする
    ※今回は、同一因子内の
     各水準が排他関係
     である前提で
     適用したい条件は"◯" 
    適用しない条件は空欄 
    で表記しています。

    View Slide

  18. 全組み合わせを書こうとする
    (名前)×(大人の人数)×(子供の人数)×(印刷)
    = 3×5×5×2 =150通り

    View Slide

  19. 予約番号の印刷を
    任意にする

    View Slide

  20. 予約番号の印刷は結果に影響しない(無則)
    今回、
    テストしたい内容は
    「順番待ちの登録」
    ができるかどうか
    なので、
    予約番号の印刷は
    スコープ外として
    考える。
    →「-」と表記

    View Slide

  21. 予約番号の印刷は結果に影響しない(無則)
    今回、
    テストしたい内容は
    「順番待ちの登録」
    ができるかどうか
    なので、
    予約番号の印刷は
    スコープ外として
    考える。
    →「-」と表記

    View Slide

  22. 予約番号を任意にして書いてみる
    (名前)×(大人の人数)×(子供の人数)×(印刷)
    = 3×5×5×1 =75通り

    View Slide

  23. 予約番号の印刷の因子を外す
    予約番号の印刷は
    今回の
    デシジョンテーブル
    の因子から外した。

    View Slide

  24. 名前の因子と人数の因子
    を別表にする

    View Slide

  25. それぞれで因子水準を分けて書いてみる
    名前と人数の組み合わせで予約できるかを
    網羅的に確認する必要が無さそうなので、
    それぞれで因子水準表を分けて記述する

    View Slide

  26. 別々にデシジョンテーブルを書いてみる
    (名前)+(大人の人数)×(子供の人数)
    = 3+5×5 =28通り
    ※↑は、もはや
    デシジョンテーブルでは
    ないですが…

    View Slide

  27. あれ?ちょっと待って!
    ここで書いた表はそれぞれ単体の条件で
    エラーメッセージが出るか確認する表です。
    両方ともエラーの場合は別の表にした方が良さそうです。
    それだと、
    人数も名前も適切じゃない時に、
    きちんと両方とも
    エラーメッセージが出るか
    確認してないじゃないか!

    View Slide

  28. 両方とも無効なテストは別にして考える

    View Slide

  29. 両方とも無効なテストは別にして考える

    View Slide

  30. 両方とも無効なテストは別にして考える

    View Slide

  31. 両方とも無効なテストは別にして考える
    別のテスト

    View Slide

  32. 同値クラスを整理する

    View Slide

  33. 当然のように書いていたけど…
    各文字数ごとに
    水準を分けても
    記述できる。
    そうしなかったのは
    「1文字〜10文字」を
    有効同値クラス
    として捉えたため。
    (同値分割法)

    View Slide

  34. 人数の同値クラスを考える
    1名〜3名を同値クラスとして捉えた。

    View Slide

  35. デシジョンテーブルを書いてみる
    (大人の人数)×(子供の人数)
    = 3×3 =9通り となった。

    View Slide

  36. デシジョンテーブルを書いてみる
    (大人の人数)×(子供の人数)
    = 3×3 =9通り となった。
    ただし、?が出てきてしまった…
    例えば、
    ・大人1名、子供1名…◯
    ・大人3名、子供2名…×

    View Slide

  37. 合計人数という因子を加えてみる
    合計人数が予約可否の
    判断に関わるので、
    合計人数を因子として
    加えて表現する。

    View Slide

  38. 合計人数の因子も含めたデシジョンテーブル
    実施不可能なもの(禁則)の期待値には
    N/A(Not Applicable、適用不可)と表記する
    例)大人の人数が0名、子供の人数が0名で、
      合計人数が1〜3名の設定はできない

    View Slide

  39. N/Aの部分(禁則)を省略する
    N/Aの部分は自明なので、省略して記述する。

    View Slide

  40. デシジョンテーブル見比べると…
    ?の部分が、
    2つのケースに
    分かれて
    表現された

    View Slide

  41. ここまでの
    まとめ

    View Slide

  42. ここまでのまとめ
    ● 愚直に全て書き出すと150通り
    ● 予約番号の印刷は予約登録の期待結果に
    影響しないため、因子から除外(150→75通り)
    ● 名前の因子と人数の因子を別々に考える
    (3×5×5=75→3+5×5=28通り)
    ● 人数の同値クラスを考える
    ○ 合計人数という因子も含めてみる
    (28→3+10=13通り)

    View Slide

  43. それぞれの
    デシジョンテーブル
    における
    テスト観点図を考える

    View Slide

  44. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    何をテスト
    するか
    それをどう
    テストするか
    テストの実行に
    必要なものすべて
    を準備したか
    テストスイート
    を実行する
    参考:ISTQBテスト技術者資格制度 Foundation Level シラバス 日本語版 Version 2018V3.1.J03

    View Slide

  45. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    テスト手順
    作成
    自動テスト
    スクリプト作成
    デシジョン
    テーブル作成

    View Slide

  46. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    デシジョン
    テーブル作成
    テスト手順
    作成
    自動テスト
    スクリプト作成
    テスト
    観点図作成

    View Slide

  47. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル作成
    テスト手順
    作成
    自動テスト
    スクリプト作成

    View Slide

  48. 初期のテスト観点

    View Slide

  49. 初期のテスト観点
    (名前)×(大人の人数)×(子供の人数)×(印刷)
    = 3×5×5×2 =150通り

    View Slide

  50. 無則な観点を削る

    View Slide

  51. 無則な観点を削る
    (名前)×(大人の人数)×(子供の人数)×(印刷)
    = 3×5×5×1 =75通り

    View Slide

  52. 名前と人数で条件を別々にまとめた場合

    View Slide

  53. 名前と人数で条件を別々にまとめた場合
    (名前)+(大人の人数)×(子供の人数)
    = 3+5×5 =28通り
    ※↑は、もはや
    デシジョンテーブルでは
    ないですが…

    View Slide

  54. 合計人数の条件を含めた場合

    View Slide

  55. 人数の同値クラスと合計人数で考える
    (名前のテスト)+(人数のテスト)= 3+10 =13通り

    View Slide

  56. 150通り
    75通り

    View Slide

  57. 3+25通り
    3+10通り

    View Slide

  58. 別のテスト技法を
    用いて考える

    View Slide

  59. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル作成
    テスト手順
    作成
    自動テスト
    スクリプト作成

    View Slide

  60. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル作成
    テスト手順
    作成
    自動テスト
    スクリプト作成
    別のテスト
    設計技法

    View Slide

  61. ドメイン分析で考える
    x+y≦4
    y≦4
    x≦4
    x≧0
    y≧0
    x+y≧1
    赤色の部分が、予約できる範囲

    View Slide

  62. ドメイン分析で考える
    y≦4
    x≦4
    x≧0
    y≧0
    ONポイント OFFポイント OFFポイント(テスト不可)
    x+y≦4
    x+y≧1

    View Slide

  63. 【注意】ドメイン分析技法は応用です

    View Slide

  64. テスト設計の
    成果物を元に
    テスト実装を行う

    View Slide

  65. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル作成
    テスト手順
    作成
    自動テスト
    スクリプト作成
    別のテスト
    設計技法

    View Slide

  66. 名前についてのテスト設計成果物

    View Slide

  67. 名前についてのテスト実装の例

    View Slide

  68. テスト設計とテスト実装の関係性

    View Slide

  69. テスト設計とテスト実装が1:1とは限らない

    View Slide

  70. テスト設計とテスト実装が1:1とは限らない

    View Slide

  71. 実装実施時要検討事項の存在
    テスト設計に出てこない条件
    =実装実施時要検討事項

    View Slide

  72. 実装実施時要検討事項の出所

    View Slide

  73. 実装実施時要検討事項を考慮しないと…
    出てくるパラメータを
    全てテスト条件として、組み合わせを考えよう!
    →全組み合わせ(今回の場合150通りのテストパターン)
     が出てきてしまう

    View Slide

  74. 各テスト設計のテスト条件との関係性

    View Slide

  75. PICTを用いて
    ペアワイズテストを
    書いてみる

    View Slide

  76. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル
    テスト手順
    作成
    自動テスト
    スクリプト作成
    ドメイン分析
    技法

    View Slide

  77. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル
    テスト手順
    作成
    自動テスト
    スクリプト作成
    ドメイン分析
    技法
    PICTを用いた
    ペアワイズテスト法

    View Slide

  78. PICTでテストパターンを書き出す
    150通り→25通りになった!

    View Slide

  79. PICTで作成したテストパターンだと…
    予約可能パターンのうち、
    #1, #15, #16 は予約できず
    #20は予約できた。
    (#1, #15, #16が期待値通り
    にならない不具合)
    不具合の原因はどこ?

    View Slide

  80. 自動テストの
    理解容易性にも
    影響する

    View Slide

  81. テスト実行するまでの過程
    テスト
    分析
    テスト
    設計
    テスト
    実装
    テスト
    実行
    テストプロセス(JSTQBより)
    テスト
    観点図作成
    デシジョン
    テーブル テスト手順
    作成
    自動テスト
    スクリプト作成
    ドメイン分析
    技法
    PICTを用いた
    ペアワイズテスト

    View Slide

  82. PICTで作成したテストパターンだと…
    予約可能パターンのうち、
    #1, #15, #16 は予約できず
    #20は予約できた。
    (#1, #15, #16が期待値通り
    にならない不具合)
    不具合の原因はどこ?

    View Slide

  83. PICTの場合でテスト実行

    View Slide

  84. そもそも今回のお題でPICTを使うのはNG
    詳しくはブログに書いてます。
    「全網羅テスト」という言葉について
    〜または、ペアワイズ法、直交表、PICT活用時の落とし穴〜
    #テストアドカレ
    https://nihonbuson.hatenadiary.jp/entry/AllCoverageTrap

    View Slide

  85. 【注意】ペアワイズテストは応用です
    ペアワイズ
    テスト
    直交表など

    View Slide

  86. デシジョンテーブルで作成したテストパターン

    View Slide

  87. デシジョンテーブルの場合でテスト実行

    View Slide

  88. おわりに

    View Slide

  89. まとめ
    ● テスト観点で整理すると、
    適切な因子水準を考えることができる
    ● 直接組み合わせる必要がないものは、
    別々のデシジョンテーブルにすることで、
    テストパターンが掛け算ではなく足し算になる
    ● 複数の因子の組み合わせで別の因子が出てくる場合、
    ドメイン分析が活用できる
    ● テスト実装の際は、テスト設計の成果物で理解した
    必要な情報のみを記載する
    ● 適切なテスト設計は自動テストの理解容易性も高まる

    View Slide

  90. アドベントカレンダーの記事にします!
    ● 今回のお題発表
    ● 愚直にデシジョンテーブルを書く
    ● デシジョンテーブルを簡単化する
    ● テストプロセスを踏まえて今回のお題を解く
    ● 別のテスト技法を用いて考える
    ● テスト設計の成果物を元にテスト実装を行う
    ● PICTを用いて解いてみる
    ● 自動テストへの適用を考える
    ソフトウェアテスト Advent Calendar22日目
    自動テスト・テスト自動化 Advent Calendar 24日目

    View Slide

  91. ちゃんとした書き方を知りたい人はこちら
    https://speakerdeck.com/imtnd/analyze-the-behavior-with-decision-table

    View Slide

  92. おしまい

    View Slide