テスト管理ツール、 提供者目線でのアプローチを語る 朱峰 錦司 JaSST’23 Tokyo A-8

自己紹介 ■ 第三者検証会社にて、テスト支援クラウドツール群を開発 – ツール群全体のプロダクトマネージャー – テスト管理ツールのプロダクトオーナーも兼任 ■ その前は大手SIerの全社横断技術部門にて、技術開発や 商用案件適用支援などに従事 – 2009年～2013年：ソフトウェアテスト技術を中心に – 2013年～2020年：アジャイル開発関連技術を中心に 朱峰 錦司 （あけみね きんじ）@kjstylepp 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 2

自己紹介 ■ ソフトウェアテスト関連の社外活動にも継続的に従事 2013年～2019年 2016年～2017年 2021年～ WACATE 実行委員 ICST 2017 運営委員 JaSST nano お世話係 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 3

テストケース 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 4

テストケース管理の2大流派 ■ チケット型 – 基本的に属性＝フィールドを縛る ■ テストケースはかくあるべき！ ■ スプレッドシート型 – 基本的に属性＝列名は自由 ■ あたなの独自スプレッドシートをそのまま使える！ 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 5

テストケース管理の2大流派 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 6 チケット型 スプレッドシート型

テストケースのグルーピングの2大流派 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 7 ■ お好きに（入れ子可能な）フォルダ構造で – チケット型はこちらが多い印象 ■ 「テストスイート」という一段階の縛りで – スプレッドシート型は基本こっちの印象 – チケット型でもこっちのものもある

テストケースのグルーピングの2大流派 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 8 チケット型（フォルダ） チケット型（スイート） スプレッドシート型（スイート）

A-1.一覧性 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 9 チケット型（フォルダ） チケット型（スイート） スプレッドシート型（スイート） WebのUX/UIの工夫の世界 （UX/UIデザイナーの採用難…！）

A-1.一覧性 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 10 チケット型（フォルダ） チケット型（スイート） スプレッドシート型（スイート） 一覧参照時において、 個々のテストケースまで見たいかどうか？

A-2.保守性 の考察 ■ データ駆動というアイデアがあった ■ 少し抽象化するとハイレベル⇔ローレベルの1:nの仕組みは これまでのツールパターン関係なく実現できそう 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 11

B.テストモデルとのトレーサビリティ の考察 ■ 前提として、テストモデル自体を扱うのは、 いわゆる「テスト管理ツール」の外側がよさそう ■ 「強いトレサビ」と「弱いトレサビ」 – 経験上、「強いトレサビ」はかなりの無理ゲー ■ テストケースやその上位グループ（フォルダやテストスイート）に、 参考情報としてテストモデルをリンクする 「弱いトレサビ」の確保が無難と考える – ただし、テストモデルのさらに上位の仕様情報とのトレサビを 追うのは人間が頑張るしかない 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 12

余談：テストモデルの記法とツール ■ 記法が定義されたモデル – 専用ツールで設計・管理するのがよさそう ■ 記法が定義されていないモデル – スプレッドシートツールぐらいしかない ■ 専用ツールに、表計算機能のない、汎用的かつ純粋な表を 扱うモデルパターンがあると実はみんなハッピー…？ 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 13

タグによるテストケースのグルーピング 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 14 チケット型（フォルダ） チケット型（スイート） スプレッドシート型（スイート）

C-1.管理構造 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 15

C-1.管理構造 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 16 フォルダやスイートが機能分割単位として 活用されることが実際に多い

C-1.管理構造 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 17 テスト目的もタグで扱われることが多い

C-1.管理構造 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 18 テストタイプは、機能横断なものは、タグではなく、 フォルダやスイートでまとめられることも多い

C-2.テストケースの名前 の考察 ■ これはチケット型のツールを導入した際に 改めて意識させられる概念 ■ 大事な意識なので、スプレッドシート型のツールでも あえて明示的に列導入するのがいいかもしれない 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 19

テストの実行の概念 ■ ケースと実行の関係のパターン – シンプルに1テストケースごとに1実行と割り切るパターン ■ 一部のスプレッドシート型にみられる – 実行のたびにスプレッドシートファイルインポートしてね！ – テストケースは継続的に繰り返し実行されるため、 ケースと実行を1:nとするパターン ■ 大半のツールはこちら 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 20

テストの実行の概念 ■ テストひとまわしのカタマリのパターン – スプレッドシート型はテストスイートをそのまま実行単位に – チケット型は好きなテストケースを任意で組み合わせて ■ 加えて、どのツールにも、一定期間で区切られる 「工程」の概念を持つ 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 21

テストの実行の概念 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 22 チケット型 スプレッドシート型（1:1） スプレッドシート型（1:n）

D.テスト実行結果のステータス の考察 ■ ツールとしては、数が増えてもいいから、 実践的に意味のあるステータスは、増やしたほうがいい ■ 加えて、結果補足として、前回からのステータスの遷移の情報を 実行時に理由も併せて、併記できるとなおよい – 例） Failed -> Out Of Scope – 例） Skip -> Out Of Scope 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 23 ステータス 意味 Not Run まだ未実行 Passed 成功 Failed 失敗 Skipped 一時的に飛ばしている Blocked 他責で進まない Out Of Scope 何かの事情で実施しないことにした

E.情報の活用 の考察 ■ テスト管理ツールとしての最低限は、 今この瞬間、実行されているテストの進捗や品質の状況 ■ 加えて、次のテストに活かせる情報も提供したい – 不具合の分布 ■ 機能ごと ■ テスト目的・タイプごと …etc – Blocker要因 ■ さらには、プロジェクトのテスト戦略へも情報を提供したい – 自動化はうまくいっているか？ ■ 自動化率と、その推移 ■ 自動テストのFlakyさと、その推移 …etc 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 24

Let’s discuss! 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 25