Upgrade to Pro — share decks privately, control downloads, hide ads and more …

テスト管理ツール、提供者目線でのアプローチを語る

 テスト管理ツール、提供者目線でのアプローチを語る

JaSST'23 Tokyo セッション A8 「テストウェアのデータモデル」の発表資料です。
https://www.jasst.jp/symposium/jasst23tokyo/details.html#A8

Kinji AKEMINE

March 10, 2023
Tweet

More Decks by Kinji AKEMINE

Other Decks in Technology

Transcript

  1. 自己紹介 ▪ 第三者検証会社にて、テスト支援クラウドツール群を開発 – ツール群全体のプロダクトマネージャー – テスト管理ツールのプロダクトオーナーも兼任 ▪ その前は大手SIerの全社横断技術部門にて、技術開発や 商用案件適用支援などに従事

    – 2009年~2013年:ソフトウェアテスト技術を中心に – 2013年~2020年:アジャイル開発関連技術を中心に 朱峰 錦司 (あけみね きんじ)@kjstylepp 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 2
  2. 自己紹介 ▪ ソフトウェアテスト関連の社外活動にも継続的に従事 2013年~2019年 2016年~2017年 2021年~ WACATE 実行委員 ICST 2017

    運営委員 JaSST nano お世話係 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 3
  3. テストケース管理の2大流派 ▪ チケット型 – 基本的に属性=フィールドを縛る ▪ テストケースはかくあるべき! ▪ スプレッドシート型 –

    基本的に属性=列名は自由 ▪ あたなの独自スプレッドシートをそのまま使える! 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 5
  4. テストケースのグルーピングの2大流派 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 7 ▪ お好きに(入れ子可能な)フォルダ構造で –

    チケット型はこちらが多い印象 ▪ 「テストスイート」という一段階の縛りで – スプレッドシート型は基本こっちの印象 – チケット型でもこっちのものもある
  5. A-1.一覧性 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 9 チケット型(フォルダ) チケット型(スイート)

    スプレッドシート型(スイート) WebのUX/UIの工夫の世界 (UX/UIデザイナーの採用難…!)
  6. A-1.一覧性 の考察 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 10 チケット型(フォルダ) チケット型(スイート)

    スプレッドシート型(スイート) 一覧参照時において、 個々のテストケースまで見たいかどうか?
  7. B.テストモデルとのトレーサビリティ の考察 ▪ 前提として、テストモデル自体を扱うのは、 いわゆる「テスト管理ツール」の外側がよさそう ▪ 「強いトレサビ」と「弱いトレサビ」 – 経験上、「強いトレサビ」はかなりの無理ゲー ▪

    テストケースやその上位グループ(フォルダやテストスイート)に、 参考情報としてテストモデルをリンクする 「弱いトレサビ」の確保が無難と考える – ただし、テストモデルのさらに上位の仕様情報とのトレサビを 追うのは人間が頑張るしかない 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 12
  8. 余談:テストモデルの記法とツール ▪ 記法が定義されたモデル – 専用ツールで設計・管理するのがよさそう ▪ 記法が定義されていないモデル – スプレッドシートツールぐらいしかない ▪

    専用ツールに、表計算機能のない、汎用的かつ純粋な表を 扱うモデルパターンがあると実はみんなハッピー…? 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 13
  9. テストの実行の概念 ▪ ケースと実行の関係のパターン – シンプルに1テストケースごとに1実行と割り切るパターン ▪ 一部のスプレッドシート型にみられる – 実行のたびにスプレッドシートファイルインポートしてね! –

    テストケースは継続的に繰り返し実行されるため、 ケースと実行を1:nとするパターン ▪ 大半のツールはこちら 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 20
  10. D.テスト実行結果のステータス の考察 ▪ ツールとしては、数が増えてもいいから、 実践的に意味のあるステータスは、増やしたほうがいい ▪ 加えて、結果補足として、前回からのステータスの遷移の情報を 実行時に理由も併せて、併記できるとなおよい – 例)

    Failed -> Out Of Scope – 例) Skip -> Out Of Scope 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 23 ステータス 意味 Not Run まだ未実行 Passed 成功 Failed 失敗 Skipped 一時的に飛ばしている Blocked 他責で進まない Out Of Scope 何かの事情で実施しないことにした
  11. E.情報の活用 の考察 ▪ テスト管理ツールとしての最低限は、 今この瞬間、実行されているテストの進捗や品質の状況 ▪ 加えて、次のテストに活かせる情報も提供したい – 不具合の分布 ▪

    機能ごと ▪ テスト目的・タイプごと …etc – Blocker要因 ▪ さらには、プロジェクトのテスト戦略へも情報を提供したい – 自動化はうまくいっているか? ▪ 自動化率と、その推移 ▪ 自動テストのFlakyさと、その推移 …etc 2023/3/10 JaSST'23 Tokyo A-8 テストウェアのデータモデリング 24