1 / 43 パネルディスカッション テスト管理ツールの向かう先 Mar. 15th, 2024 JaSST ’24 Tokyo 朱峰 錦司（株式会社ベリサーブ） 石井 優（株式会社SHIFT） 会田 圭司（テクマトリックス株式会社） 鈴木 一裕 Image: Generated by Dall-e

2 / 43 JaSST’24 Tokyo はじめに ◼ 本セッションでは、感想や質問、ご意見…etc をぜひ Discordに投稿いただけると幸いです！ ⚫ 「#a8_テスト管理ツールセッション」チャンネルです ◼ まずは練習で、ぜひ以下を皆さん、どんどんDiscordに 書き込んでみてください！ 普段、テストケースやテスト結果をどのようなツールで管理していますか？ ・Microsoft Excel, Google Spreadsheet, 専用のテスト管理ツール…etc

3 / 43 JaSST’24 Tokyo オープニング

4 / 43 JaSST’24 Tokyo 本セッションの背景 JaSST’23 Tokyo サイトより抜粋

5 / 43 JaSST’24 Tokyo 本セッションの背景

6 / 43 JaSST’24 Tokyo 本セッションの狙い JaSST’24 Tokyo サイトより抜粋

7 / 43 JaSST’24 Tokyo 留意事項 JaSST’24 Tokyo サイトより抜粋

8 / 43 JaSST’24 Tokyo 本日のお品書き ◼ テスト管理ツールとは？ ◼ パネラーのご紹介 ◼ テスト管理ツールの未来に関するディスカッション

9 / 43 JaSST’24 Tokyo 本日のお品書き ◼ テスト管理ツールとは？ ◼ パネラーのご紹介 ◼ テスト管理ツールの未来に関するディスカッション

10 / 43 JaSST’24 Tokyo テスト管理ツールとは

11 / 43 JaSST’24 Tokyo 世の中のトレンド 継続的な プロダクト進化

12 / 43 JaSST’24 Tokyo 世の中のトレンド 継続的な テスト活動

13 / 43 JaSST’24 Tokyo 最もシェアの高いテスト管理ツール？

14 / 43 JaSST’24 Tokyo 最もシェアの高いテスト管理ツール？ 最大手オフィスツールの 表計算ソフト

16 / 43 JaSST’24 Tokyo テスト管理ツールが提供する価値 目の前のテストの 集計作業の軽減

17 / 43 JaSST’24 Tokyo テスト管理ツールが提供する価値 テスト資産活用による 品質分析の高度化

18 / 43 JaSST’24 Tokyo テスト管理ツールが提供する価値 プロダクトチーム内の 情報流通の加速

19 / 43 JaSST’24 Tokyo パネラーのご紹介

20 / 43 JaSST’24 Tokyo 会田 圭司 Keiji Aita テクマトリックス株式会社 ソフトウェアエンジニアリング事業部 ソフトウェアエンジニアリング技術1部 次長 国内家電メーカーにて組み込みソフトウェア開発および海外を含む品質改善プロジェクトに約10年間 従事。 2011年から現職。海外製品のプリセールスエンジニアとして、100社以上のソフトウェア開発チームに プロセス改善の提案を実施。 2020年頃からクラウドサービスの技術責任者を兼任。 TestRailおよびRedmineの国内向けクラウドサービスを展開。

21 / 43 JaSST’24 Tokyo テストケース, 計画, 実行の管理 実施中のテスト群, 手順, 環境, 担当者などの情報をまとめて管理 テストの進捗をリアルタイムで把握 テストの進捗や完了予定日などの最新情報をいつでも確認 Webベースの直感的なUI テストケースの確認や結果の登録を高い操作性により高速で実施 UIテストやAPIテストとの連携 外部ツールと連携し、ツールのテスト結果を自動的に登録。REST APIを用いて連携 課題管理ツールとの連携 RedmineやJIRAと連携し、テスト画面から課題の閲覧や起票を実施 テスト結果のレポート出力 テスト結果の分析や証跡に使える さまざまなレポートを出力 紹介資料フル版

22 / 43 JaSST’24 Tokyo 1つのテストの手順と結果 テストの一覧 進捗 紹介資料フル版

23 / 43 JaSST’24 Tokyo 国内の導入事例の情報もあります。 TestRail ユーザーの声 紹介資料フル版 導入企業 11,000 / 利用ユーザー 250,000

24 / 43 JaSST’24 Tokyo テスト管理ツール「CAT」を育ててます SHIFT 石井 優 (Suguru ISHII) 株式会社SHIFT (プレミアムスポンサー) サービス&テクノロジー本部 技術統括部 サービス改革部 サービスプラットフォームグループ CATエヴァンジェリスト ■経歴 2009／4 – 2014／11 倉庫系システム部門 2014／12 – 2015／7 東中野のPCサポート屋さん・石井屋 2015／8 - SHIFT・CATサポート 新卒より某大手物流企業にてWMSのEDIを担当。 PL/IとRPG IIIに戯れ、荷主から届くデータ修正の日々や I/F定義・構築の後、オープン化マイグレーションの設計～ 導入までを経験。 一段落してPCのサポート屋さんを1年立ち上げた後 SHIFTにてCATに遭遇。これはあのとき望んでいてたツール じゃないか！ということで、コツコツサポートに励んだのち、 プリセ・エヴァンジェリスト活動へシフト...うんぬんかんぬん...

25 / 43 JaSST’24 Tokyo テストの実行中モニタリングすべきことはたくさんある・・・ テスト実行の最低限 • 全体のケース数 (何ケースぐらいあるのか) • 消化ケース数 (何ケース終わっている？) • 消化ケース数の予実 (進んでいる？遅れてる？) • 工数のケースの予実 (重いケースをあとに残してない？) • 保留/NGのケースと工数 (再テスト分がのこってるじゃない！) • ブロッカーのケース (これが終わらないとテストできない！) 障害管理の最低限 • 重要度別件数(重度で影響大を先に) • 優先度別件数(これ先にやってください) • 担当者別件数(この人働きすぎ) • ステータス(いつまでも対応完了にならない) • 影響範囲(3システムに影響あり・・・) ツールなしで把握できますか・・・？

26 / 43 JaSST’24 Tokyo プロジェクト大小問わずいつでも課題をキャッチ、早期対処へ 定性情報 工程の進捗サマリ 担当者ごとのワークバランス 残ケース 残障害 保留やNGの件数 進捗 クリティカルな障害の偏り

27 / 43 JaSST’24 Tokyo 導入事例からお困りごとディスカッションまで！ 数百人規模の超大規模 導入事例 お困りごとディスカッ ションのご依頼 (好評!!) フリープランや本番プロ ジェクトでのトライアル 1時間で簡単！ 活用動画

28 / 43 JaSST’24 Tokyo プレイングマネージャーとしてQualityForwardのPO奮闘中 朱峰 錦司 あけみね きんじ 株式会社ベリサーブ 研究企画開発部 サービス開発課 課長 / QAOps製品群プロダクトマネージャー ◆前職は大手SIerにて、全社横断技術部門にて技術開発や商用案件適用支援などに従事 • 2009年～2013年：ソフトウェアテスト技術を中心に • 2014年～2020年：アジャイル開発関連技術を中心に 他製品も含めて全体管理しつつ、QualityForwardは自身がリードPOを担当

29 / 43 JaSST’24 Tokyo QualityForward

30 / 43 JaSST’24 Tokyo QualityForward

31 / 43 JaSST’24 Tokyo QualityForward

32 / 43 JaSST’24 Tokyo 無料版（機能制限あり） をぜひお試しください！

33 / 43 JaSST’24 Tokyo テスト管理を考えるおじさん 鈴木 一裕 Kazuhiro SUZUKI 株式会社 日立製作所 サービスプラットフォーム品質保証本部 担当部長 ※今日は、会社の立場でのお話ではありません。 ⚫ メーカー系企業にて、QA業を20年ほど。 ⚫ テストを中心としたソフトウェア品質保証について考えることを趣味とし、 マイナーなブログ『ソフトウェアの品質を学びまくる』を細々運営。 ⚫ ISO/IEC JTC1/SC7/WG26（ソフトウェアテスト）に所属、テストの規格化にチョット貢献。 ⚫ ソフトウェア関連書籍にチョット関与。 ⚫ 『システムテスト自動化 標準ガイド』（翻訳・監訳）、『ソフトウェア品質知識体系ガイド(第3版)』（ごく一部執筆）、 『実践ソフトウェアエンジニアリング 第9版』（2021年、一部翻訳） ⚫ 午前中は長男の卒業式に出てました！（ここで祝福の拍手）

34 / 43 JaSST’24 Tokyo 鈴木のテスト管理ツール遍歴 ◼ TestLink ⚫ 2010年代前半、テスト管理ツールといえばコレ。日本語化プロジェクトもあった！ ⚫ テスト管理ツールの基本的な要素である、テストケースの一元管理、テスト実行結果の管理、 レポート生成、要件とテストケースのトレーサビリティ管理などを備えている。 ◼ 某おフランス製ツール ⚫ 有償SaaSを業務で使うことにハードルが高かった2010年代中ごろ、オンプレ＆無償のツールを導入。 ⚫ 上述の基本要素の他、テストデータのパラメタ化やAPI経由での情報のやり取りをサポートしていた。 ◼ PractiTest ⚫ テスト管理ツールの認知が高まった2010年代後半、モダンなツールの作りを知りたくていろいろ試行。 ⚫ 多様な開発関連ツールとの連携が当たり前になっている。 ◼ 某Jiraプラグイン ⚫ 独立したツールではなく、Jiraのチケットに統合されたプラグイン。 ◼ TestRail ⚫ モダンなテスト管理ツールの一角。機能も充実、UIも使いやすい。 ⚫ 一方で、そのポテンシャルを活かしきれていない感覚と、アジャイル/自動テストとの連携の難しさを感じる。 ◼ その他 ⚫ テスト管理ツールにこうあってほしい！って記事を書いたり、JaSSTでしゃべったり・・・。

35 / 43 JaSST’24 Tokyo テスト管理ツールの未来 に関するディスカッション

36 / 43 JaSST’24 Tokyo ここから、利用者側の立場である 鈴木がモデレってまいります。 なおここまで16分で終わっている想定。現在14:46のはずだ、いいね？

37 / 43 JaSST’24 Tokyo 準備したトピック 1. テスト管理ツールが得意・苦手とする分野は？ 2. テスト管理ツールの普及を阻むものは？ 3. テスト管理ツールは今後どう進化していくべき？ SHIFTさんとベリサーブさんのツールの詳しいお話は、 スポンサーブースでもぜひお聴きください このセッションでは、ブースでなかなか聴けないかもしれない、 「暗黒面」の方で行きます。 Q 1 Q 2 Q 3

38 / 43 JaSST’24 Tokyo 1. テスト管理ツールが得意・苦手とする分野は？ 各ツール、お客様のプロジェクトの ボリュームゾーンを教えてください。 またテスト管理ツールの得意・苦手な 領域はどこでしょうか？ シーケンシャル WFなど イテレーティブ スクラムなど 開発スタイル ミッション クリティカル 非ミッション クリティカル クリティカル性 ユニットテスト システムテスト シナリオ、NFR、… テストレベル 手動テスト 自動テスト 手動・自動 統合テスト APIテストなど シーケンシャル イテレーティブ ミッション クリティカル 非ミッション クリティカル テクマトリックス 会田さん SHIFT 石井さん ベリサーブ 朱峰さん

39 / 43 JaSST’24 Tokyo ソースコード管理ツール、チケット管理ツールと比べて、 テスト管理ツールの普及は過渡期。 普及の足枷は何で、それはどのように解決されるでしょう？ 2. テスト管理ツールの普及を阻むものは？ 国によって必要と される機能が異なる テクマトリックス 会田さん テストケースの 表現手段が豊富でない SHIFT 石井さん Excelを超える価値を 伝えられていない ベリサーブ 朱峰さん

40 / 43 JaSST’24 Tokyo 1. 鈴木の夢 ⚫ テスト管理ツールが、ソースコード管理ツールやチケット管理ツールと 連携すれば、仕様・ソースコード・テストケース・バグが関連付けられる。 ⚫ これをAIが学習すれば、「ある機能開発において、どのようなテストを追加し、 既存のどのテストケースを実行すべきか」を提案することができるはず。 ⚫ つまりテスト管理ツールは、「過去に行ったことの記録」のインフラではなく、 「未来に行うべきこと」を考えるためのインフラになっていけるのでは？ 3. テスト管理ツールは今後どう進化していくべき？ ソースコード管理ツールやチケット管理ツールは、 開発のプラクティスを根本的に変えている。 テスト管理ツールは今後、開発の何を変えるでしょうか？ ★ テクマトリックス 会田さん SHIFT 石井さん ベリサーブ 朱峰さん

41 / 43 JaSST’24 Tokyo みなさんからのトピック 1. テスト資産って何よ 2. AR・VRの活用、エビデンス取得のサポート？ 3. テストマネージャーが全体プロセスを俯瞰したい 4. テスト設計にかかる時間を短くするツールがほしい Q 1 Q 2 Q 3 Q 4

42 / 43 JaSST’24 Tokyo クロージング

43 / 43 JaSST’24 Tokyo Happy Testing!!