さらに高品質・高速化を目指すAI時代のテスト設計支援と、めざす先

2024/7/24 生成AIはどうテストを変えるのか (AI Test Lab vol.1)
https://shiftevolve.connpass.com/event/322911/
株式会社SHIFT
CATエヴァンジェリスト 石井 優

Transcript

1. 7/24 SHIFT EVOLVE 生成AIはどうテストを変えるのか 株式会社SHIFT CATエヴァジェリスト 石井 優
2. 4 プロフィール ～石井 優～ 2009／4 – 2014／11 倉庫系システム部門 2014／12 – 2015／7 東中野のPCサポート屋さん・石井屋 2015／8 - SHIFT・CATサポート 経歴 好きなもの ・ビール・酒・うまいもの 「二人暮しのおつまみ日記」 http://blog.livedoor.jp/sugubon-otsumami/ ・Crazy Ken Band／日本の合唱／アレサ・フランクリン ／チャラン・ポ・ランタン ・東中野 株式会社SHIFT サービス改革部 サービスプラットフォームグループ セールスサポート CATエヴァンジェリスト 石井優 (Suguru ISHII)
3. さらに高品質・高速化を目指すAI時代の テスト設計支援と、めざす先 石井 優 株式会社SHIFT CATエヴァンジェリスト 13
4. １．SHIFTにおけるテスト設計フェーズでのAI活用の狙い 14 テストケース 8,800 万件 標準テスト観点 900 項目 独自AIモデル※ GPT-4モデル AI Assistant 【SHIFTの蓄積知見】 テストの生産性向上 テストの質の向上 ナレッジ×AIにより、もっと早く・精度の高いテストケースを設計する ※SHIFTグループ DeMiAによる開発
5. TDの提供価値 標準化 資産化 見える化 テストの効率性と品質の向上 遅延リスク・品質リスク回避 2．TDとは ～TDの提供価値 15 属人性を排除、誰にでもわかり易く リアルタイムでの進捗把握・状況共有 部品化や検索機能による流用促進 テスト設計者 テスト管理者 導入前（TDが解決する課題） ✓作った人にしかわからないEXCELフォーマット ✓属人的でテストの粒度や観点がバラバラ ✓過去テスト再活用できずゼロからの作業 ✓テスト設計の進捗が分からない ✓テスト設計内容に漏れがないか不安 ✓作業量のばらつきや品質レベルに不安 導入後（TDが解決＆支援できること） ❓ ❓ テスト設計者 テスト管理者 テスト設計書資産 統一フォーム・手法 部品化・定形化 テスト設計者 ✓検索性と可読性向上による設計書の再活用や作業の効率化 ✓部品化による生産性向上 ✓定形化による粒度や観点の均質化・モレの防止 ✓テスト設計書の作成進捗、観点ごとの利用状況の見える化によ り テスト設計の遅延やテスト観点漏れのリスクを早期発見
6. テスト実施者 CAT ダッシュボード 進捗管理 終了報告 TDによるテスト設計 TD テスト設計者 CATを使ってテストの実施・報告 サービス説明 マニュアル 業務フロー 要件定義 画面定義 基本設計書 詳細設計書 インプットドキュメント …E.T.C. ・テスト観点 ・テスト対象・範囲 ・テスト粒度・精度 ・総規模・工数 ・スケジュール・体制 テスト方針・計画立案 テスト管理者 分析 テスト管理者 レビュー 設計入力 過去設計書 設計パーツ 定形テンプレート テスト実施 進捗管理 ３．TDとは ～テスト設計・実施での役割 シームレス 16 設計情報をTD集約し、ケースの流用・設計や進捗管理・レビューなど効率化
7. ３．TDとは ～機能テスト設計のステップイメージ ①テスト対象：何に対して （画面・処理・DB・項目単位まで 階層的に定義） ②確認項目：何を確認する （対象ごとに設定、確認項目のヒ ントとしてテスト観点を使用） ③条件・状況：こうだったら （特段の条件ない場合から、複数 項目の組合せの場合まで） ④期待値：こうなるはず 【テスト対象定義】 処理＞画面＞画面エリア＞項目 【観点・確認項目】 観点A－確認項目 観点B－確認項目 観点C－確認項目 【条件・状況】 条件1：項目Aがこうだったら・・・ 条件2：項目BとCがこうだったら・・ 条件3：こういう権限でこの操作・・ 【期待値】 ××のエラーになること 金額が◦◦で更新されること △△画面に遷移すること 【設計手順】 【手順例】 【TD表現】 ※TDではテスト対象を以下の様に階層表現 ・テスト区分 ・区分1、区分2、、 ・テスト対象 ※SHIFTでは複合要素からなる条件を、 「因子・水準の組合せパターン表」で表現 因子…分岐条件 水準…取り得る選択肢 ※TDではテスト対象ごとに以下を定義 ・観点 ・確認項目 ・条件パターン（ない場合もあり） ・期待値 設計の段階を分割しレビューと設計の効率を両立する 17
8. 3．TDでの機能テスト設計におけるAI-Assistantでの支援 AIと人の役割 期待値修正 AIモデル/Input Output項目 テスト区分 仕様書 GPT-4 テスト区分 仕様書 独自AI テスト観点/ 確認項目 テスト区分 仕様書 テスト観点 /確認項目 テスト パターン GPT-4 テスト区分 仕様書 テスト観点 /確認項目 テスト パターン 期待値 独自AI TD AI Assistant テスト対象 洗い出し テスト観点 選定 テストの 具体的内容 決め 仕様書インプット テスト観点選定・ 確認項目詳細化 ③テストパターン生成 (因子・水準/組み合わせ) テストパターン修正 テスト対象選定 ④期待値生成 ②テスト観点レコメンド テストエンジニア ①テスト区分抽出 (粒度そろえて一覧化) AIとテストエンジニアの共同作業を行いテストケースの高品質/高生産性を実現 18
9. ４．TDでの機能テスト設計におけるAI-Assistantでの支援 画面イメージ TDでのAI-Assistantのインプット仕様情報の登録をする 19
10. ４．TDでの機能テスト設計におけるAI-Assistantでの支援 画面イメージ TDでのAI-Assistantのリコメンド機能を利用する 20
11. 価格・フリープランのご紹介
12. CAT・TD フリープラン リリース！ 32 CAT スタンダードプラン TD スタンダードプラン 2,650円/月～ １ユーザーあたり 1,000円/月 １ユーザーあたり リーズナブルな価格で、プロのプロジェクト管理を導入いただけます ※最小10ユーザーから ※契約月数・ライセンス数に より単価が変わります ※最小5ユーザーから
13. 33 CAT・TD フリープラン リリース！ 小規模なチーム向けの永続的に無償でご利用いただけるプランをご用意しました！ 特徴 • 主要機能（テスト管理、課題管理、進捗管理、分析）を制限なく無償で利用可能 • 最大ユーザー数10ユーザーまで • 申込みから利用まで最短3分で環境構築、稟議もカードも不要！ • マニュアル、サポート（ベストエフォート）が利用可能 • サンプルデータが入っているので、機能の利用イメージがしやすい こんなお客様へおすすめ • 小規模なチーム・プロジェクトでテスト管理・課題管理を利用したい ノーマルプランは少し予算が合わないという方も大歓迎 • ノーマルプランの利用検討のために長期で利用したい 大規模プロジェクトなどを念頭に数ヶ月の利用検討にも活用可能 • CATに興味があるのでとりあえず触ってみたい テストのフォーマットや進捗情報などサンプルデータの登録もあり ノーマルプラン（有償）との主な差異 • 同時プロジェクト管理数：5個まで • 最大ユーザー数10ユーザーまで • 一部機能の制限あり（外部BTS連携、ガントチャート（スケジュール管理）など） • 90日利用しない場合、環境を自動でクローズ • ノーマルプランへの移行はできません（エクスポートしたデータの利用は可） その他の差異は価格ページをご確認ください 利用開始はこちら （クレジットカード情報不要、最短5分で利用開始） 「テスト管理 CAT」で検索！ ▶ 「いますぐ無料で試す」 を押下！ とことん使い倒す技 • 1組織内でもメールアドレスが異なる場合は複数の環境も構築可能 • 課題管理のカスタマイズも無制限 カスタムフィールドやフローで課題管理・分析基盤を構築 • テスト仕様書や課題の登録は無制限 • 高度な進捗管理、分析機能でプロジェクトを見える化 サンプルデータを触って各種機能をお試しいただけます 製品HPイメージ 33
14. CAT・TDの情報に今すぐアクセス！ 数百人規模の超大規模 導入事例 お困りごとディスカッションの ご依頼 (好評!!) 1時間で簡単！ 活用動画 フリープランや本番プロジェクトでの トライアル TD 34