ぱいん© Scrum Fest Niigata 2023 PO,SMに送る テスト自動化の8原則に 5箇条を添えて Eight Test Automation Principles with five articles for Product Owner and Scrum Master @Scrum Fest Niigata 2023 2023/5/20 ぱいん

ぱいん© Scrum Fest Niigata 2023 [アイスブレイク] テスト自動化をしててモヤる瞬間 ● 高すぎる(?) 期待 ○ テスト自動化でテスターは要らなくな る ○ テスト自動化と探索的テストが 令和のテストスタイル ● コスパに対する誤解/理解不足 ○ ツール無料に越したことはない ○ ３回実行すれば元が取れる 2

ぱいん© Scrum Fest Niigata 2023 [アイスブレイク] テスト自動化をしててモヤる瞬間 ● 高すぎる(?) 期待 ○ テスト自動化でテスターは要らなくな る ○ テスト自動化と探索的テストが 令和のテストスタイル ● コスパに対する誤解/理解不足 ○ ツール無料に越したことはない ○ ３回実行すれば元が取れる 3 （答えの例）
 ➡ テスト自動化の難しい部分に専 念できる
 ➡ どこをテストするか、何がリスク 化は自動化できない
 
 ➡テスト自動化する人件費は？
 ➡本体改修がほぼない場合のみ 前提
 【仮説】テスト自動化について 　　　　エンジニアだけが理解しているから噛み合わないのではないか

ぱいん© Scrum Fest Niigata 2023 PO,SMに送る テスト自動化の8原則に 5箇条を添えて Eight Test Automation Principles with five articles for Product Owner and Scrum Master @Scrum Fest Niigata 2023 2023/5/20 ぱいん

ぱいん© Scrum Fest Niigata 2023 おことわり •こちらの発表は、ぱいん個人の考えです •過去、現在にわたって、所属組織の考えではありません •資料は公開します •用語の定義については、ISTQB(テスト技術者資格制度) ソフトウェ アテスト標準用語集（日本語版） に準拠します 5

ぱいん© Scrum Fest Niigata 2023 サマリ 1. PO, SMにテスト自動化の世界を伝えるべく テスト自動化の8原則の紹介と５箇条を錬成し てみた 2. 他の開発ツール(Jira, Slack)に比べると、使い 方がとても難しい – 開発成果物や開発プロセスに密接に絡んでくる ため 3. チームの目指す姿から、 テスト自動化を１つの手段として活用できると 様々メリットがある 6

ぱいん© Scrum Fest Niigata 2023 自己紹介 •ぱいん a.k.a 奥村 哲郎 • 仕事 – QAエンジニア 12年目 • 今: モバイルアプリ@製造業 • 過去: 組込アプリ、Webアプリ – 2児のパパ • 社外活動 – ソフトウェアテストシンポジウム運営 • JaSST Review, JaSST Online • 趣味 – 旅行 – Bリーグ鑑賞(川崎BTファン) 7 ぱいん ＠Twitter

ぱいん© Scrum Fest Niigata 2023 アウトライン 1. 本日の発表のスコープ 2. E2E自動テストのトレンド 3. テスト自動化の８原則 4. テスト自動化の８原則と解釈 5. システムテスト自動化の５箇条 ver.1.00 8

ぱいん© Scrum Fest Niigata 2023 本日の発表のスコープ 9 [1]

ぱいん© Scrum Fest Niigata 2023 E2E自動テストのトレンド 1/2 10 1. ノーコード – プログラミング知識が不要 – 操作や確認内容をUIで記録して、自動再 生できる(キャプチャアンドリプレイ)

ぱいん© Scrum Fest Niigata 2023 E2E自動テストのトレンド 2/2 11 1. ノーコード – プログラミング知識が不要 – 操作や確認内容をUIで記録して、自動再 生できる(キャプチャアンドリプレイ) 2. AI活用 – UI変更に対する自動追従 (オートヒーリン グ) • 書き直す手間が減ってきた – 所感 • 最終判断は人間になっている • まだ賢くはない

ぱいん© Scrum Fest Niigata 2023 テスト自動化の８原則 12 ● テスト自動化研究会が作成 ● テスト自動化に関わるエンジニアには必読ページ

ぱいん© Scrum Fest Niigata 2023 テスト自動化の８原則 と解釈 13 ● テスト自動化研究会が作成 ● テスト自動化に関わるエンジニアには必読ページ

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の５箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう 2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験してチームをレベルアップしよう 14

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条1: ツールを考えつつ、何がしたいかも整理しよう • 理念なき行動は凶器、行動なき理念は無価値 by 本田宗一郎 • 新しいツールやデモにワクワクしてHowを追求したくなるが、Why Test Automation? も一緒に考えよう – ツール導入後の姿から徹底的にブレイクダウンする – ロジックツリーの一例 • リリースサイクルを短縮したい – リグレッションテスト工数を減らす • 時間がかかるテスト ← テスト自動化 1位 • 人間がやらないと気づかないテスト – 検証からの手戻りを減らす • チケットの受入要件を見直す • 動作確認の観点をDev-QAで考える – 支払い額文字の見切れは毎回見る ← テスト自動化 2位 – プロダクトの価値を一番考えているPO、チームを改善するSMが 入ることが重要 15 🍍訳） 思考停止、口だけ番長から脱却して、両方やれ

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条2: トライアル中は将来を考えよう • 一般的な自動テストツール導入の流れ – デモ → トライアル(2週間-1ヶ月) → 本契約 → 利用開始 – トライアルで十分な効果検証が出来ていないと、 契約後に使いこなせなかったり、無駄になることも • POやSMは、チームと将来像を共有すること – ツールで試しておくテストや問い合わせることが変わってくる • 製品のロードマップ – 新規機能、他システムとの連携 – ユーザ、提供国 • リリースサイクル 16

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の５箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう 2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験してチームをレベルアップしよう 17

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条3: 初回リリースはあえて手動でテストをしよう • 1回目は手動テストの理由 1. 手動テストで行ってこそ見つかる不具合はあ る – 例えばUXに関するもの 2. いきなりテスト自動化をしようとしても、 予定通り進まず間に合わないことが多い – 絶対燃えるやつ: 1回目のリリースから自動 テストが流れる前提のスケジュール 18

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の５箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう 2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験して開発プロセスをレベルアップしよう 19

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条4: 価値の下がったテストは捨てたり、頻度を下げることも検討しよう • 前提： 継続開発の流れとして、機能追加に伴って自動テストも肥大していく • FAQ: 作った自動テストは資産にならないの？ – 資産の価値は変動する • 価値: テストしなかったことによって失うモノ（金銭、機会損失他） • プロダクト戦略、開発状況、顧客の利用動向によって時々刻々変化する – 資産価値が下がることはある • 損切りできずに疲弊するくらいなら、そのときは潔く捨てる 20 テストケース重要度/事 象 成功し続ける テスト結果が不安定 (Flaky) 修正の頻度が上がってき た 高 そのまま 原因を深掘り※ 原因を深掘り※ 中 頻度を下げる 一時停止 一時停止 低 頻度を下げる 消す 消す

ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条5: 失敗も経験して開発プロセスをレベルアップしていこう • スクラム関係者󰢧 「私、失敗しないので」ってひとい ますか？ • 自動テストの運用で問題点に対処することが 開発プロセス自体のカイゼンにつながる – QAだけが自動テストを推進して壁に ぶつかること多数... • 自動テストを育てることがプロセスと チームのレベルアップの糧 21

ぱいん© Scrum Fest Niigata 2023 まとめ 1. PO, SMにテスト自動化の世界を伝えるべく テスト自動化の8原則の紹介と５箇条を錬成し てみた 2. 他の開発ツール(Jira, Slack)に比べると、使い 方がとても難しい – 開発成果物や開発プロセスに密接に絡んでくる ため 3. チームの目指す姿から、 テスト自動化を１つの手段として活用できると 様々メリットがある 22

ぱいん© Scrum Fest Niigata 2023 謝辞 （敬称略） きっかけ： よーや Spaceでアイデアをくれた: • teyamagu • Freddie (Fumikazu Fujiwara) • broccoli 23

ぱいん© Scrum Fest Niigata 2023 おまけ: ソフトウェアテスト/テスト自動化オススメ本 チームで読む本として好適 24

ぱいん© Scrum Fest Niigata 2023 Any questions and comments? 参考文献、サイト No. Slide # ページ名 URL 1 9,12,13 テスト自動化研究会 - 本会について https://sites.google.com/site/testautomationresearch/about 2 10,11 MagicPodの特徴 - MagicPod https://magicpod.com/ 3 21 テスト自動化のルンバ効果 - テストウフ https://yoshikiito.net/blog/archives/roomba-effect-test-autom ation/ いらすとや https://www.irasutoya.com/ 25