Upgrade to Pro — share decks privately, control downloads, hide ads and more …

PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023

PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023

Scrum Fest Niigata 2023

ぱいん

May 20, 2023
Tweet

More Decks by ぱいん

Other Decks in Programming

Transcript

  1. ぱいん© Scrum Fest Niigata 2023 PO,SMに送る テスト自動化の8原則に 5箇条を添えて Eight Test

    Automation Principles with five articles for Product Owner and Scrum Master @Scrum Fest Niigata 2023 2023/5/20 ぱいん
  2. ぱいん© Scrum Fest Niigata 2023 [アイスブレイク] テスト自動化をしててモヤる瞬間 • 高すぎる(?) 期待

    ◦ テスト自動化でテスターは要らなくな る ◦ テスト自動化と探索的テストが 令和のテストスタイル • コスパに対する誤解/理解不足 ◦ ツール無料に越したことはない ◦ 3回実行すれば元が取れる 2
  3. ぱいん© Scrum Fest Niigata 2023 [アイスブレイク] テスト自動化をしててモヤる瞬間 • 高すぎる(?) 期待

    ◦ テスト自動化でテスターは要らなくな る ◦ テスト自動化と探索的テストが 令和のテストスタイル • コスパに対する誤解/理解不足 ◦ ツール無料に越したことはない ◦ 3回実行すれば元が取れる 3 (答えの例)
 ➡ テスト自動化の難しい部分に専 念できる
 ➡ どこをテストするか、何がリスク 化は自動化できない
 
 ➡テスト自動化する人件費は?
 ➡本体改修がほぼない場合のみ 前提
 【仮説】テスト自動化について     エンジニアだけが理解しているから噛み合わないのではないか
  4. ぱいん© Scrum Fest Niigata 2023 PO,SMに送る テスト自動化の8原則に 5箇条を添えて Eight Test

    Automation Principles with five articles for Product Owner and Scrum Master @Scrum Fest Niigata 2023 2023/5/20 ぱいん
  5. ぱいん© Scrum Fest Niigata 2023 サマリ 1. PO, SMにテスト自動化の世界を伝えるべく テスト自動化の8原則の紹介と5箇条を錬成し

    てみた 2. 他の開発ツール(Jira, Slack)に比べると、使い 方がとても難しい – 開発成果物や開発プロセスに密接に絡んでくる ため 3. チームの目指す姿から、 テスト自動化を1つの手段として活用できると 様々メリットがある 6
  6. ぱいん© Scrum Fest Niigata 2023 自己紹介 •ぱいん a.k.a 奥村 哲郎

    • 仕事 – QAエンジニア 12年目 • 今: モバイルアプリ@製造業 • 過去: 組込アプリ、Webアプリ – 2児のパパ • 社外活動 – ソフトウェアテストシンポジウム運営 • JaSST Review, JaSST Online • 趣味 – 旅行 – Bリーグ鑑賞(川崎BTファン) 7 ぱいん @Twitter
  7. ぱいん© Scrum Fest Niigata 2023 アウトライン 1. 本日の発表のスコープ 2. E2E自動テストのトレンド

    3. テスト自動化の8原則 4. テスト自動化の8原則と解釈 5. システムテスト自動化の5箇条 ver.1.00 8
  8. ぱいん© Scrum Fest Niigata 2023 E2E自動テストのトレンド 1/2 10 1. ノーコード

    – プログラミング知識が不要 – 操作や確認内容をUIで記録して、自動再 生できる(キャプチャアンドリプレイ)
  9. ぱいん© Scrum Fest Niigata 2023 E2E自動テストのトレンド 2/2 11 1. ノーコード

    – プログラミング知識が不要 – 操作や確認内容をUIで記録して、自動再 生できる(キャプチャアンドリプレイ) 2. AI活用 – UI変更に対する自動追従 (オートヒーリン グ) • 書き直す手間が減ってきた – 所感 • 最終判断は人間になっている • まだ賢くはない
  10. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう

    2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験してチームをレベルアップしよう 14
  11. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条1: ツールを考えつつ、何がしたいかも整理しよう • 理念なき行動は凶器、行動なき理念は無価値 by

    本田宗一郎 • 新しいツールやデモにワクワクしてHowを追求したくなるが、Why Test Automation? も一緒に考えよう – ツール導入後の姿から徹底的にブレイクダウンする – ロジックツリーの一例 • リリースサイクルを短縮したい – リグレッションテスト工数を減らす • 時間がかかるテスト ← テスト自動化 1位 • 人間がやらないと気づかないテスト – 検証からの手戻りを減らす • チケットの受入要件を見直す • 動作確認の観点をDev-QAで考える – 支払い額文字の見切れは毎回見る ← テスト自動化 2位 – プロダクトの価値を一番考えているPO、チームを改善するSMが 入ることが重要 15 🍍訳) 思考停止、口だけ番長から脱却して、両方やれ
  12. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条2: トライアル中は将来を考えよう • 一般的な自動テストツール導入の流れ –

    デモ → トライアル(2週間-1ヶ月) → 本契約 → 利用開始 – トライアルで十分な効果検証が出来ていないと、 契約後に使いこなせなかったり、無駄になることも • POやSMは、チームと将来像を共有すること – ツールで試しておくテストや問い合わせることが変わってくる • 製品のロードマップ – 新規機能、他システムとの連携 – ユーザ、提供国 • リリースサイクル 16
  13. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう

    2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験してチームをレベルアップしよう 17
  14. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条3: 初回リリースはあえて手動でテストをしよう • 1回目は手動テストの理由 1.

    手動テストで行ってこそ見つかる不具合はあ る – 例えばUXに関するもの 2. いきなりテスト自動化をしようとしても、 予定通り進まず間に合わないことが多い – 絶対燃えるやつ: 1回目のリリースから自動 テストが流れる前提のスケジュール 18
  15. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条 ver.1.00 ツール導入編 1. トライアル中は将来も考えよう

    2. ツールを考えつつ何をしたいかも整理しよう 立ち上げ編 3. 初回リリースはあえて手動化しよう 運用編 4. 価値の下がったテストケースは捨てよう 5. 失敗も経験して開発プロセスをレベルアップしよう 19
  16. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条4: 価値の下がったテストは捨てたり、頻度を下げることも検討しよう • 前提: 継続開発の流れとして、機能追加に伴って自動テストも肥大していく

    • FAQ: 作った自動テストは資産にならないの? – 資産の価値は変動する • 価値: テストしなかったことによって失うモノ(金銭、機会損失他) • プロダクト戦略、開発状況、顧客の利用動向によって時々刻々変化する – 資産価値が下がることはある • 損切りできずに疲弊するくらいなら、そのときは潔く捨てる 20 テストケース重要度/事 象 成功し続ける テスト結果が不安定 (Flaky) 修正の頻度が上がってき た 高 そのまま 原因を深掘り※ 原因を深掘り※ 中 頻度を下げる 一時停止 一時停止 低 頻度を下げる 消す 消す
  17. ぱいん© Scrum Fest Niigata 2023 システムテスト自動化の5箇条5: 失敗も経験して開発プロセスをレベルアップしていこう • スクラム関係者󰢧 「私、失敗しないので」ってひとい

    ますか? • 自動テストの運用で問題点に対処することが 開発プロセス自体のカイゼンにつながる – QAだけが自動テストを推進して壁に ぶつかること多数... • 自動テストを育てることがプロセスと チームのレベルアップの糧 21
  18. ぱいん© Scrum Fest Niigata 2023 まとめ 1. PO, SMにテスト自動化の世界を伝えるべく テスト自動化の8原則の紹介と5箇条を錬成し

    てみた 2. 他の開発ツール(Jira, Slack)に比べると、使い 方がとても難しい – 開発成果物や開発プロセスに密接に絡んでくる ため 3. チームの目指す姿から、 テスト自動化を1つの手段として活用できると 様々メリットがある 22
  19. ぱいん© Scrum Fest Niigata 2023 Any questions and comments? 参考文献、サイト

    No. Slide # ページ名 URL 1 9,12,13 テスト自動化研究会 - 本会について https://sites.google.com/site/testautomationresearch/about 2 10,11 MagicPodの特徴 - MagicPod https://magicpod.com/ 3 21 テスト自動化のルンバ効果 - テストウフ https://yoshikiito.net/blog/archives/roomba-effect-test-autom ation/ いらすとや https://www.irasutoya.com/ 25