PO,SMに送るテスト自動化の8原則に5箇条を添えて / scrumniigata2023

Scrum Fest Niigata 2023

Transcript

1. ぱいん© Scrum Fest Niigata 2023
   PO,SMに送る
   テスト自動化の8原則に
   5箇条を添えて
   Eight Test Automation Principles
   with five articles for
   Product Owner and Scrum Master
   @Scrum Fest Niigata 2023
   2023/5/20
   ぱいん
   

   View Slide

2. ぱいん© Scrum Fest Niigata 2023
   [アイスブレイク] テスト自動化をしててモヤる瞬間
   ● 高すぎる(?) 期待
   ○ テスト自動化でテスターは要らなくな
   る
   ○ テスト自動化と探索的テストが
   令和のテストスタイル
   ● コスパに対する誤解/理解不足
   ○ ツール無料に越したことはない
   ○ ３回実行すれば元が取れる
   2
   

   View Slide

3. ぱいん© Scrum Fest Niigata 2023
   [アイスブレイク] テスト自動化をしててモヤる瞬間
   ● 高すぎる(?) 期待
   ○ テスト自動化でテスターは要らなくな
   る
   ○ テスト自動化と探索的テストが
   令和のテストスタイル
   ● コスパに対する誤解/理解不足
   ○ ツール無料に越したことはない
   ○ ３回実行すれば元が取れる
   3
   （答えの例）

   ➡ テスト自動化の難しい部分に専
   念できる

   ➡ どこをテストするか、何がリスク
   化は自動化できない

   

   ➡テスト自動化する人件費は？

   ➡本体改修がほぼない場合のみ
   前提

   【仮説】テスト自動化について
   　　　　エンジニアだけが理解しているから噛み合わないのではないか
   

   View Slide

4. ぱいん© Scrum Fest Niigata 2023
   PO,SMに送る
   テスト自動化の8原則に
   5箇条を添えて
   Eight Test Automation Principles
   with five articles for
   Product Owner and Scrum Master
   @Scrum Fest Niigata 2023
   2023/5/20
   ぱいん
   

   View Slide

5. ぱいん© Scrum Fest Niigata 2023
   おことわり
   •こちらの発表は、ぱいん個人の考えです
   •過去、現在にわたって、所属組織の考えではありません
   •資料は公開します
   •用語の定義については、ISTQB(テスト技術者資格制度) ソフトウェ
   アテスト標準用語集（日本語版） に準拠します
   5
   

   View Slide

6. ぱいん© Scrum Fest Niigata 2023
   サマリ
   1. PO, SMにテスト自動化の世界を伝えるべく
   テスト自動化の8原則の紹介と５箇条を錬成し
   てみた
   2. 他の開発ツール(Jira, Slack)に比べると、使い
   方がとても難しい
   – 開発成果物や開発プロセスに密接に絡んでくる
   ため
   3. チームの目指す姿から、
   テスト自動化を１つの手段として活用できると
   様々メリットがある
   6
   

   View Slide

7. ぱいん© Scrum Fest Niigata 2023
   自己紹介
   •ぱいん a.k.a 奥村 哲郎
   • 仕事
   – QAエンジニア 12年目
   • 今: モバイルアプリ@製造業
   • 過去: 組込アプリ、Webアプリ
   – 2児のパパ
   • 社外活動
   – ソフトウェアテストシンポジウム運営
   • JaSST Review, JaSST Online
   • 趣味
   – 旅行
   – Bリーグ鑑賞(川崎BTファン)
   7
   ぱいん
   ＠Twitter
   

   View Slide

8. ぱいん© Scrum Fest Niigata 2023
   アウトライン
   1. 本日の発表のスコープ
   2. E2E自動テストのトレンド
   3. テスト自動化の８原則
   4. テスト自動化の８原則と解釈
   5. システムテスト自動化の５箇条 ver.1.00
   8
   

   View Slide

9. ぱいん© Scrum Fest Niigata 2023
   本日の発表のスコープ
   9
   [1]
   

   View Slide

10. ぱいん© Scrum Fest Niigata 2023
    E2E自動テストのトレンド 1/2
    10
    1. ノーコード
    – プログラミング知識が不要
    – 操作や確認内容をUIで記録して、自動再
    生できる(キャプチャアンドリプレイ)
    

    View Slide

11. ぱいん© Scrum Fest Niigata 2023
    E2E自動テストのトレンド 2/2
    11
    1. ノーコード
    – プログラミング知識が不要
    – 操作や確認内容をUIで記録して、自動再
    生できる(キャプチャアンドリプレイ)
    2. AI活用
    – UI変更に対する自動追従 (オートヒーリン
    グ)
    • 書き直す手間が減ってきた
    – 所感
    • 最終判断は人間になっている
    • まだ賢くはない
    

    View Slide

12. ぱいん© Scrum Fest Niigata 2023
    テスト自動化の８原則
    12
    ● テスト自動化研究会が作成
    ● テスト自動化に関わるエンジニアには必読ページ
    

    View Slide

13. ぱいん© Scrum Fest Niigata 2023
    テスト自動化の８原則 と解釈
    13
    ● テスト自動化研究会が作成
    ● テスト自動化に関わるエンジニアには必読ページ
    

    View Slide

14. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の５箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験してチームをレベルアップしよう
    14
    

    View Slide

15. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条1:
    ツールを考えつつ、何がしたいかも整理しよう
    • 理念なき行動は凶器、行動なき理念は無価値 by 本田宗一郎
    • 新しいツールやデモにワクワクしてHowを追求したくなるが、Why Test
    Automation? も一緒に考えよう
    – ツール導入後の姿から徹底的にブレイクダウンする
    – ロジックツリーの一例
    • リリースサイクルを短縮したい
    – リグレッションテスト工数を減らす
    • 時間がかかるテスト ← テスト自動化 1位
    • 人間がやらないと気づかないテスト
    – 検証からの手戻りを減らす
    • チケットの受入要件を見直す
    • 動作確認の観点をDev-QAで考える
    – 支払い額文字の見切れは毎回見る ← テスト自動化 2位
    – プロダクトの価値を一番考えているPO、チームを改善するSMが
    入ることが重要
    15
    🍍訳） 思考停止、口だけ番長から脱却して、両方やれ
    

    View Slide

16. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条2:
    トライアル中は将来を考えよう
    • 一般的な自動テストツール導入の流れ
    – デモ → トライアル(2週間-1ヶ月) → 本契約 → 利用開始
    – トライアルで十分な効果検証が出来ていないと、
    契約後に使いこなせなかったり、無駄になることも
    • POやSMは、チームと将来像を共有すること
    – ツールで試しておくテストや問い合わせることが変わってくる
    • 製品のロードマップ
    – 新規機能、他システムとの連携
    – ユーザ、提供国
    • リリースサイクル
    16
    

    View Slide

17. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の５箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験してチームをレベルアップしよう
    17
    

    View Slide

18. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条3:
    初回リリースはあえて手動でテストをしよう
    • 1回目は手動テストの理由
    1. 手動テストで行ってこそ見つかる不具合はあ
    る
    – 例えばUXに関するもの
    2. いきなりテスト自動化をしようとしても、
    予定通り進まず間に合わないことが多い
    – 絶対燃えるやつ: 1回目のリリースから自動
    テストが流れる前提のスケジュール
    18
    

    View Slide

19. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の５箇条 ver.1.00
    ツール導入編
    1. トライアル中は将来も考えよう
    2. ツールを考えつつ何をしたいかも整理しよう
    立ち上げ編
    3. 初回リリースはあえて手動化しよう
    運用編
    4. 価値の下がったテストケースは捨てよう
    5. 失敗も経験して開発プロセスをレベルアップしよう
    19
    

    View Slide

20. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条4:
    価値の下がったテストは捨てたり、頻度を下げることも検討しよう
    • 前提： 継続開発の流れとして、機能追加に伴って自動テストも肥大していく
    • FAQ: 作った自動テストは資産にならないの？
    – 資産の価値は変動する
    • 価値: テストしなかったことによって失うモノ（金銭、機会損失他）
    • プロダクト戦略、開発状況、顧客の利用動向によって時々刻々変化する
    – 資産価値が下がることはある
    • 損切りできずに疲弊するくらいなら、そのときは潔く捨てる
    20
    テストケース重要度/事
    象
    成功し続ける テスト結果が不安定
    (Flaky)
    修正の頻度が上がってき
    た
    高 そのまま 原因を深掘り※ 原因を深掘り※
    中 頻度を下げる 一時停止 一時停止
    低 頻度を下げる 消す 消す
    

    View Slide

21. ぱいん© Scrum Fest Niigata 2023
    システムテスト自動化の5箇条5:
    失敗も経験して開発プロセスをレベルアップしていこう
    • スクラム関係者󰢧 「私、失敗しないので」ってひとい
    ますか？
    • 自動テストの運用で問題点に対処することが
    開発プロセス自体のカイゼンにつながる
    – QAだけが自動テストを推進して壁に
    ぶつかること多数...
    • 自動テストを育てることがプロセスと
    チームのレベルアップの糧
    21
    

    View Slide

22. ぱいん© Scrum Fest Niigata 2023
    まとめ
    1. PO, SMにテスト自動化の世界を伝えるべく
    テスト自動化の8原則の紹介と５箇条を錬成し
    てみた
    2. 他の開発ツール(Jira, Slack)に比べると、使い
    方がとても難しい
    – 開発成果物や開発プロセスに密接に絡んでくる
    ため
    3. チームの目指す姿から、
    テスト自動化を１つの手段として活用できると
    様々メリットがある
    22
    

    View Slide

23. ぱいん© Scrum Fest Niigata 2023
    謝辞 （敬称略）
    きっかけ： よーや
    Spaceでアイデアをくれた:
    • teyamagu
    • Freddie (Fumikazu Fujiwara)
    • broccoli
    23
    

    View Slide

24. ぱいん© Scrum Fest Niigata 2023
    おまけ: ソフトウェアテスト/テスト自動化オススメ本
    チームで読む本として好適
    24
    

    View Slide

25. ぱいん© Scrum Fest Niigata 2023
    Any questions and comments?
    参考文献、サイト
    No. Slide # ページ名 URL
    1 9,12,13 テスト自動化研究会 - 本会について https://sites.google.com/site/testautomationresearch/about
    2 10,11 MagicPodの特徴 - MagicPod https://magicpod.com/
    3 21 テスト自動化のルンバ効果 - テストウフ https://yoshikiito.net/blog/archives/roomba-effect-test-autom
    ation/
    いらすとや https://www.irasutoya.com/
    25
    

    View Slide