自動テスト

Transcript

1. ⾃動テスト 2024-04-24 サイボウズ開運研修 ⽟⽊岳爾
2. はじめに ▌サイボウズの⾃動テスト周りの状況 l ⾃動テスト導⼊初期からずいぶん時間が経ち、⾃動テストの導 ⼊は⼀般的になってきた l ⾃動テストそのものは知っており、またそれを使うことはでき ているけれど、その先にある運⽤で苦労している 2
3. この資料の想定読者 ▌⾃動テストに携わるかもしれない、あるいは携わりたいので、⾃ 動テストの基本的な知識やお作法をおさえたい⽅ ▌⾃動テストを導⼊したい⽅ ▌⾃動テストの運⽤や改善もやっていきたい⽅ 3
4. この資料のスコープ ▌スコープ o ⾃動テストのメリット o ⾃動テストを使っていく上で⽴ちはだかる課題との向き合い ⽅ ▌スコープ外 o 特定のツールやソフトウェアの具体的な使い⽅ 4
5. ⽬次 ▌1. ⾃動テストのメリット ▌2. ⾃動テストのメリットを体感してみよう ▌3. ⾃動テストの理想と現実 ▌4. ⾃動テストとうまく付き合いたい ▌5. まとめ ▌付録. 適切なタイミングで必要なテストをする 5
6. 
   ⾃動テストのメリット 
7. 2
   ⾃動テストのメリットといえば、 どんなことがありますか︖ 
8. 『iOSアプリ開発⾃動テストの教科書』 によると 8 参考: 『iOSアプリ開発⾃動テストの教科書』, 1-1 なぜ⾃動テストを実装するのか』 ▌早く実⾏できる ▌正確に実⾏できる o ⼈為的ミスや属⼈性の排除 ▌何度もくり返し実⾏できる ▌仕様書（⾃動テストが通れば、機能が担保されているという安⼼感）
9. ⾃動テストのメリットは他にもあります 9 ▌⼿動回帰試験の⼯数/⼿間を減らすことができる o 時間のかかる⼿動テストの⼯数を確保することができる ▌テストのフィードバックを速く正確に得ることができる o 回帰試験であればデグレを速く検知したい、仕様通りに動くことを確 認することができる 参考: 筆者が社内にてヒアリング
10. 
    ⾃動テストのメリットを体 感してみよう 
11. ˞σϞಈըͳͲࣾ಺ͷΈެ։🙇 
12. ͍ͧ͢͝ɺɺʂࣗಈςετʂ ࣗಈςετΛಋೖ͑ͯ͞͠͠·͑͹ɺɺɻ 
13. ͍ͧ͢͝ɺɺʂࣗಈςετʂ ࣗಈςετΛಋೖ͑ͯ͞͠͠·͑͹ɺɺʁ 
14. 
    ࣗಈςετͷཧ૝ͱݱ࣮ 
15. ⾃動テストの理想 15 ▌⾃動化すれば、⼯数が少なくなる
16. ⾃動テストの理想 16 ▌⾃動化すれば、⼯数が少なくなる︖
17. ⾃動テストの現実 17 ▌⾃動テストは仕様変更との戦い o ⾃動テストは仕様＝期待結果が変わればその変更に追随しない かぎり落ちてしまう ▌仕様変更の⼀例 o 製品機能の変更 § 機能変更により、テストの⼿順⾃体の修正が必要 o 製品デザインの変更 § ボタンや⼊⼒欄の名称や位置が変更になったことによる修正 o ブラウザや端末のOSなど周辺ソフトウェアの仕様変更
18. ⾃動テストの現実 18 ▌⾃動化すれば⼀概に⼯数が減るとはいえない o ⼿動テストの⼯数は減るかもしれないが、運⽤という⼯数が 増える
19. ⾃動テストの現実 19 ▌⾃動化すればするほど⾃動テストが壊れるリスクは増え、仕様 変更との戦いは激しさを増す
20. テストの⾃動化は無駄︖〜テストがなかなか直せない 20 ⾃動化で⼯数削減できました︕ 動かない…直す時間がない… マテマテ… あれだけ⼯数かけて作った⾃動化がもう 使えないってこと︖ すごいじゃないか︕ テストを⾃動化するのはやめよう はい…しばらく⼿動テストで…
21. テストの⾃動化は無駄︖〜頻繁に動かなくなる 21 ⾃動化で⼯数削減できました︕ マテマテ… これ、平均すると⼿動テストより⼯数 かかってないか︖ すごいじゃないか︕ テスト⾃動化はやめてしまおう でも、動かないからメンテが必要なので…
22. Ή΍ΈʹࣗಈԽͯ͠΋ଓ͖·ͤΜ 
23. 2
    Ͳ͏͢Ε͹ࣗಈςετΛ ௕͘࢖͍ଓ͚ΒΕΔͷͰ͠ΐ͏͔ʁ
    
24. 
    ࣗಈςετͱ͏·͘෇͖߹͍ͨ ͍ 
25. 4. ⾃動テストとうまく付き合いたい 25 ▌テストピラミッドの「カタチ」を意識しよう ▌テストピラミッドの「⼤きさ」を意識しよう ▌⾃動化しないという選択もしよう ▌チーム全体で取り組もう
26. テストピラミッドとは、、︖ 
27. ▌テストのピラミッドはMike Cohnの "Succeeding with Agile"[Coh09]で 最初に提唱されたモデル ▌UIテスト、結合テスト、ユニットテストの3つの異なる⾃動 テストがどのように互いに補完し合うかを⽰すもの テストピラミッドとは 27 UIテスト 結合テスト ユニットテスト ⼿動テスト ※ピラミッドの上部に「⼿動テスト」を記載する書き⽅もみられるが、 説明の便宜上、本講義資料でもそのように書く。 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.4 テストのビラミッドに⼊り込む
28. テストピラミッドとは 28 テストの数 ユニットテスト 結合テスト UIテスト ⼿動テスト ⾼コスト 横に広いほどテスト の数が多く、 上にいくほどコスト がかかる(^1) ^1: コストがかかるとは、実⾏時間が⻑かったり、 不安定となりがちであるために⾃動テストの信頼 性を維持するコストがかかるということを指す 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.4 テストのビラミッドに⼊り込む
29. 2
    ࣗಈςετͷઓུΛߟ͑Δ͏͑Ͱɺ Ͳ͏ͯ͠ςετϐϥϛουͷ࿩୊͕ Α͕͋͘ΔͷͰ͠ΐ͏͔ʁ 
30. ▌Webアプリケーションのアーキテクチャはこの3層をベース としているため、テストピラミッドはテスト戦略と相性がよい どうしてテストピラミッドの話題がよくあがるのか︖ 30 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.4.2 3つの層
31. UIテスト、結合テスト、ユニットテストの メリット、デメリットをみていきましょう 
32. テストピラミッドの3層の解説 – UIテスト 32 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.5 Ulテスト UIテスト 結合テスト ユニットテスト ✓ エンドツーエンド/E2E ✓ ユーザーと同じ操作でテスト ☓ 時間がかかる、不安定
33. テストピラミッドの3層の解説 – 結合テスト 33 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.6 結合テスト UIテスト 結合テスト ユニットテスト ✓ 複数のモジュールを組み合わせて⾏う ✓ 壊れやすいUI層に左右されない安定さ ☓ ユニットテストほど問題のある場所を 詳細に教えてくれない/「何か」が壊れて いる
34. テストピラミッドの3層の解説 – ユニットテスト 34 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.7 ユニットテスト UIテスト 結合テスト ユニットテスト ✓ あるクラスや構造体などのあるひとつ の部品、ユニットに対して⾏う ✓ どこで落ちているか速く正確にフィー ドバックを返してくれる ☓ ユニットの結合部分の確認が苦⼿
35. 4. ⾃動テストとうまく付き合いたい 35 ▌テストピラミッドの「カタチ」を意識しよう ▌テストピラミッドの「⼤きさ」を意識しよう ▌⾃動化しないという選択もしよう ▌チーム全体で取り組もう
36. テストピラミッドの「カタチ」 を意識しよう 36 ▌テストピラミッドの下層のテストは上層でもでき、より網羅的 にテストできる ▌すべてのテストをUIテストでまかなえばよいのでは、、︖ UIテスト 結合テスト ユニットテスト
37. 再掲)テストピラミッドとは 37 テストの数 ユニットテスト 結合テスト UIテスト ⼿動テスト ⾼コスト 横に広いほどテスト の数が多く、 上にいくほどコスト がかかる(^1) ^1: コストがかかるとは、実⾏時間が⻑かったり、 不安定となりがちであるために⾃動テストの信頼 性を維持するコストがかかるということを指す 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 1.4 テストのビラミッドに⼊り込む
38. なぜUIテストはコストが⾼いといわれるのか 38 テスト︕︕ テストが⻑く フィードバッ クが遅い テストが 落ちる (テストをな おすのも時 間がかかる) 再テストする ためにビルド ▌テストがよく落ちる のでテストが通りに くい ▌テストのフィード バックも遅いのでCI 全体の実⾏時間も⻑ くなり、デリバリー も遅くなる 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 8.4 UIテストヘ到達する, 8.5 逆ピラミッド, 8.6 不安定なテストの扱い⽅
39. テストピラミッドの「カタチ」 を意識しよう 39 ▌テストピラミッドの下層のテストは上層でもでき、より網羅的 にテストできる ▌すべてのテストをUIテストでまかなえばよいのでは、、︖ ▌UIテストばかりだとコストがかかりすぎてしまう😇 l 遅い、不安定 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 8.4 UIテストヘ到達する, 8.5 逆ピラミッド, 8.6 不安定なテストの扱い⽅
40. ͋͑ͯɺ6*ςετ΍खಈςετΛ ଟΊʹ͢Δέʔε΋͋Γ·͢ 
41. アイスクリームコーン型 41 テストの数 ⾼コスト UIテスト ⼿動テスト 結合テスト ユニットテスト Լ૚ʹߦ͘΄Ͳ ্૚ʹߦ͘΄Ͳ テストの数が多い 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 8.4 UIテストヘ到達する, 8.5 逆ピラミッド, 8.6 不安定なテストの扱い⽅
42. アイスクリームコーン型 42 テストの数 ⾼コスト UIテスト ⼿動テスト 結合テスト ユニットテスト 例）テスト対象のアプ リケーションがモノリ シック/密結合でユニッ トテストが書きにくい ケース 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 8.4 UIテストヘ到達する, 8.5 逆ピラミッド, 8.6 不安定なテストの扱い⽅
43. ͋͑ͯɺ6*ςετ΍खಈςετΛ ଟΊʹ͢Δέʔεɻ ଞʹ΋͋Δ͔΋͠Ε·ͤΜΑɺɺʁ 
44. UIテスト 結合テスト ユニットテスト テストピラミッドの「カタチ」 を意識しよう 44 ▌テストはできるだけ下層でカ バーする l UIテストよりユニットテスト l 結合テストはユニットテストでできなければ ▌ただし、戦略的にUIテストや ⼿動テストを多くするケースも ある 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 8.4 UIテストヘ到達する, 8.5 逆ピラミッド, 8.6 不安定なテストの扱い⽅
45. 4. ⾃動テストとうまく付き合いたい 45 ▌テストピラミッドの「カタチ」を意識しよう ▌テストピラミッドの「⼤きさ」を意識しよう ▌⾃動化しないという選択もしよう ▌チーム全体で取り組もう
46. テストピラミッドの「⼤きさ」を意識しよう 46 ▌そのテスト、必要ですか︖
47. 品質は⾼ければ⾼い⽅がいい︖ 47 常に最⾼品質であるべきだ︕
48. ࣮ߦͰ͖Δςετ͕͔ͭ͠ͳ͍ͱͨ͠Βɺ ͲͷςετΛબͿ͔  参考: 『LEADING QUALITY』,第6章 継続的テストとフィードバックループ
49. テストピラミッドの「⼤きさ」を意識しよう 49 ▌テストにかけられる時間は無限ではない ▌そもそも時間をかければ品質は上がるのか︖ l いくら時間をかけても100％になることはない
50. テストピラミッドの「⼤きさ」を⼩さくするアイデア 50 ▌「必要なテスト」を実施する
51. テストピラミッドの「⼤きさ」を⼩さくするアイデア 51 ▌「必要なテスト」を実施する l 修正の影響を⾒極め、影響のある部分だけテストする
52. テストピラミッドの「⼤きさ」を⼩さくするアイデア 52 参考: 『初めての⾃動テスト ―Webシステムのための⾃動テスト基礎』, 10.3 コンテキストを明確にする ▌重複/似ているテストを⾒つけるため、テストのコンテキストを 切り直す(分類⽅法を⾒直す) UIテスト 結合テスト ユニットテスト 画⾯ごと、ユーザーの動作⼿順 サービス、APIエンドポイント クラス、インタフェース
53. 2
    ςετͷίϯςΩετɺ෼ྨํ๏͸ ͍ͭɺݟ௚͢΂͖Ͱ͠ΐ͏͔ʁ 
54. ղ౴ྫ
    طଘػೳͷվमΛػʹςετΛ௥Ճ͢Δͱ͖ 
55. 2
    ίϯςΩετΛݟ௚ͯ͠΋ɺΞϓϦέʔγϣϯͷػ ೳ͸૿͑ΔҰํͳͷͰςετϐϥϛου͕େ͖͘ͳͬͯ ͍͖·͢ɻෆ҆ఆͳςετ΋૿͑·͢ɻݶΒΕͨ޻਺ͷ ͳ͔ͰͲ͏΍ͬͯςετ͍͚ͯ͠͹Α͍ͷͰ͠ΐ͏͔ʁ 
56. 4. ⾃動テストとうまく付き合いたい 56 ▌テストピラミッドの「カタチ」を意識しよう ▌テストピラミッドの「⼤きさ」を意識しよう ▌⾃動化しないという選択もしよう ▌チーム全体で取り組もう
57. lۭ͍ͨළʹ͸େ͖ͳੴ͔ΒೖΕ·͠ΐ͏z  イラストの出所: https://www.irasutoya.com/2019/04/blog-post_23.html
58. 限られた⼯数の中で何を優先するか︖ 58
59. 限られた⼯数の中で何を優先するか︖ 59 ▌メンテナンス頻度が少ないテスト l 「枯れた」テストであれば、変更の可能性が低い ▌頻繁に繰り返し実施されるテスト l 利⽤頻度が⾼いということは、それだけ⼯数を削減している ▌作成・メンテナンス難易度が低いテスト l 作成・メンテナンスに⼯数をかけない
60. 限られた⼯数の中で何を優先するか︖ 60 ▌メンテナンス頻度が少ないテスト l 「枯れた」テストであれば、変更の可能性が低い ▌頻繁に繰り返し実施されるテスト l 利⽤頻度が⾼いということは、それだけ⼯数を削減している ▌作成・メンテナンス難易度が低いテスト l 作成・メンテナンスに⼯数をかけない
61. 限られた⼯数の中で何を優先するか︖ 61 ▌メンテナンス頻度が少ないテスト l 「枯れた」テストであれば、変更の可能性が低い ▌頻繁に繰り返し実施されるテスト l 利⽤頻度が⾼いということは、それだけ⼯数を削減している ▌作成・メンテナンス難易度が低いテスト l 作成・メンテナンスに⼯数をかけない
62. 限られた⼯数の中で何を優先するか︖ 62 ▌メンテナンス頻度が少ないテスト l 「枯れた」テストであれば、変更の可能性が低い ▌頻繁に繰り返し実施されるテスト l 利⽤頻度が⾼いということは、それだけ⼯数を削減している ▌作成・メンテナンス難易度が低いテスト l 作成・メンテナンスに⼯数をかけない
63. 『LEADING QUALITY』 によると 63 参考: 『LEADING QUALITY』,第4章 ⼿動テストと⾃動テスト "テストを⼿動で⾏うよりも⾃動化したほうが有効となる要素が主に3つあ ると結論づけられた。 1.⾃動化されたテストケースが変更の⼿を⼊れることなく⻑期にわたっ て利⽤できると期待できること。 2.テストケースが⽐較的⾃動化しやすいものであること。すなわち、細 部にわたる操作を必要としない⼿動テストから⽣成できるか。⼿順が複雑 になるほど、⾃動化は著しく困難になる。 3.⼿動で実施するよりも⾃動化して実施および維持するコストのほうが 安いこと。"
64. 4. ⾃動テストとうまく付き合いたい 64 ▌テストピラミッドの「カタチ」を意識しよう ▌テストピラミッドの「⼤きさ」を意識しよう ▌⾃動化しないという選択もしよう ▌チーム全体で取り組もう
65. テスト⾃動化は独りでもできるけど… 65 ▌独りで作れるが、独りで維持は難しい o 独りで「熱」を維持するのは難しい o ⾃分の⼯数は無限ではない
66. テスト⾃動化はQAだけでもできるけど… 66 ▌E2Eテストの⾃動化は壊れやすい o 後半⼯程のテストは変化の影響を受けやすく、壊れやすい o E2Eテストを⾃動化するよりも、E2Eテストを他の⼯程でカ バーした⽅がより効率的 o 前半⼯程のテストをするには、開発者の協⼒が不可⽋ ▌推進する⼈が異動や退職でいなくなる
67. チーム全体で取り組もう 67 ▌チームでなければできないことがある o チームを俯瞰した効率化 § チームによって、効率化できるポイントは異なる § チームの構成、スキルにより最適な⽅法は異なる o 協⼒体制を作る § 各⼯程のテスト実施には、チームの協⼒が不可⽋ § 特定の⼯程だけでテストを効率化するのは限界がある o ⼈に依存しないための協⼒体制 § チーム全体で⾃動化のメリットを理解し、協⼒を得られなければ誰かに依 存した体制になってしまう
68. ⾃動テストのメリットを共有しよう 68 ▌メリットをチーム全体で理解しよう o メリットを理解してもらえないと、⼯数を確保できない o メリットを感じられないと、モチベーションも持たない o QAだけで⼯数を削減しようとしても効果は薄い o 現場だけではなく、上層部にも理解してもらう
69. チームにあった⾃動テストツールを選定しよう 69 ▌⾃動テストツールの選択基準 o テストピラミッドなどテスト戦略に基づいて § 「⾃動化しない」「あえてE2Eテストを⾃動化」もあり o チームメンバーの構成⼈数や内訳 § 例）⾃動テストツールの利⽤者⽬線 ▌ ⾃動テストツールでテストケースを作る⼈ ▌ 壊れたテストケースを直す⼈ § ⾃動テストツールの実⾏結果がわかればいい⼈ o 製品の開発サイクル § 例）アジャイル
70. ·ͱΊ 
71. 5. まとめ ▌⾃動テストにはたくさんのメリットがあります。 ▌ただし、⾃動テストはあくまでもテストを効率的に進める⼿段のひ とつにすぎません。 ▌プロダクトの成⻑を⽀えるためには、⾃動テストとうまく付き合っ ていかなければなりません。 l どこで、だれが、どうやってテストしますか︖ l テストピラミッドをチーム⼀丸で作り上げていますか︖ 71
72. 
73. ͔͜͜ΒͷεϥΠυ͸ʮࣗಈςετʯͱ͍͏ߨٛͷςʔ Ϛ͔Β͸ͣΕ·͕͢ɺʮフィードバックを速く正確に得 ることができる ʯͱ͍͏ࣗಈςετͷϝϦοτ͸ࣗಈ ςετҎ֎ͷ΍Γ͔ͨͰ΋ಘΔ͜ͱ͕Ͱ͖Δͱ͍͏ɺຊ ߨٛʹؔ࿈͢Δ࿩୊Λѻ͍·͢🙇 
74. 付録. 適切なタイミングで必要 なテストをする 
75. 再掲)⾃動テストのメリットは他にもあります 75 ▌⼿動回帰試験の⼯数/⼿間を減らすことができる o 時間のかかる⼿動テストの⼯数を確保することができる ▌テストのフィードバックを速く正確に得ることができる o 回帰試験であればデグレを速く検知したい、仕様通りに動くことを確 認することができる 参考: 筆者が社内にてヒアリング
76. 付録. 適切なタイミングで必要なテストをする 76 出所: 『Agile Testing Condensed Japanese Edition』,第 1 章:アジャイルテストが意味するものは何か? , 図: DevOps における継続的テストのループ
77. 付録. 適切なタイミングで必要なテストをする 77 ▌この料理に含まれる塩分量を調べなさい イラストの出所: https://www.irasutoya.com/2012/03/blog-post_8800.html
78. 付録. 適切なタイミングで必要なテストをする 78 ▌料理を作成する⼯程 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け
79. 付録. 適切なタイミングで必要なテストをする 79 ▌完成した料理に含まれる塩分量を調べるのはたいへん💦 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け 1.⾷品のサンプルをミキサーにかける 2.専⽤の分析器に⼊れる 3.偏りがないように、複数のサンプルを調査 ✓ イラストの出所: https://www.irasutoya.com/2015/03/blog-post_90.html
80. 付録. 適切なタイミングで必要なテストをする 80 ▌もし、材料を⽤意した段階で確認できれば︖ 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け ✓ イラストの出所: https://www.irasutoya.com/2020/12/blog-post_29.html
81. 付録. 適切なタイミングで必要なテストをする 81 ▌ただし、調理する段階で塩を⼊れ忘れるかもしれない 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け 😇 ✓ イラストの出所: https://www.irasutoya.com/2020/12/blog-post_29.html
82. 付録. 適切なタイミングで必要なテストをする 82 ▌そこで、「盛り付け」で味⾒もする 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け 😇 ✓ ✓ イラストの出所: https://www.irasutoya.com/2020/12/blog-post_29.html, https://www.irasutoya.com/2013/12/blog-post_3932.html
83. 付録. 適切なタイミングで必要なテストをする 83 ▌もし、「レシピを決める」段階でレシピに書かれた塩の分量が正し いか確認していたら・・・ 作るものを 決める レシピを 決める 材料を ⽤意 調理 盛り付け ✓ ✓ ✓ イラストの出所: https://www.irasutoya.com/2015/10/blog-post_944.html, https://www.irasutoya.com/2020/12/blog-post_29.html, https://www.irasutoya.com/2013/12/blog-post_3932.html
84. 再掲)付録. 適切なタイミングで必要なテストをする 84 出所: 『Agile Testing Condensed Japanese Edition』,第 1 章:アジャイルテストが意味するものは何か? , 図: DevOps における継続的テストのループ
85. 参考資料 85 ▌平⽥敏之，細沼祐介.『iOSアプリ開発⾃動テストの教科書』. 技術評論社 . 2019 ▌Jonathan Rasmusson著, ⽟川 紘⼦訳.『初めての⾃動テスト ―Webシス テムのための⾃動テスト基礎』.オライリージャパン. 2017 ▌Ronald Cummings-John, Owais Peer著, 河原⽥ 政典訳. 『LEADING QUALITY 』. KADOKAWA. 2023 ▌Janet Gregory, Lisa Crispin著, Yuya Kazama訳. 『Agile Testing Condensed Japanese Edition』. Leanpub. 2020 ▌Continuous Testing in DevOps… – Dan Ashby . https://danashby.co.uk/2016/10/19/continuous-testing-in-devops (2024/04/24閲覧)