テスト自動化ことはじめ

Slide 1

Slide 1 text

テスト自動化ことはじめ末村拓也 @ Autify, Inc. 2024-9-11 Forkwell Library #65

Slide 2

Slide 2 text

自己紹介末村拓也 X: @tsueeemura Quality Evangelist at Autify, Inc. 開発からマーケティングまで全部やる方のフルスタックエンジニアテトリスとメカニカルキーボードが好き

Slide 3

Slide 3 text

ちょっとおしらせ 9/18(水 ) Developers Summit 2024 Kansai に行きます一瞬だけ喋るのと、サイン会があります気軽に声かけてください

Slide 4

Slide 4 text

テスト自動化実践ガイド 2024/7/31発売三部構成で、テスト自動化を始める前から運用まで広くカバー第 1部　自動テストに取り組む前に第 2部　アプリケーションに E2Eテストを導入する第 3部　自動テストを改善するテクニック今なら翔泳社 SE Shop で紙書籍 50%ポイント還元！

Slide 5

Slide 5 text

第 1部　自動テストに取り組む前に第 1章テストの目的第 2章開発を支える自動テスト第 3章見つけたいバグを明確にする第 4章 E2Eテストとは何か

Slide 6

Slide 6 text

第 2部　アプリケーションに E2Eテストを導入する第 5章サンプルアプリケーションのセットアップ第 6章最小限のテストをデプロイする第 7章ビジネスプロセスをカバーするテストを作成する第 8章ユーザーストーリーをカバーするテストを作成する第 9章テストコードに意図を込める

Slide 7

Slide 7 text

第 3部　自動テストを改善するテクニック第 10章トラブルシューティング第 11章もっと幅広く E2Eテストを使う第 12章成果を振り返る

Slide 8

Slide 8 text

こだわりポイント自動テストを始める前のところにボリュームを割きました手動テストをただ自動化するだけでは不十分ですやり方だけでなく、考え方を身につけるのが大事ですレガシーなアプリケーションにも適用できるようになるべく汎用的な書き方にしましたわざわざサンプルでレガシーコードを書いていますちゃんとテストしてないから、多分すごいバグがあると思う ……

Slide 9

Slide 9 text

今日話すこと書籍第一部〜第二部からかいつまんで話しますテストとは何かどのテストを自動化したいのか自動リグレッションテストの重要性手動テストと自動テストのギャップ E2Eテストとは何か

Slide 10

Slide 10 text

テストとは何か

Slide 11

Slide 11 text

テストとはいろんなテストがあるよねプログラマーにとっては単体テスト（ホワイトボックステスト）テスターにとってはブラックボックステストビジネスサイドにとっては監視マーケターにとっては A/Bテスト etc

Slide 12

Slide 12 text

アジャイルテストの四象限様々な観点からテスト =評価を分類した図

Slide 13

Slide 13 text

どのテストを自動化したいのか

Slide 14

Slide 14 text

自動化したいテスト (1) 仕様通りに動作することをのチェック単体テストコンポーネントテスト受け入れテスト

Slide 15

Slide 15 text

自動化したいテスト (2) ルールやアルゴリズムに基づいたチェックプロパティベースドテストメタモルフィックテストビジュアルリグレッションテストアクセシビリティテストの一部

Slide 16

Slide 16 text

手動でやりたいテストユーザビリティテスト探索的テストプロトタイプシミュレーション

Slide 17

Slide 17 text

何を自動化したいのかを見極めるリリース前の単体・コンポーネントレベルの機能テストを自動化したいパフォーマンスの問題をユーザーより早く見つけたいブラウザごとの画面表示の違いを効率よく検出したい etc

Slide 18

Slide 18 text

自動リグレッションテストの重要性

Slide 19

Slide 19 text

開発は続くよ、どこまでも一度テストすれば終わりというわけではないバージョンが上がるたびにテストは必要になる影響範囲が定められれば良いが、大抵の場合影響範囲を完全に特定するのは困難例）フレームワークのアップデートは影響範囲が極めて大きいものの例

Slide 20

Slide 20 text

開発とテストの労力の不均衡

Slide 21

Slide 21 text

リソースとのせめぎあい手動でテストしていると、どうしても範囲や頻度を狭めなくてはならないシーンが出てくる毎日テストするのは無理だから、毎週、毎月、四半期ごとのテスト全てのパスをテストするのは無理だから、ハッピーパスだけのテストすると、自信をもって変更が出来なくなるソフトウェアの変更容易性が低くなる

Slide 22

Slide 22 text

自動テストは変更容易性を保つためにある自動テストの直接的な効能のうち、最も大きなものは自信を持ってリリースするのに必要な量のテストを現実的な作業量に抑えること

Slide 23

Slide 23 text

手動テストと自動テストのギャップ

Slide 24

Slide 24 text

手動テストは柔軟で発見的手動テストは要件やテスト対象の変化に対して柔軟手動テストは発見的な動きを取れる「テストケースに書いてなくても、何かおかしいことあったら教えて！」

Slide 25

Slide 25 text

自動テストは厳密で保証的自動テストは決められた要件やテスト対象の振る舞いを厳密に確認する自動テストは保証的に動く

Slide 26

Slide 26 text

実行サイクルの違い

Slide 27

Slide 27 text

No content

Slide 28

Slide 28 text

No content

Slide 29

Slide 29 text

No content

Slide 30

Slide 30 text

手動テストと自動テストの違い

Slide 31

Slide 31 text

レベル 1: 手動テストの自動化手動でやっていたものをそのまま自動化する手動でやっていたときほどバグが見つからなくなる結果が非決定的で、動作が不安定副作用が多い遅い

Slide 32

Slide 32 text

レベル 2: 目的を絞った自動テストテスト対象の機能や目的を絞ってテストする結果が決定的で安定している副作用が少ない /まったくない早い

Slide 33

Slide 33 text

レベル 1とレベル 2は行ったり来たりする自動テストの実装だけでなく、アプリケーション側のテスタビリティに依存する部分もあるデータの準備やクリーンアップ状態の再現最初にレベル 1のテストを書いて、それを元にリファクタリングして、レベル 2のテストを増やしていく

Slide 34

Slide 34 text

E2Eテストとは何か

Slide 35

Slide 35 text

E2Eテストの特徴ユーザーインターフェースを操作点・観測点として用いるユーザーストーリーやユースケースなど、ユーザーが価値を達成する手順をテストベースとする完全、または大部分が統合されたシステムをテスト対象として用いるユーザーストーリーの失敗など、ユーザーにとっての価値未達成の発見を主な目的とす

Slide 36

Slide 36 text

E2Eテストの良い点幅広い用途に利用できるブラウザやデバイスの互換性テスト仕様化テスト生きたドキュメント監視

Slide 37

Slide 37 text

E2Eテストの良い点ユーザーにとっての価値をそのままテストできる様々なレベルのテストベースを扱える会員登録などの機能会員登録〜商品購入までのビジネスプロセス

Slide 38

Slide 38 text

E2Eテストの辛い点 (1) 難易度自動化そのものの難易度が高めテストツールが複雑ブラウザブラウザ自動操作複雑なシステムには当然バグがあるテスト対象のバグと、テストツールのバグを両方扱わないといけない自動テスト実行中だけ Maximum call stack exceeded エラーが連発する、みたいな経験は大体の自動化エンジニアが経験している辛い

Slide 39

Slide 39 text

E2Eテストの辛い点 (2) テスタビリティテストしやすさに配慮する余地が少ない UIはどんなソフトウェアにもあるが、 UIをテストしやすくするのは難しいテストのために UXを犠牲にするなんてことはできない

Slide 40

Slide 40 text

E2Eテストの辛い点 (3) 可読性どこのページにいるのか、どのユーザーでログインしているのかいまやっているのはテストなのか準備なのか何を操作しようとしているのか E2Eテストは何も考えずに書くとゴリゴリの手続き型プログラミングになるのでテストコードが長くなるほど覚えておくことが多くなる = 認知負荷が高い

Slide 41

Slide 41 text

E2Eテストを成功させるためにテストベッドを出来るだけシンプルに設計しテスタビリティを考慮しときには別のテストレベル（単体テスト等）に移譲し可読性に気を配る

Slide 42

Slide 42 text

まとめいろんな種類のテストがある自動化したいテストとそうでないテストがあるただ自動化するでは開発を支えるようなテストにならない E2Eテストは一番ユーザー目線のテスト E2Eテスト特有の辛さを改善するには色々技術が要る

Slide 43

Slide 43 text

いかがでしたか？

Slide 44

Slide 44 text

他にもこんな話が書いてあります自動テスト実装のハンズオントラブルシューティング高度なユースケース振り返り

Slide 45

Slide 45 text

過去の資料もどうぞテストを自動化するのをやめ、自動テストを作ろう https://speakerdeck.com/tsuemura/tesutowozi-dong-hua-surufalsewoyame-zi- dong-tesutowozuo-rou コンテキストとセマンティクスを意識してリーダブルな E2Eテストコードを書こう https://speakerdeck.com/tsuemura/kontekisutotosemanteikusuwoyi-shi- siteridaburunae2etesutokodowoshu-kou リーダブルな E2Eテストコードのための 3つの C https://speakerdeck.com/tsuemura/ridaburunae2etesutokodonotameno3tunoc?

Slide 46

Slide 46 text

感想・コメントをお寄せくださいサポートサイト https://github.com/tsuemura/practical-guide-for-test-automation-support 書籍冒頭に書いてあるんですが、意外と目立たないのか、気付かれていないことが多そう良く分からないで ★1付けられるよりもたくさん質問して分かってもらったほうがありがたいです

Slide 47

Slide 47 text

Enjoy Testing!