自動テストの成果と失敗談

Slide 1

Slide 1 text

Slide 2

Slide 2 text

目次 Agenda ● 自己紹介 ● 本日のテーマ ● 3つの課題と改善したこと ● よりよい自動テストを行うために ● まとめ

Slide 3

Slide 3 text

Slide 4

Slide 4 text

4 © LayerX Inc. E2Eテスト自動化をすすめてきた課題感本日のテーマテストをしすぎてしまう実行時間がかかりすぎてしまうテストが失敗する -たくさんテストを作りすぎてしまう -1つのテストで複数確認をしてしまう -効率よくテストが実行できていない - テストをメンテナンスしてもまた失敗してしまう（flaky）

Slide 5

Slide 5 text

テストをしすぎてしまう

Slide 6

Slide 6 text

© LayerX Inc. 6 たくさんテストを作りすぎてしまう - 自動テストが増えるとマニュアルテストが楽になる - 失敗したテストが増えると確認する数が増えてしまう - メンテナンス数も増えすべてのシナリオに目が行き届かなくなる課題 1つのテストで複数確認をしてしまう - シナリオで”なにを”確認したいのかわからない - ほかの人がテストをみたときに確認内容がわからない - 本来確認したいところ以外でテストが失敗してしまう課題１.テストをしすぎてしまう

Slide 7

Slide 7 text

© LayerX Inc. 7 - 目的はマニュアルテストを楽にする < クリティカルなバグを早く検知すること - なんでも自動化せず、必要なテストはなにかを開発チームを含め自動化の方針を決める - すでにたくさんある場合は実行しないテストも含めて検討するたくさんテストを作りすぎてしまう=>自動化すべきテストを見直す改善 1つのテストで複数確認をしてしまう=>テストを分割して確認したいことを1つにする - 1つのテストで確認したいことを1つに決める - 意図しないテストの失敗の確認を減らすことにつながる課題１.テストをしすぎてしまう

Slide 8

Slide 8 text

実行時間がかかりすぎてしまう

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© LayerX Inc. 10 バグの検知が遅れる=>並列・直列実行の見直し改善 - テスト実行の仕方を見直す（本当に直列実行でないと回せないテストなのか） - ほかのテストに干渉しないような方法の模索 - テストユーザーを分ける - テスト実装の方法を変更する - 例）順番の制御が効かない->ほかになんらかユニークな情報をもたせることで順番を気にしなくてよいテストにする =>16時間->約9時間までに実行時間の短縮特にテスト実行の仕方を見直すところで時間がかかっているテストを並列で実行できるよう変更したことが大きな短縮に繋がった課題2.実行時間がかかりすぎてしまう

Slide 11

Slide 11 text

テストが失敗する

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

　よりよい自動テストを行うために

Slide 15

Slide 15 text

© LayerX Inc. 15 不具合を早く検知するための自動テストの拡充 - E2EテストからAPIテスト,ユニットテストで担保 - 実行時間の短縮 - UIの変化による影響を受けにくい（テストの保守性）テスト全体のデザイン - テスト自動化有無の判断 - 自動化するテストはどのレイヤーで担保すべきか - プロダクトのフェーズに合わせた自動化方針 - リリース初期のタイミングでコードを書くのか,SaaS等のサービスを使うのかなど　　よりよい自動テストを行うために引用：alisterbscott.com