テスト自動化ツールを比較してみた 導入後の課題と相性の良いテスト

Transcript

1. テスト自動化ツールを比較してみた 導入後の課題と相性の良いテスト © 株式会社カンリー. All Rights Reserved.
2. 加藤 裕太 所属/役割 趣味 最近の仕事 いま興味あること かとう ゆうた 開発部/QAエンジニア キャンプ UI/UX観点での仕様書レビュー、改修 セキュリティテストの知識 自己紹介
3. 01. テスト自動化を行った背景 02. 社内既存自動化ツールを運用してみた課題 03. MagicPodとAutifyの比較、導入 04. まとめ アジェンダ
4. 01 テスト自動化を行った背景
5. テスト自動化を行った背景 各企業の店舗を検索するための ローカルSEOに対応した自社HP
6. テスト自動化を行った背景 過剰アクセスでサーバーが落ちてもすぐに気付けない…
 サイトのアップデート時に既存実装箇所がバグったままリリースしてし まった…

7. テスト自動化を行った背景 　　　　　　　　　サイトの死活監視の為、
 定期的に自動実行されるE2Eテストを実装することに

8. テスト自動化を行った背景 自動化の第一歩を踏み出しました！
 と、いうわけで

9. 02 社内既存自動化ツールを運用してみた
10. 社内既存自動化ツールを運用してみた そもそもどういうツールがあるの？

11. • オープンソース系
 ◦ コーディングスキルがないと扱いが難しい
 ◦ スキルがあれば自由にカスタマイズできる 
 ◦ 無料で使えるものが多い
 
 
 • ノーコード系　←今回こっちを使用
 ◦ コーディングスキルがまったくない人でも扱える
 ◦ クラウドで利用できるためすぐに扱える 
 ◦ 有料サービスであるものが多い
 そもそもどういうツールがあるの？
12. • 毎日1時間おきに自動実行されること
 • ホームページ全画面の各要素が正常に表示されているか
 • ユーザーの導線に沿ってテストが行われること
 社内既存自動化ツールを運用してみた 今回のテスト要件
 いざ、実装開始！
13. 　　　　　そして実装が終わった！！！！！！

14. 運用してみた結果
 社内既存自動化ツールを運用してみた
15. 運用コストの圧倒的増加。。。。。
 
 • 料金形態がテスト実行1回あたりの従量課金制だった
 ◦ 短い間隔で繰り返し行うテストに向いていない 
 • テスト対象のUIが変更されるとテストが失敗する
 ◦ UI要素を検出し直す必要があり、こまめなメンテナンスが必要 
 • 日本語に対応しておらず、国内ユーザーが少ない
 ◦ とっつきにくく、他QAメンバーのキャッチアップコストが増加 
 ◦ ググっても自動テストに関するナレッジがほぼ見つからず 
 
 
 結果
16. 社内既存自動化ツールを運用してみた じゃあ、国内の有名なツールを見てみよう！

17. 03 MagicPodとAutifyの比較、導入
18. ツール選定の際に重要視したこと
 
 • 実装、メンテナンスに開発知識が不要なこと
 • 初期キャッチアップコストが低いこと
 • 実装後のメンテナンスコストが低いこと
 • 料金体系がテスト要件とマッチしていること
 
 
 　　
 　　　　　　　　　　　　　　　　　　　　　　NO！属人化
 MagicPodとAutifyの比較、導入
19. 　　　　　　　　実際に使ってみた

20. MagicPodとAutifyの比較、導入 レコーディング機能によって誰でもすぐにテストを作成できる 最大10並列でテストを実行できる テスト実行回数に上限があり、上限（ 400回）以降は従量課金制 テスト実行回数に制限が無い 条件分岐などノーコードで複雑なテストが行える キャッチアップコストが少し高い 　←どっちもAIによるテストケース 　　↓自動修復機能あり
21. MagicPodとAutifyの比較、導入 レコーディング機能によって誰でもすぐにテストを作成できる 最大10並列でテストを実行できる テスト実行回数に上限があり、上限（ 400回）以降は従量課金制 テスト実行回数に制限が無い 条件分岐などノーコードで複雑なテストが行える キャッチアップコストが少し高い 　←どっちもAIによるテストケース 　　↓自動修復機能あり
22. 04 まとめ
23. まとめ • オープンソース系テスト自動化ツールは無料で使えることが強みだが、
 一定以上の知識を必要としメンテナンスコストが高くなりがち
 • ノーコード系テスト自動化ツールは開発知識を必要とせず、
 チーム全体への推進が容易。有償なので費用対効果を見極める必要あり
 
 • 自動テストを短いスパンで繰り返し実行したい、
 複雑な条件分岐をテストケースに組み込みたいならMagicPod
 • キャッチアップコストを削減したい、
 非エンジニアでもスムーズに自動テストを作成したいならAutify
 • それぞれのツールに違った強みがあるので
 自社のフェーズや課題と照らし合わせてツール選定を行うことが大切

24. We Are Hiring!! https://hrmos.co/pages/canly/jobs QRコード カンリー 採用 2 4 24