テスト自動化ツールを比較してみた導入後の課題と相性の良いテスト

加藤裕太所属/役割趣味最近の仕事いま興味あることかとうゆうた開発部/QAエンジニアキャンプ
UI/UX観点での仕様書レビュー、改修セキュリティテストの知識自己紹介

01. テスト自動化を行った背景 02. 社内既存自動化ツールを運用してみた課題 03. MagicPodとAutifyの比較、導入 04. まとめアジェンダ

01 テスト自動化を行った背景

テスト自動化を行った背景各企業の店舗を検索するためのローカルSEOに対応した自社HP

テスト自動化を行った背景過剰アクセスでサーバーが落ちてもすぐに気付けない…  サイトのアップデート時に既存実装箇所がバグったままリリースしてしまった… 

テスト自動化を行った背景　　　　　　　　　サイトの死活監視の為、  定期的に自動実行されるE2Eテストを実装することに 

テスト自動化を行った背景自動化の第一歩を踏み出しました！  と、いうわけで 

02 社内既存自動化ツールを運用してみた

社内既存自動化ツールを運用してみたそもそもどういうツールがあるの？ 

• オープンソース系  ◦ コーディングスキルがないと扱いが難しい  ◦ スキルがあれば自由にカスタマイズできる   ◦ 無料で使えるものが多い   
  • ノーコード系　←今回こっちを使用  ◦ コーディングスキルがまったくない人でも扱える  ◦ クラウドで利用できるためすぐに扱える   ◦ 有料サービスであるものが多い  そもそもどういうツールがあるの？

• 毎日1時間おきに自動実行されること  • ホームページ全画面の各要素が正常に表示されているか  • ユーザーの導線に沿ってテストが行われること  社内既存自動化ツールを運用してみた今回のテスト要件  いざ、実装開始！

　　　　　そして実装が終わった！！！！！！ 

運用してみた結果  社内既存自動化ツールを運用してみた

運用コストの圧倒的増加。。。。。    • 料金形態がテスト実行1回あたりの従量課金制だった  ◦ 短い間隔で繰り返し行うテストに向いていない   • テスト対象のUIが変更されるとテストが失敗する  ◦
UI要素を検出し直す必要があり、こまめなメンテナンスが必要   • 日本語に対応しておらず、国内ユーザーが少ない  ◦ とっつきにくく、他QAメンバーのキャッチアップコストが増加   ◦ ググっても自動テストに関するナレッジがほぼ見つからず       結果

社内既存自動化ツールを運用してみたじゃあ、国内の有名なツールを見てみよう！ 

03 MagicPodとAutifyの比較、導入

ツール選定の際に重要視したこと    • 実装、メンテナンスに開発知識が不要なこと  • 初期キャッチアップコストが低いこと  • 実装後のメンテナンスコストが低いこと  • 料金体系がテスト要件とマッチしていること 
    　　  　　　　　　　　　　　　　　　　　　　　　　NO！属人化  MagicPodとAutifyの比較、導入

　　　　　　　　実際に使ってみた 

MagicPodとAutifyの比較、導入レコーディング機能によって誰でもすぐにテストを作成できる最大10並列でテストを実行できるテスト実行回数に上限があり、上限（ 400回）以降は従量課金制テスト実行回数に制限が無い条件分岐などノーコードで複雑なテストが行えるキャッチアップコストが少し高い　←どっちもAIによるテストケース　　↓自動修復機能あり

04 まとめ

まとめ • オープンソース系テスト自動化ツールは無料で使えることが強みだが、  一定以上の知識を必要としメンテナンスコストが高くなりがち  • ノーコード系テスト自動化ツールは開発知識を必要とせず、  チーム全体への推進が容易。有償なので費用対効果を見極める必要あり    • 自動テストを短いスパンで繰り返し実行したい、 
複雑な条件分岐をテストケースに組み込みたいならMagicPod  • キャッチアップコストを削減したい、  非エンジニアでもスムーズに自動テストを作成したいならAutify  • それぞれのツールに違った強みがあるので  自社のフェーズや課題と照らし合わせてツール選定を行うことが大切 

We Are Hiring!! https://hrmos.co/pages/canly/jobs QRコードカンリー採用 2 4 24

テスト自動化ツールを比較してみた導入後の課題と相性の良いテスト

テスト自動化ツールを比較してみた導入後の課題と相性の良いテスト

加藤裕太

Other Decks in Programming

Featured

Transcript