テスト自動化ツールを比較してみた導入後の課題と相性の良いテスト

by 加藤裕太

Slide 1

Slide 1 text

Slide 2

Slide 2 text

加藤裕太所属/役割趣味最近の仕事いま興味あることかとうゆうた開発部/QAエンジニアキャンプ UI/UX観点での仕様書レビュー、改修セキュリティテストの知識自己紹介

Slide 3

Slide 3 text

01. テスト自動化を行った背景 02. 社内既存自動化ツールを運用してみた課題 03. MagicPodとAutifyの比較、導入 04. まとめアジェンダ

Slide 4

Slide 4 text

01 テスト自動化を行った背景

Slide 5

Slide 5 text

テスト自動化を行った背景各企業の店舗を検索するためのローカルSEOに対応した自社HP

Slide 6

Slide 6 text

テスト自動化を行った背景過剰アクセスでサーバーが落ちてもすぐに気付けない…  サイトのアップデート時に既存実装箇所がバグったままリリースしてしまった… 

Slide 7

Slide 7 text

テスト自動化を行った背景　　　　　　　　　サイトの死活監視の為、  定期的に自動実行されるE2Eテストを実装することに 

Slide 8

Slide 8 text

テスト自動化を行った背景自動化の第一歩を踏み出しました！  と、いうわけで 

Slide 9

Slide 9 text

02 社内既存自動化ツールを運用してみた

Slide 10

Slide 10 text

社内既存自動化ツールを運用してみたそもそもどういうツールがあるの？ 

Slide 11

Slide 11 text

● オープンソース系  ○ コーディングスキルがないと扱いが難しい  ○ スキルがあれば自由にカスタマイズできる   ○ 無料で使えるものが多い      ● ノーコード系　←今回こっちを使用  ○ コーディングスキルがまったくない人でも扱える  ○ クラウドで利用できるためすぐに扱える   ○ 有料サービスであるものが多い  そもそもどういうツールがあるの？

Slide 12

Slide 12 text

● 毎日1時間おきに自動実行されること  ● ホームページ全画面の各要素が正常に表示されているか  ● ユーザーの導線に沿ってテストが行われること  社内既存自動化ツールを運用してみた今回のテスト要件  いざ、実装開始！

Slide 13

Slide 13 text

　　　　　そして実装が終わった！！！！！！ 

Slide 14

Slide 14 text

運用してみた結果  社内既存自動化ツールを運用してみた

Slide 15

Slide 15 text

運用コストの圧倒的増加。。。。。    ● 料金形態がテスト実行1回あたりの従量課金制だった  ○ 短い間隔で繰り返し行うテストに向いていない   ● テスト対象のUIが変更されるとテストが失敗する  ○ UI要素を検出し直す必要があり、こまめなメンテナンスが必要   ● 日本語に対応しておらず、国内ユーザーが少ない  ○ とっつきにくく、他QAメンバーのキャッチアップコストが増加   ○ ググっても自動テストに関するナレッジがほぼ見つからず       結果

Slide 16

Slide 16 text

社内既存自動化ツールを運用してみたじゃあ、国内の有名なツールを見てみよう！ 

Slide 17

Slide 17 text

03 MagicPodとAutifyの比較、導入

Slide 18

Slide 18 text

ツール選定の際に重要視したこと    ● 実装、メンテナンスに開発知識が不要なこと  ● 初期キャッチアップコストが低いこと  ● 実装後のメンテナンスコストが低いこと  ● 料金体系がテスト要件とマッチしていること      　　  　　　　　　　　　　　　　　　　　　　　　　NO！属人化  MagicPodとAutifyの比較、導入

Slide 19

Slide 19 text

　　　　　　　　実際に使ってみた 

Slide 20

Slide 20 text

MagicPodとAutifyの比較、導入レコーディング機能によって誰でもすぐにテストを作成できる最大10並列でテストを実行できるテスト実行回数に上限があり、上限（ 400回）以降は従量課金制テスト実行回数に制限が無い条件分岐などノーコードで複雑なテストが行えるキャッチアップコストが少し高い　←どっちもAIによるテストケース　　↓自動修復機能あり

Slide 21

Slide 21 text

Slide 22

Slide 22 text

04 まとめ

Slide 23

Slide 23 text

まとめ ● オープンソース系テスト自動化ツールは無料で使えることが強みだが、  一定以上の知識を必要としメンテナンスコストが高くなりがち  ● ノーコード系テスト自動化ツールは開発知識を必要とせず、  チーム全体への推進が容易。有償なので費用対効果を見極める必要あり    ● 自動テストを短いスパンで繰り返し実行したい、  複雑な条件分岐をテストケースに組み込みたいならMagicPod  ● キャッチアップコストを削減したい、  非エンジニアでもスムーズに自動テストを作成したいならAutify  ● それぞれのツールに違った強みがあるので  自社のフェーズや課題と照らし合わせてツール選定を行うことが大切 

Slide 24

Slide 24 text

We Are Hiring!! https://hrmos.co/pages/canly/jobs QRコードカンリー採用 2 4 24