Scaling Selenium to Infinity

[人気につき増枠]AQA POP TALK #3 ~海外カンファレンスから見えたテスト自動化の未来~
https://mercaridev.connpass.com/event/104904/

Transcript

1. Scaling Selenium to Infinity
2. 自己紹介 • 根本 征(Nemoto Tadashi) • Automation & QA (AQA) Group • テスト自動化 • Selenium, Appium, XCUITest • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230
5. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)
7. blackboard / lambda-selenium
9. サーバーレスの特徴 • 課金形態 • スケールしやすい • サーバーの管理をしなくていい • Low maintainance
10. AWS Lambda 料金 実行した「時間」と「回数」
11. コストは同じ
12. サーバーの管理をしなくていい 制限された環境
13. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ
14. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ
15. Amazon S3から毎回ダウンロード XVFB
17. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ
20. How to scale tests?
24. http://allure.qatools.ru/
25. http://allure.qatools.ru/
27. Running tests faster will unmask rude tests
28. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)
29. Scaling is possible but you MUST follow best practices!
30. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)
31. 課題も多い • 他ブラウザへの対応 • プラットフォームの制限 • サーバーレスの理解 / キャッチアップ • 実例も少なく現状ハードルは高い • 並列実行 VS テスト環境への負荷
32. 未来 • スケール・スピード • コスト • サーバーレスの実行コスト • 環境メンテナンスコスト
33. まとめ • UIテストで起こりがちな実行時間の増加をAWS Lambdaによる並列実行で解決 • プラットフォームによる特徴・制限を理解して、うまく 使いこなす必要がある • 課題もあるが、スケール・スピード・コストによるメリッ トは大きく、未来があるのでは