Scaling Selenium to Infinity

Transcript

1. Scaling Selenium to Infinity

2. 自己紹介 • 根本 征(Nemoto Tadashi) • Automation & QA (AQA)

   Group • テスト自動化 • Selenium, Appium, XCUITest • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230
3. None
4. None

5. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit

   <<< UI)
6. None

7. blackboard / lambda-selenium

8. None

9. サーバーレスの特徴 • 課金形態 • スケールしやすい • サーバーの管理をしなくていい • Low maintainance

10. AWS Lambda 料金 実行した「時間」と「回数」

11. コストは同じ

12. サーバーの管理をしなくていい 制限された環境

13. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

14. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

15. Amazon S3から毎回ダウンロード XVFB

16. None

17. サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

18. None
19. None

20. How to scale tests?

21. None
22. None
23. None

24. http://allure.qatools.ru/

25. http://allure.qatools.ru/

26. None

27. Running tests faster will unmask rude tests

28. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit

    <<< UI)

29. Scaling is possible but you MUST follow best practices!

30. UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit

    <<< UI)

31. 課題も多い • 他ブラウザへの対応 • プラットフォームの制限 • サーバーレスの理解 / キャッチアップ •

    実例も少なく現状ハードルは高い • 並列実行 VS テスト環境への負荷

32. 未来 • スケール・スピード • コスト • サーバーレスの実行コスト • 環境メンテナンスコスト

33. まとめ • UIテストで起こりがちな実行時間の増加をAWS Lambdaによる並列実行で解決 • プラットフォームによる特徴・制限を理解して、うまく 使いこなす必要がある • 課題もあるが、スケール・スピード・コストによるメリッ トは大きく、未来があるのでは