Scaling Selenium to Infinity

[人気につき増枠]AQA POP TALK #3 ~海外カンファレンスから見えたテスト自動化の未来~
https://mercaridev.connpass.com/event/104904/

Transcript

1. Scaling Selenium to Infinity
   

   View Slide

2. 自己紹介
   • 根本 征(Nemoto Tadashi)
   • Automation & QA (AQA) Group
   • テスト自動化
   • Selenium, Appium, XCUITest
   • モバイルCI / CD改善
   • 社内の生産性を上げるための自動化・サポート
   • https://seleck.cc/1230
   

   View Slide

3. View Slide

4. View Slide

5. UIテストをはじめると起こる課題
   • 不安定なテスト(freaky test)
   • UIの変更に伴う改修
   • 調査コスト
   • 実行時間の増加(Unit <<< UI)
   

   View Slide

6. View Slide

7. blackboard / lambda-selenium
   

   View Slide

8. View Slide

9. サーバーレスの特徴
   • 課金形態
   • スケールしやすい
   • サーバーの管理をしなくていい
   • Low maintainance
   

   View Slide

10. AWS Lambda 料金
    実行した「時間」と「回数」
    

    View Slide

11. コストは同じ
    

    View Slide

12. サーバーの管理をしなくていい
    制限された環境
    

    View Slide

13. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ
    

    View Slide

14. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ
    

    View Slide

15. Amazon S3から毎回ダウンロード
    XVFB
    

    View Slide

16. View Slide

17. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ
    

    View Slide

18. View Slide

19. View Slide

20. How to scale tests?
    

    View Slide

21. View Slide

22. View Slide

23. View Slide

24. http://allure.qatools.ru/
    

    View Slide

25. http://allure.qatools.ru/
    

    View Slide

26. View Slide

27. Running tests faster
    will unmask rude tests
    

    View Slide

28. UIテストをはじめると起こる課題
    • 不安定なテスト(freaky test)
    • UIの変更に伴う改修
    • 調査コスト
    • 実行時間の増加(Unit <<< UI)
    

    View Slide

29. Scaling is possible but you MUST
    follow best practices!
    

    View Slide

30. UIテストをはじめると起こる課題
    • 不安定なテスト(freaky test)
    • UIの変更に伴う改修
    • 調査コスト
    • 実行時間の増加(Unit <<< UI)
    

    View Slide

31. 課題も多い
    • 他ブラウザへの対応
    • プラットフォームの制限
    • サーバーレスの理解 / キャッチアップ
    • 実例も少なく現状ハードルは高い
    • 並列実行 VS テスト環境への負荷
    

    View Slide

32. 未来
    • スケール・スピード
    • コスト
    • サーバーレスの実行コスト
    • 環境メンテナンスコスト
    

    View Slide

33. まとめ
    • UIテストで起こりがちな実行時間の増加をAWS
    Lambdaによる並列実行で解決
    • プラットフォームによる特徴・制限を理解して、うまく
    使いこなす必要がある
    • 課題もあるが、スケール・スピード・コストによるメリッ
    トは大きく、未来があるのでは
    

    View Slide