Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Scaling Selenium to Infinity

Tadashi Nemoto
November 14, 2018

Scaling Selenium to Infinity

[人気につき増枠]AQA POP TALK #3 ~海外カンファレンスから見えたテスト自動化の未来~
https://mercaridev.connpass.com/event/104904/

Tadashi Nemoto

November 14, 2018
Tweet

More Decks by Tadashi Nemoto

Other Decks in Technology

Transcript

  1. Scaling Selenium to Infinity

    View full-size slide

  2. 自己紹介
    • 根本 征(Nemoto Tadashi)
    • Automation & QA (AQA) Group
    • テスト自動化
    • Selenium, Appium, XCUITest
    • モバイルCI / CD改善
    • 社内の生産性を上げるための自動化・サポート
    • https://seleck.cc/1230

    View full-size slide

  3. UIテストをはじめると起こる課題
    • 不安定なテスト(freaky test)
    • UIの変更に伴う改修
    • 調査コスト
    • 実行時間の増加(Unit <<< UI)

    View full-size slide

  4. blackboard / lambda-selenium

    View full-size slide

  5. サーバーレスの特徴
    • 課金形態
    • スケールしやすい
    • サーバーの管理をしなくていい
    • Low maintainance

    View full-size slide

  6. AWS Lambda 料金
    実行した「時間」と「回数」

    View full-size slide

  7. コストは同じ

    View full-size slide

  8. サーバーの管理をしなくていい
    制限された環境

    View full-size slide

  9. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ

    View full-size slide

  10. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ

    View full-size slide

  11. Amazon S3から毎回ダウンロード
    XVFB

    View full-size slide

  12. サーバーレスの制限
    • 利用できる言語 / バージョン
    • タイムアウト
    • デプロイサイズ

    View full-size slide

  13. How to scale tests?

    View full-size slide

  14. http://allure.qatools.ru/

    View full-size slide

  15. http://allure.qatools.ru/

    View full-size slide

  16. Running tests faster
    will unmask rude tests

    View full-size slide

  17. UIテストをはじめると起こる課題
    • 不安定なテスト(freaky test)
    • UIの変更に伴う改修
    • 調査コスト
    • 実行時間の増加(Unit <<< UI)

    View full-size slide

  18. Scaling is possible but you MUST
    follow best practices!

    View full-size slide

  19. UIテストをはじめると起こる課題
    • 不安定なテスト(freaky test)
    • UIの変更に伴う改修
    • 調査コスト
    • 実行時間の増加(Unit <<< UI)

    View full-size slide

  20. 課題も多い
    • 他ブラウザへの対応
    • プラットフォームの制限
    • サーバーレスの理解 / キャッチアップ
    • 実例も少なく現状ハードルは高い
    • 並列実行 VS テスト環境への負荷

    View full-size slide

  21. 未来
    • スケール・スピード
    • コスト
    • サーバーレスの実行コスト
    • 環境メンテナンスコスト

    View full-size slide

  22. まとめ
    • UIテストで起こりがちな実行時間の増加をAWS
    Lambdaによる並列実行で解決
    • プラットフォームによる特徴・制限を理解して、うまく
    使いこなす必要がある
    • 課題もあるが、スケール・スピード・コストによるメリッ
    トは大きく、未来があるのでは

    View full-size slide