Scaling Selenium to Infinity

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介 • 根本征(Nemoto Tadashi) • Automation & QA (AQA) Group • テスト自動化 • Selenium, Appium, XCUITest • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230

Slide 3

Slide 3 text

No content

Slide 4

Slide 4 text

No content

Slide 5

Slide 5 text

UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)

Slide 6

Slide 6 text

No content

Slide 7

Slide 7 text

blackboard / lambda-selenium

Slide 8

Slide 8 text

No content

Slide 9

Slide 9 text

サーバーレスの特徴 • 課金形態 • スケールしやすい • サーバーの管理をしなくていい • Low maintainance

Slide 10

Slide 10 text

AWS Lambda 料金実行した「時間」と「回数」

Slide 11

Slide 11 text

コストは同じ

Slide 12

Slide 12 text

サーバーの管理をしなくていい制限された環境

Slide 13

Slide 13 text

サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

Slide 14

Slide 14 text

サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

Slide 15

Slide 15 text

Amazon S3から毎回ダウンロード XVFB

Slide 16

Slide 16 text

No content

Slide 17

Slide 17 text

サーバーレスの制限 • 利用できる言語 / バージョン • タイムアウト • デプロイサイズ

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

No content

Slide 20

Slide 20 text

How to scale tests?

Slide 21

Slide 21 text

No content

Slide 22

Slide 22 text

No content

Slide 23

Slide 23 text

No content

Slide 24

Slide 24 text

http://allure.qatools.ru/

Slide 25

Slide 25 text

http://allure.qatools.ru/

Slide 26

Slide 26 text

No content

Slide 27

Slide 27 text

Running tests faster will unmask rude tests

Slide 28

Slide 28 text

UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)

Slide 29

Slide 29 text

Scaling is possible but you MUST follow best practices!

Slide 30

Slide 30 text

UIテストをはじめると起こる課題 • 不安定なテスト(freaky test) • UIの変更に伴う改修 • 調査コスト • 実行時間の増加(Unit <<< UI)

Slide 31

Slide 31 text

課題も多い • 他ブラウザへの対応 • プラットフォームの制限 • サーバーレスの理解 / キャッチアップ • 実例も少なく現状ハードルは高い • 並列実行 VS テスト環境への負荷

Slide 32

Slide 32 text

未来 • スケール・スピード • コスト • サーバーレスの実行コスト • 環境メンテナンスコスト

Slide 33

Slide 33 text

まとめ • UIテストで起こりがちな実行時間の増加をAWS Lambdaによる並列実行で解決 • プラットフォームによる特徴・制限を理解して、うまく使いこなす必要がある • 課題もあるが、スケール・スピード・コストによるメリットは大きく、未来があるのでは