SikuliXでGUIテストを自動化

BehatによるGUIテスト肥大化の改善策として、
SikuliXを使ってGUIテストを実行し、
Jenkinsと連携するところまでを目標にした内容です。

Transcript

1. GMOリサーチ株式会社 石黒 瑞樹 第132回 PHP勉強会＠東京 28 November 2018 SikuliXで GUIテストを自動化
2. GMOリサーチの
3. GMOリサーチの 石黒です。
4. GMOリサーチの 石黒です。 Qiita：@ishizuki Twitter：@onaka_p_p_ GitHub：gr-ishiguro
5. 早速ですが
6. 早速ですが 背景です
7. Behat （+selenium） に
8. Behat （+selenium） に 工数が 掛かりすぎる 問題
9. どこに
10. どこに 工数が掛かるか？
11. どこに 工数が掛かるか？ ・不安定
12. どこに 工数が掛かるか？ ・不安定 ・学習コスト
13. どこに 工数が掛かるか？ ・不安定 ・学習コスト ・実行時間
14. https://martinfowler.com/bliki/images/testPyramid/test-pyramid.png
15. つまり
16. つまり 一番の問題点は
17. つまり 一番の問題点は UIのテストの 肥大化
18. https://martinfowler.com/bliki/images/testPyramid/test-pyramid.png UI
19. 作り変えたい
20. 作り変えたいが、
21. 作り変えたいが、もっと
22. 作り変えたいが、もっと 学習コストや
23. 作り変えたいが、もっと 学習コストや 修正コストが
24. 作り変えたいが、もっと 学習コストや 修正コストが 低い方法は…
25. 作り変えたいが、もっと 学習コストや 修正コストが 低い方法は… ->Sikuli
26. Sikuliとは
27. Sikuliとは ・ OpenCVを使った
28. Sikuliとは ・ OpenCVを使った 画面上の
29. Sikuliとは ・ OpenCVを使った 画面上の 類似画像検索
30. Sikuliとは ・ OpenCVを使った 画面上の 類似画像検索 ・OSS
31. Sikuliとは ・ OpenCVを使った 画面上の 類似画像検索 ・OSS ・JythonまたはJRubyを サポート
32. OpenCVの画像検索とは
33. OpenCVの画像検索とは 引用：masuoのブログ
34. OpenCVの画像検索とは 引用：masuoのブログ
35. とりあえず
36. とりあえず Jenkinsで
37. とりあえず Jenkinsで 動かすところまで
38. とりあえず Jenkinsで 動かすところまで やってみた
39. ダウンロード
40. Jython-standalone-2.7.1.jarを ダウンロード
41. sikulix.jarを ダウンロード
42. 同じフォルダに置いて 実行
46. サイドバー無くなった
47. Windowsキー+Rを キーボード入力する場合
50. chromeを起動
51. PHP勉強会をググるシナリオ
52. Jenkinsで実行するため エクスポート
54. Jenkinsで実行するため タスクスケジューラ登録
55. 引数 -r に 実行ファイルを指定
58. shtasks /run /tn タスク名
59. Windowsのサービスを自動起動にしておくと タスクが裏で動いちゃうので 手動起動にする
62. 動きました
63. あとはテスト結果をXMLで出力して Jenkinsで結果を集計すれば完了なんで すが、ただXMLを出力するだけで数時 間悩んだので一旦諦めました。
64. あとはテスト結果をXMLで出力して Jenkinsで結果を集計すれば完了なんで すが、ただXMLを出力するだけで数時 間悩んだので一旦諦めました。 引用：Safx 理想
65. import random import unittest import xmlrunner class TestSequenceFunctions(unittest.TestCase): def setUp(self): self.seq = list(range(10)) @unittest.skip("demonstrating skipping") def test_skipped(self): self.fail("shouldn't happen") def test_shuffle(self): # make sure the shuffled sequence does not lose any elements random.shuffle(self.seq) self.seq.sort() self.assertEqual(self.seq, list(range(10))) # should raise an exception for an immutable sequence self.assertRaises(TypeError, random.shuffle, (1,2,3)) def test_choice(self): element = random.choice(self.seq) self.assertTrue(element in self.seq) def test_sample(self): with self.assertRaises(ValueError): random.sample(self.seq, 20) for element in random.sample(self.seq, 5): self.assertTrue(element in self.seq) if __name__ == '__main__': unittest.main( testRunner=xmlrunner.XMLTestRunner(output='test-reports'), # these make sure that some options that are not applicable # remain hidden from the help menu. failfast=False, buffer=False, catchbreak=False) 敗因： XML出力するためのコードが 急にPythonゴリゴリだった
66. まとめ
67. まとめ ・安定性×
68. まとめ ・安定性× ・学習コスト〇
69. まとめ ・安定性× ・学習コスト〇 ・実行時間△
70. 安定して運用で きるのか…
71. 安定して運用で きるのか… とりあえず一本 シナリオ作って から考えるか…