AppiumからXCUITestに変え、そのためにSwiftを学び始めた話

by Tadashi Nemoto

Slide 1

Slide 1 text

2017/05/22 iOS Test Night #4 Tadashi Nemoto AppiumからXCUITestに変え、そためにSwiftを学び始めた話

Slide 2

Slide 2 text

自己紹介 • 根本征 (github: tadashi0713) • Software Engineer in Test @mercari • 4月からQA・SETチームとして活動 • UI・E2Eテスト自動化がメイン • テスト管理ツールを作りたいと思って色々チャレンジしている

Slide 3

Slide 3 text

#2で発表した内容 https://speakerdeck.com/tadashi0713/ appium-xcuitest-drivertocihuan-jing

Slide 4

Slide 4 text

最近までやっていたこと • ターゲットアプリリリース前に基本機能が正しく動作しているかリグレッションテストを手動で行っていた • 繰り返し作業が多い・リリースするタイミングが増えたため一部自動化を検討 • iOS・Androidで50%自動化目標 • Appiumを使って挑戦してみた

Slide 5

Slide 5 text

結局どうなったか

Slide 6

Slide 6 text

Appiumをやめて(iOS) XCUITestに変えた

Slide 7

Slide 7 text

理由そ 1： Accessibility付与 • ターゲットアプリに Accessibilityが振られている部分少なかった • 付与しながらテストを書いていく事が求められた • しかしAppium 場合、iOSレポジトリでAccessibilityを振りながら、また別レポジトリでテストを書く必要があった • これが結構大変だった

Slide 8

Slide 8 text

理由そ 2：動作速度・安定性 • 当時xcuitest-driver 安定していない部分もあった • xcuitest-driver 場合Xpathを使うと動作が遅くなる • 動作速度が遅いとそ分全体実装速度も遅くなっていくなと書いていて感じた

Slide 9

Slide 9 text

単純に思ったこと Appiumも実際に XCUITestを動かしている XCUITestでいいで

Slide 10

Slide 10 text

試しに書いてみてとてもよかった

Slide 11

Slide 11 text

Accessibility付与問題？ • 1つレポジトリでAccessibility付与・UIテスト実装ができる • レコーディング機能で付けたAccessibilityがきちんと動作できるか確認できる

Slide 12

Slide 12 text

動作速度・安定性問題？ • 実行速度 Appiumと比べると早かった印象 • もちろんUIテストなで時間とられやすい • システムアラートやWebviewも処理できた • waitもPage Object Patternを使ってうまくでき、安定して実行することができた

Slide 13

Slide 13 text

ほぼ未経験だが Swift 挑戦しながら書いてみようȋ

Slide 14

Slide 14 text

約1ヶ月半かけて XCUITestでEnd to Endテストを実装

Slide 15

Slide 15 text

Jenkins & 社内 mac で実行環境を用意 Chatから実行できるように

Slide 16

Slide 16 text

QAエンジニアと協力してリリース前リグレッションテスト 50%自動化に成功仕様・UI 変更にも追いついていくことができた

Slide 17

Slide 17 text

しかしそアプリ諸事情により開発中断もうほぼアップデートされることなくなった

Slide 18

Slide 18 text

失ったコード5029行無価値になったかと思った

Slide 19

Slide 19 text

実際そんなことなかった残ったも多かった

Slide 20

Slide 20 text

iOSをテストする上で必要な知識が学べた

Slide 21

Slide 21 text

• 知らないといけないこと • Xcode、関連コマンド • Unit Test どうなっているか(XCTest) • fastlane • 知っておくと便利なこと • 並列実行(Bluepill、pxctest) • snapshot

Slide 22

Slide 22 text

• ノウハウもたまった • XCUITestで Page Object Pattern • テストデータ生成 • どくらい工数をかけれどくらい自動化できるか

Slide 23

Slide 23 text

違うチームでテスト自動化導入が検討されることがでてきた

Slide 24

Slide 24 text

UIテスト自動化に興味ある QAエンジニアが出てきた

Slide 25

Slide 25 text

定期的に勉強会を実施

Slide 26

Slide 26 text

これもある程度レベルまで UIテストを実装・導入したからこそ出た良い影響かなと僕思いました