モバイルE2Eテストを継続・改善させるために取り組むKarakuri

Transcript

1. モバイルE2Eテストを継続・改善させるために 取り組むKarakuri Nemoto Tadashi Test Engineers Meetup #3

2. 自己紹介 • 根本 征(Nemoto Tadashi) • Automation & QA (AQA)

   Group • テスト自動化 • Selenium, Appium, XCUITest, Espresso • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230 • 自称 Zapierエバンジェリスト

3. Automation & QA Group

4. モバイルテスティング

5. None

6. AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000 Android CI CircleCI 2.0

7. Android CI Danger Codecov AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000

8. エンジニアと一緒にテスト書いたり

9. None

10. E2Eテスト(特にモバイル)は メンテナンスコストが高い 不安定

11. QAと一緒にE2Eテスト自動化を推進し 1年以上メンテナンス・改善をしている

12. なぜQAとなのか • QAとエンジニアで確認・テストしたいことは違う • テストの不安定さ < 自分たちの作業の一部自動化 • スキルアップへのモチベーション

13. 3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす

14. 実行環境を用意・安定化

15. Android apkビルド Google Cloud Storage

16. Android

17. Android クラウド実行環境 Others デバイス

18. iOS iOS Simulator メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000

19. テストレポートを充実させる

20. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

21. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

22. マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

23. iOS(XCTestHTMLReport) メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000

24. 調査・メンテナンスできる人を増やす

25. QAとの協業 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • 一部スクリプト修正 •

    テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成
26. None

27. 次のステップ 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • テストスクリプトの実装・修正 •

    テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成

28. Appium + RSpec + Turnip (Android) 自動化エンジニア QA • 実装しているシナリオの理解

    • 新規シナリオの作成 • 既存シナリオの修正 • Stepの作成 • サンプルのシナリオを提供 • シナリオを書くためのサポート

29. github.com/tadashi0713/table_beet2

30. QAがシナリオを書くためのサポート

31. 3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす + Automation, Karakuriしていく文化

32. エンジニアの行動指針 Automation, Karakuri

33. Automation (自動化) 本来すべきこと(コード・設計) に集中するため 機械になるべくやらせて、効率化させる 2度以上行なった作業は自動化の対象

34. Karakuri (仕組み化) 問題が起きた時、気合いではなく、 人的エラーが起きない仕組みで解決する

35. Automation, Karakuriしていく文化

36. 一発でパーフェクトなE2Eテストは作れない 自発的・継続的に Automation, Karakuriしていく文化