モバイルE2Eテストを継続・改善させるために取り組むKarakuri

Transcript

1. 1.

   モバイルE2Eテストを継続・改善させるために 取り組むKarakuri Nemoto Tadashi Test Engineers Meetup #3

2. 2.

   自己紹介 • 根本 征(Nemoto Tadashi) • Automation & QA (AQA)

   Group • テスト自動化 • Selenium, Appium, XCUITest, Espresso • モバイルCI / CD改善 • 社内の生産性を上げるための自動化・サポート • https://seleck.cc/1230 • 自称 Zapierエバンジェリスト
3. 3.

   Automation & QA Group

4. 4.

   モバイルテスティング

5. 5.

   None
6. 6.

   AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000 Android CI CircleCI 2.0

7. 7.

   Android CI Danger Codecov AndroidのCI時間を10分短縮し、 開発を爆速にするためのKarakuriを作った話 https://tech.mercari.com/entry/2018/07/04/110000

8. 8.

   エンジニアと一緒にテスト書いたり

9. 9.

   None
10. 10.

    E2Eテスト(特にモバイル)は メンテナンスコストが高い 不安定

11. 11.

    QAと一緒にE2Eテスト自動化を推進し 1年以上メンテナンス・改善をしている

12. 12.

    なぜQAとなのか • QAとエンジニアで確認・テストしたいことは違う • テストの不安定さ < 自分たちの作業の一部自動化 • スキルアップへのモチベーション

13. 13.

    3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす

14. 14.

    実行環境を用意・安定化

15. 15.

    Android apkビルド Google Cloud Storage

16. 16.

    Android

17. 17.

    Android クラウド実行環境 Others デバイス

18. 18.

    iOS iOS Simulator メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000

19. 19.

    テストレポートを充実させる

20. 20.

    マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

21. 21.

    マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

22. 22.

    マスター タイトルの書式設定 • マスター テキストの書式設定 Android(github.com/vbanthia/rspec_html_reporter)

23. 23.

    iOS(XCTestHTMLReport) メルカリiOSのUIテスト自動化をま るっとご紹介します！ https://tech.mercari.com/entr y/2018/08/07/123000

24. 24.

    調査・メンテナンスできる人を増やす

25. 25.

    QAとの協業 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • 一部スクリプト修正 •

    テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成
26. 26.

    None
27. 27.

    次のステップ 自動化エンジニア QA • 実行結果の確認・フィードバック • テストシナリオ作成・更新 • テストスクリプトの実装・修正 •

    テストスクリプトの実装・修正 • 実行環境の構築・整備 • ライブラリの作成
28. 28.

    Appium + RSpec + Turnip (Android) 自動化エンジニア QA • 実装しているシナリオの理解

    • 新規シナリオの作成 • 既存シナリオの修正 • Stepの作成 • サンプルのシナリオを提供 • シナリオを書くためのサポート
29. 29.

    github.com/tadashi0713/table_beet2

30. 30.

    QAがシナリオを書くためのサポート

31. 31.

    3つのポイント・改善 • 実行環境を用意・安定化 • テストレポートを充実させる • 調査・メンテナンスできる人を増やす + Automation, Karakuriしていく文化

32. 32.

    エンジニアの行動指針 Automation, Karakuri

33. 33.

    Automation (自動化) 本来すべきこと(コード・設計) に集中するため 機械になるべくやらせて、効率化させる 2度以上行なった作業は自動化の対象

34. 34.

    Karakuri (仕組み化) 問題が起きた時、気合いではなく、 人的エラーが起きない仕組みで解決する

35. 35.

    Automation, Karakuriしていく文化

36. 36.

    一発でパーフェクトなE2Eテストは作れない 自発的・継続的に Automation, Karakuriしていく文化