メルカリのテスト自動化戦略

AQA POP TALK #2 〜マニュアルテスト VS 自動テストの巻〜 ＠博多
https://mercari.connpass.com/event/101122/

Transcript

1. メルカリのテスト自動化戦略
   

   View Slide

2. Caution
   テスト自動化戦略ほどの
   大それた内容は話しません
   

   View Slide

3. Caution
   私がAutomationエンジニアとして
   推進してきた経験と現状から
   お話できればと思います
   

   View Slide

4. 自己紹介
   • 根本 征(Nemoto Tadashi)
   • Automation & QA (AQA) Group
   • テスト自動化
   • Selenium, Appium, XCUITest, Espresso
   • モバイルCI / CD改善
   • 社内の生産性を上げるための自動化・サポート
   • https://seleck.cc/1230
   • 自称 Zapierエバンジェリスト
   

   View Slide

5. メルカリのテスト自動化について
   聞いてみたいです
   

   View Slide

6. ギリギリまで公開しています
   https://tech.mercari.com
   Automation & QA (AQA)タグ
   

   View Slide

7. ここでは現状をざっくりご紹介
   (詳しく聞きたい方はお話しましょう)
   

   View Slide

8. メルカリアプリ(JP版)
   

   View Slide

9. QAと一緒にE2Eテスト自動化を推進し
   1年以上メンテナンス・改善をしている
   

   View Slide

10. 自動テスト実行タイミング
    • リリース前
    • 毎日
    • QAが実行したい時
    

    View Slide

11. iOS
    テスト実行
    XCUITest
    

    View Slide

12. iOS(XCTestHTMLReport)
    メルカリiOSのUIテスト自動化をま
    るっとご紹介します！
    https://tech.mercari.com/entr
    y/2018/08/07/123000
    

    View Slide

13. https://speakerdeck.com/tadashi0713/appiumkaraxcuitestnib
    ian-e-sofalsetameniswiftwoxue-bishi-metahua
    当時XCUITestを使い始めた話はこちら
    

    View Slide

14. Android
    apkビルド
    Google Cloud
    Storage
    

    View Slide

15. Android
    テスト実行
    Appium
    

    View Slide

16. Android(RSpec HTML Reporter)
    

    View Slide

17. Android(RSpec HTML Reporter)
    

    View Slide

18. Android(RSpec HTML Reporter)
    

    View Slide

19. View Slide

20. View Slide

21. View Slide

22. View Slide

23. 綺麗めの話おわり
    

    View Slide

24. 泥臭い話
    

    View Slide

25. Point
    認知と巻き込み
    経験してみないとわからない
    

    View Slide

26. My Career
    Webエンジニア
    SET(Software Engineer in Test)
    Automation Engineer
    

    View Slide

27. US App
    

    View Slide

28. US App
    

    View Slide

29. 認知と巻き込みの重要性
    

    View Slide

30. 全員自動化
    

    View Slide

31. 全員自動化
    ≠
    全員自動テスト書いてください
    

    View Slide

32. 全員自動化
    =
    全員が自動テストに関わっていく
    

    View Slide

33. QAとの協業
    自動化エンジニア QA
    ● 実行結果の確認・フィードバック
    ● テストシナリオ作成・更新
    ● 一部スクリプト修正
    ● テストスクリプトの実装・修正
    ● 実行環境の構築・整備
    ● ライブラリの作成
    

    View Slide

34. 次のステップ
    自動化エンジニア QA
    ● 実行結果の確認・フィードバック
    ● テストシナリオ作成・更新
    ● テストスクリプトの実装・修正
    ● テストスクリプトの実装・修正
    ● 実行環境の構築・整備
    ● ライブラリの作成
    

    View Slide

35. Appium + RSpec + Turnip (Android)
    自動化エンジニア QA
    ● 実装しているシナリオの理解
    ● 新規シナリオの作成
    ● 既存シナリオの修正
    ● Stepの作成
    ● サンプルのシナリオを提供
    ● シナリオを書くためのサポート
    

    View Slide

36. View Slide

37. View Slide

38. QAがシナリオを書くためのサポート
    

    View Slide

39. 自動テストを
    共有できる部分を増やす
    

    View Slide

40. View Slide

41. View Slide

42. 経験してみないとわからない
    

    View Slide

43. どういうことが自動化できるのか
    メンテナンスコスト・不安定になる原因
    メンテナンスできなくなったら一瞬で終わる
    などなどなど
    

    View Slide

44. 経験してみないとわからない
    

    View Slide

45. Robotic Process Automation(RPA)
    

    View Slide

46. どういうことが自動化できるのか
    得意なところ不得意なところ
    本来はシステムで解決すべき
    運用問題
    

    View Slide

47. 経験してみないとわからない
    

    View Slide

48. 経験して、より前に進んでいくための
    テスト自動化
    

    View Slide

49. Point
    認知と巻き込み
    経験してみないとわからない
    

    View Slide

50. スピードと品質を両立し
    すべての人に最高のサービスを提供する
    Speed & Quality
    

    View Slide