Игорь Балагуров — Инфраструктура тестирования для API-тестов на Python

Transcript

1. ibalagurov@ozon.ru, t.me/ibalagurov Инфраструктура API-тестов на Python Игорь Балагуров, руководитель тестирования Ozon Fintech
2. И почему меня нужно слушать? Кто я? 2 • Руковожу тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях
3. И почему меня нужно слушать? Кто я? 3 • Руковожу тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug
4. И почему меня нужно слушать? Кто я? 4 • Руковожу тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug • Уже рассказывал про Python • Heisenbug 2018 - Don’t repeat yourself: UI-тесты для веб, iOS и Android одновременно • Podlodka QA Crew - Бэкенд автотесты с нуля • QAASP - Подходы и Python инструментарий для тестирования API с пристрастием
5. И почему меня нужно слушать? Кто я? 5 • Руковожу тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug • Уже рассказывал про Python • Heisenbug 2018 - Don’t repeat yourself: UI-тесты для веб, iOS и Android одновременно • Podlodka QA Crew - Бэкенд автотесты с нуля • QAASP - Подходы и Python инструментарий для тестирования API с пристрастием • И не только: • Прошлогодний Ozon Tech QA Meetup • Инженерный vs Процессный подходы к тестированию
6. Банк Ozon На основе какого опыта 6 • Май 2021 - старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep
7. Банк Ozon На основе какого опыта 7 • Май 2021 - старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep
8. Банк Ozon На основе какого опыта 8 • Май 2021 - старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей • Март 2022 - новая банковская лицензия • Июль 2022 - запуск Ozon Карты * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep
9. Банк Ozon На основе какого опыта 9 • Май 2021 - старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей • Март 2022 - новая банковская лицензия • Июль 2022 - запуск Ozon Карты • Ноябрь 2022 • 10.7М+ пользователей Ozon Карты* • 100+ микросервисов • От 200 до 350 релизов в неделю * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep
10. Кому это будет интересно? Что сегодня будет? 10 • Это обзор
11. Кому это будет интересно? Что сегодня будет? 11 • Это обзор • Как устроен процесс тестирование
12. Кому это будет интересно? Что сегодня будет? 12 • Это обзор • Как устроен процесс тестирование • Какое место занимает автоматизация
13. Кому это будет интересно? Что сегодня будет? 13 • Это обзор • Как устроен процесс тестирование • Какое место занимает автоматизация • Какую роль в этом занимает Python и почему
14. Кому это будет интересно? Что сегодня будет? 14 • Это обзор • Как устроен процесс тестирование • Какое место занимает автоматизация • Какую роль в этом занимает Python и почему • Разберем проблемы, которые возникали по мере запусков продуктов Ozon Банка и их решения
15. Я бы рад, но… Дисклеймер • Ozon большой • Какие-то вещи могут быть сделаны по-другому 15
16. Я бы рад, но… Дисклеймер • Ozon большой • Какие-то вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? 16
17. Я бы рад, но… Дисклеймер • Ozon большой • Какие-то вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? • Банк Ozon живёт как стартап 17
18. Я бы рад, но… Дисклеймер • Ozon большой • Какие-то вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? • Банк Ozon живёт как стартап • А Ozon - это любящий родитель 18
19. банк ozon начало Контекст 19 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля
20. банк ozon начало Контекст 20 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод?
21. банк ozon начало Контекст 21 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре
22. банк ozon начало Контекст 22 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом?
23. банк ozon начало Контекст 23 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами…
24. банк ozon начало Контекст 24 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё?
25. банк ozon начало Контекст 25 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё? По максимуму и быстро-о-о-о
26. банк ozon начало Контекст 26 Игорь, у нас в апреле появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё? По максимуму и быстро-о-о-о Вы того?.. Я с вами!
27. А потому красив План прост • Продуктивность разработки и тестирования 27
28. А потому красив План прост • Продуктивность разработки и тестирования • Частые релизы 28
29. А потому красив План прост • Продуктивность разработки и тестирования • Частые релизы • Не ломать функциональность, которой уже пользуются 29
30. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком 30
31. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком • Quality Assistance 31
32. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты 32
33. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать 33
34. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать • Устранять конкретные ограничения 34
35. Что это значит для тестирования Частые релизы • Не быть бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать • Устранять конкретные ограничения • Кейс-решение 35
36. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо 36
37. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? 37
38. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? 38
39. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? 39
40. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? • Что будет через 5 минут? 40
41. При частых релизах Не ломать функциональность, которой уже пользуются • Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? • Что будет через 5 минут? • Роль автоматизации тестирования 41
42. Строительство пирамиды • Поймать баг в месте, где могут сломать 42 https://martinfowler.com/articles/microservice-testing/
43. Строительство пирамиды • Поймать баг в месте, где могут сломать • Быстрый фидбэк 43 https://martinfowler.com/articles/microservice-testing/
44. Строительство пирамиды • Поймать баг в месте, где могут сломать • Быстрый фидбэк • Так дешевле 44 https://martinfowler.com/articles/microservice-testing/
45. Строительство пирамиды • Поймать баг в месте, где могут сломать • Быстрый фидбэк • Так дешевле • Может не в моменте 45 https://martinfowler.com/articles/microservice-testing/
46. Строительство пирамиды • Поймать баг в месте, где могут сломать • Быстрый фидбэк • Так дешевле • Может не в моменте • Предотвращать баги 46 https://martinfowler.com/articles/microservice-testing/
47. Строительство пирамиды • Поймать баг в месте, где могут сломать • Быстрый фидбэк • Так дешевле • Может не в моменте • Предотвращать баги • Просто не пропускать в пайплайнах 47 https://martinfowler.com/articles/microservice-testing/
48. Стэк 48
49. Стэк 49
50. Стэк 50
51. Нативный cтэк для тестирования 51 Это как?
52. Нативный cтэк для тестирования 52 Это как? • Единые с разработкой • Язык
53. Нативный cтэк для тестирования 53 Это как? • Единые с разработкой • Язык • Репозиторий
54. Нативный cтэк для тестирования 54 Это как? • Единые с разработкой • Язык • Репозиторий • Пайплайн
55. Что делаем на Go • Естественно юнит тесты 55
56. Что делаем на Go • Естественно юнит тесты • Компонентные тесты на бэкенд 56
57. Что делаем на Go • Естественно юнит тесты • Компонентные тесты на бэкенд • Handler + DB 57
58. Что делаем на Go • Естественно юнит тесты • Компонентные тесты на бэкенд • Handler + DB • Внешние вызовы на моках 58
59. Что делаем на Go • Естественно юнит тесты • Компонентные тесты на бэкенд • Handler + DB • Внешние вызовы на моках • Stdlib 59
60. А ещё? Что делаем на Go • Пишем сервисы для тестирования 60
61. А ещё? Что делаем на Go • Пишем сервисы для тестирования • QA API (генерация тестовых данных) 61
62. А ещё? Что делаем на Go • Пишем сервисы для тестирования • QA API (генерация тестовых данных) • Сервисы-моки 62
63. А ещё? Что делаем на Go • Пишем сервисы для тестирования • QA API (генерация тестовых данных) • Сервисы-моки • Покрытие юнитами и компонентными 63
64. А ещё? Что делаем на Go • Пишем сервисы для тестирования • QA API (генерация тестовых данных) • Сервисы-моки • Покрытие юнитами и компонентными • Нагрузка • Pandora 64
65. Резюмируем Что делаем на Go • Следим за пирамидой • Юнит тесты • Компонентные тесты • Смотрим на покрытие 65
66. Резюмируем Что делаем на Go • Следим за пирамидой • Юнит тесты • Компонентные тесты • Смотрим на покрытие • Помогаем эффективно тестировать • Генерация тестовых данных • Сервисы-моки • Прочие сервисы для тестирования 66
67. Резюмируем Что делаем на Go • Следим за пирамидой • Юнит тесты • Компонентные тесты • Смотрим на покрытие • Помогаем эффективно тестировать • Генерация тестовых данных • Сервисы-моки • Прочие сервисы для тестирования • Нагрузка 67
68. Что делаем на TypeScript • Пишем тесты на фронт 68
69. Что делаем на TypeScript • Пишем тесты на фронт • На моках бэкенда 69
70. Что делаем на TypeScript • Пишем тесты на фронт • На моках бэкенда • Playwright 70
71. Что делаем на TypeScript • Пишем тесты на фронт • На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit 71
72. Что делаем на TypeScript • Пишем тесты на фронт • На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit • Mobile web 72
73. Что делаем на TypeScript • Пишем тесты на фронт • На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit • Mobile web • Web view 73
74. Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные фичи 74
75. Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные фичи • Идём в сторону моков 75
76. Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные фичи • Идём в сторону моков • Много web view 76
77. Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные фичи • Идём в сторону моков • Много web view • Python + Appium 77
78. Нативный cтэк 78 Что получилось? • Тесты быстрые
79. Нативный cтэк 79 Что получилось? • Тесты быстрые • До 5 минут, веб
80. Нативный cтэк 80 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее
81. Нативный cтэк 81 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой
82. Нативный cтэк 82 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные
83. Нативный cтэк 83 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн
84. Нативный cтэк 84 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб
85. Нативный cтэк 85 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб • Разработка пишет пишет\поддерживает основную 90% тестов
86. Нативный cтэк 86 Что получилось? • Тесты быстрые • До 5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб • Разработка пишет пишет\поддерживает основную 90% тестов • В MR’ах
87. Зачем? 87
88. Зачем??? 88
89. Что забыли? Чего не хватает? 89
90. Что забыли? Чего не хватает? 90 • Микросервисы протестировали все отдельно
91. Что забыли? Чего не хватает? 91 • Микросервисы протестировали все отдельно • А бэкенд в сборе? • Веб протестировали отдельно
92. Что забыли? Чего не хватает? 92 • Микросервисы протестировали все отдельно • А бэкенд в сборе? • Веб протестировали отдельно • А вместе с бэкендом? • А моки обновить?
93. Что забыли? Чего не хватает? 93 • Микросервисы протестировали все отдельно • А бэкенд в сборе? • Веб протестировали отдельно • А вместе с бэкендом? • А моки обновить? • А мобилку не сломать?
94. Бэкенд в сборе Что делаем на Python 94
95. Бэкенд в сборе Что делаем на Python • E2E API тесты 95
96. Бэкенд в сборе Что делаем на Python • E2E API тесты • Пользовательские сценарии, но на уровне API 96
97. Бэкенд в сборе Что делаем на Python • E2E API тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI 97
98. Бэкенд в сборе Что делаем на Python • E2E API тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI • Проверяем по максимуму через REST, если не хотим протягивать - то идём в gRPC 98
99. Бэкенд в сборе Что делаем на Python • E2E API тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI • Проверяем по максимуму через REST, если не хотим протягивать - то идём в gRPC • Принципиально не ходим в базу 99
100. Вместе с вебом? Что делаем на Python • E2E API тесты 100
101. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов 101
102. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов • Cerberus 102
103. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: 103
104. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты 104
105. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты • Договорились бэк и фронт 105
106. Вместе с вебом? Что делаем на Python • E2E API тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты • Договорились бэк и фронт • Обновили тесты 106
107. Так просто? E2E API тесты на Python 107
108. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты 108
109. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) 109
110. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? 110
111. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? 111
112. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим 112
113. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты 113
114. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты • Е2Е Web UI вместе с бэкендом? 114
115. Так просто? E2E API тесты на Python • Мы планировали начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты • Е2Е Web UI вместе с бэкендом? • Пока выглядит, что обновлять схемы менее накладно 115
116. Не так просто E2E API тесты на Python 116
117. Не так просто E2E API тесты на Python • Отдельный репозиторий 117
118. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов 118
119. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт 119
120. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform 120
121. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит 121
122. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит • Можно поменять что-то из инфры вместе с тестами 122
123. Не так просто E2E API тесты на Python • Отдельный репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит • Можно поменять что-то из инфры вместе с тестами • Нет недопонимания между core и product QA 123
124. Не так просто E2E API тесты на Python 124
125. Не так просто E2E API тесты на Python • CI 125
126. Не так просто E2E API тесты на Python • CI • GitLab 126
127. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline 127
128. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров 128
129. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров • Resource group 129
130. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты 130
131. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость 131
132. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость • Долго 132
133. Не так просто E2E API тесты на Python • CI • GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость • Долго • Тесты сценарные, меняем редко 133
134. Но почему Python??? E2E API тесты на Python 134
135. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий 135
136. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм 136
137. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение 137
138. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение • Stdlib 138
139. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки 139
140. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов 140
141. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов • Отсутствие типизации? 141
142. Но почему Python??? E2E API тесты на Python • Отдельный репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов • Отсутствие типизации? • Отсутствие компиляции 142
143. Процессы вокруг E2E API тестов 143
144. Testability Процессы 144
145. Testability Процессы 145 • QA Kick-off для новой фичи
146. Testability Процессы 146 • QA Kick-off для новой фичи • Опора на пользовательские сценарии
147. Testability Процессы 147 • QA Kick-off для новой фичи • Опора на пользовательские сценарии • Генерация тестовых данных
148. Testability Процессы 148 • QA Kick-off для новой фичи • Опора на пользовательские сценарии • Генерация тестовых данных • Моки
149. Testability Процессы 149 • QA Kick-off для новой фичи • Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже
150. Testability Процессы 150 • QA Kick-off для новой фичи • Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже • Для техдолга аналогично, просто чуть больнее
151. Testability Процессы 151 • QA Kick-off для новой фичи • Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже • Для техдолга аналогично, просто чуть больнее • Коммуникация со смежными QA командами
152. Работа над стабильностью Процессы 152
153. Работа над стабильностью Процессы 153 • Падающий E2E тест
154. Работа над стабильностью Процессы 154 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов
155. Работа над стабильностью Процессы 155 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов • Дежурства
156. Работа над стабильностью Процессы 156 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов • Дежурства • Чиним
157. Работа над стабильностью Процессы 157 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так
158. Работа над стабильностью Процессы 158 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так • Если что-то пропустили на стейджинг
159. Работа над стабильностью Процессы 159 • Падающий E2E тест • Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так • Если что-то пропустили на стейджинг • Призываем дежурных из ответственной команды
160. В нашей версии Кто такой QA инженер, использующий Python 160 • Тестировщик • Автоматизатор • Немного менеджер
161. Очевидные вещи 161
162. Не буду сильно останавливаться Очевидные вещи 162
163. Не буду сильно останавливаться Очевидные вещи 163 • Для стабильных\быстрых тестов:
164. Не буду сильно останавливаться Очевидные вещи 164 • Для стабильных\быстрых тестов: • Независимые данные
165. Не буду сильно останавливаться Очевидные вещи 165 • Для стабильных\быстрых тестов: • Независимые данные • QA API
166. Не буду сильно останавливаться Очевидные вещи 166 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep
167. Не буду сильно останавливаться Очевидные вещи 167 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг
168. Не буду сильно останавливаться Очевидные вещи 168 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности
169. Не буду сильно останавливаться Очевидные вещи 169 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные
170. Не буду сильно останавливаться Очевидные вещи 170 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались
171. Не буду сильно останавливаться Очевидные вещи 171 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями
172. Не буду сильно останавливаться Очевидные вещи 172 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями • Чтобы все могли страдать-чинить
173. Не буду сильно останавливаться Очевидные вещи 173 • Для стабильных\быстрых тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями • Чтобы все могли страдать-чинить • И делать приложение лучше
174. Как быстрее запускать тесты 174
175. Нужно больше процессов Быстрее 175 • pytest-xdist
176. Нужно больше процессов Быстрее 176 • pytest-xdist • Побольше процессов
177. Нужно больше процессов Быстрее 177 • pytest-xdist • Побольше процессов • Pro fi t!
178. Нужно больше процессов Быстрее 178 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё?
179. Нужно больше процессов Быстрее 179 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё? • pytest-parallel
180. Нужно больше процессов Быстрее 180 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async
181. Нужно больше процессов Быстрее 181 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста
182. Нужно больше процессов Быстрее 182 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста • На синтетике +20% к скорости
183. Нужно больше процессов Быстрее 183 • pytest-xdist • Побольше процессов • Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста • На синтетике +20% к скорости • Держим в уме, вернёмся
184. Что-то упало… 184
185. И почему? Что упало? 185 • Allure
186. И почему? Что упало? 186 • Allure • GitLab, нет плагина
187. И почему? Что упало? 187 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка
188. И почему? Что упало? 188 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps
189. И почему? Что упало? 189 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов
190. И почему? Что упало? 190 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ
191. И почему? Что упало? 191 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl
192. И почему? Что упало? 192 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id
193. И почему? Что упало? 193 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id • Ссылки на системы с логами
194. И почему? Что упало? 194 • Allure • GitLab, нет плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id • Ссылки на системы с логами • Всё чтобы могли разобраться без QA инженеров
195. Внешняя конфигурация для тестов 195
196. Зачем? Внешняя конфигурация 196
197. Зачем? Внешняя конфигурация 197 • Стейдж перестал справляться
198. Зачем? Внешняя конфигурация 198 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать
199. Зачем? Внешняя конфигурация 199 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать • Работы на стейджинге
200. Зачем? Внешняя конфигурация 200 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации
201. Зачем? Внешняя конфигурация 201 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure
202. Зачем? Внешняя конфигурация 202 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure • Особенности GitLab multi-project pipeline
203. Зачем? Внешняя конфигурация 203 • Стейдж перестал справляться • Отдельные ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure • Особенности GitLab multi-project pipeline • И т.д.
204. Как запускать только то, что надо 204
205. Разметка тестов Запускать то, что надо 205 • Pytest mark
206. Разметка тестов Запускать то, что надо 206 • Pytest mark • Переменная с именем репозитория
207. Разметка тестов Запускать то, что надо 207 • Pytest mark • Переменная с именем репозитория • Словарь: репозиторий - марки
208. Разметка тестов Запускать то, что надо 208 • Pytest mark • Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t!
209. Разметка тестов Запускать то, что надо 209 • Pytest mark • Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t! • Супер очевидно
210. Разметка тестов Запускать то, что надо 210 • Pytest mark • Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t! • Супер очевидно • Ещё вернёмся
211. Хочется побыстрее 211
212. Больше потоков уже добавляли Хочется побыстрее 212 • Смотрим Allure Timeline
213. Больше потоков уже добавляли Хочется побыстрее 213 • Смотрим Allure Timeline • Видим хвост
214. Больше потоков уже добавляли Хочется побыстрее 214 • Смотрим Allure Timeline • Видим хвост • Иногда - это 50% и больше времени прогона
215. Что сделали? Хочется побыстрее 215 • Сервис =)
216. Что сделали? Хочется побыстрее 216 • Сервис =) • С фоновой джобой, которая забирает из Allure длительность тестов
217. Что сделали? Хочется побыстрее 217 • Сервис =) • С фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста
218. Что сделали? Хочется побыстрее 218 • Сервис =) • С фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems
219. Что сделали? Хочется побыстрее 219 • Сервис =) • С фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems • Отсортировали предварительно тесты
220. Что сделали? Хочется побыстрее 220 • Сервис =) • С фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems • Отсортировали предварительно тесты
221. Что получилось? Хочется побыстрее 221
222. Как это работает? Хочется побыстрее 222
223. Как это работает? Хочется побыстрее 223 • В начале берутся самые долгие тесты
224. Как это работает? Хочется побыстрее 224 • В начале берутся самые долгие тесты • Они раскладываются параллельно
225. Как это работает? Хочется побыстрее 225 • В начале берутся самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно
226. Как это работает? Хочется побыстрее 226 • В начале берутся самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов
227. Как это работает? Хочется побыстрее 227 • В начале берутся самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов • Но в одном остались тесты по 1 секунде
228. Как это работает? Хочется побыстрее 228 • В начале берутся самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов • Но в одном остались тесты по 1 секунде • А в другом по 20 секунд
229. Что дало? Хочется побыстрее 229
230. Что дало? Хочется побыстрее 230 • 30-40% ускорения в 80% пайплайнов
231. Что дало? Хочется побыстрее 231 • 30-40% ускорения в 80% пайплайнов • Более предсказуемое время выполнения тестов
232. Только то, что надо, дубль 2 232
233. В чём проблема Только то, что надо, дубль 2 233
234. В чём проблема Только то, что надо, дубль 2 234 • Ручная разметка марками тестов устаревает
235. В чём проблема Только то, что надо, дубль 2 235 • Ручная разметка марками тестов устаревает • Разметить 1000+ тестов по 100 сервисам и поддерживать дорого
236. В чём проблема Только то, что надо, дубль 2 236 • Ручная разметка марками тестов устаревает • Разметить 1000+ тестов по 100 сервисам и поддерживать дорого • Можно ли как-то это автоматизировать?
237. Идея Только то, что надо, дубль 2 237
238. Идея Только то, что надо, дубль 2 238 • У нас же есть трейсы
239. Идея Только то, что надо, дубль 2 239 • У нас же есть трейсы * https://habr.com/ru/company/ozontech/blog/708274/
240. Концепция Только то, что надо, дубль 2 240
241. Концепция Только то, что надо, дубль 2 241 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов
242. Концепция Только то, что надо, дубль 2 242 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста
243. Концепция Только то, что надо, дубль 2 243 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API
244. Концепция Только то, что надо, дубль 2 244 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест
245. Концепция Только то, что надо, дубль 2 245 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы
246. Концепция Только то, что надо, дубль 2 246 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы • Перед запуском тестов идём с именем сервиса, для которого хотим запустить тесты
247. Концепция Только то, что надо, дубль 2 247 • Добавляем джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы • Перед запуском тестов идём с именем сервиса, для которого хотим запустить тесты • Запускаем только то, что действительно надо
248. Edge cases Только то, что надо, дубль 2 248
249. Edge cases Только то, что надо, дубль 2 249 • Появился новый тест, который не отдал сервис
250. Edge cases Только то, что надо, дубль 2 250 • Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов
251. Edge cases Только то, что надо, дубль 2 251 • Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов • Отключить на время
252. Edge cases Только то, что надо, дубль 2 252 • Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов • Отключить на время • Асинхронное взаимодействие
253. Реализация Только то, что надо, дубль 2 253
254. Реализация Только то, что надо, дубль 2 254 • Получили список тестов
255. Реализация Только то, что надо, дубль 2 255 • Получили список тестов • Pytest хук pytest_collection_modifyitems
256. Реализация Только то, что надо, дубль 2 256 • Получили список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched)
257. Реализация Только то, что надо, дубль 2 257 • Получили список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно
258. Реализация Только то, что надо, дубль 2 258 • Получили список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки
259. Реализация Только то, что надо, дубль 2 259 • Получили список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки • Например, форсированные ручные
260. Реализация Только то, что надо, дубль 2 260 • Получили список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки • Например, форсированные ручные • Запустить
261. Что получили Только то, что надо, дубль 2 261
262. Что получили Только то, что надо, дубль 2 262 • В половине сервисов уменьшили количество тестов в 2 раза и более
263. Что получили Только то, что надо, дубль 2 263 • В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность
264. Что получили Только то, что надо, дубль 2 264 • В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность • Не тратим время на обновление марок
265. Что получили Только то, что надо, дубль 2 265 • В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность • Не тратим время на обновление марок
266. Подходы 266
267. Технические мелочи Подходы 267 • 10% упавших тестов - роняет джобу
268. Технические мелочи Подходы 268 • 10% упавших тестов - роняет джобу • Таймаут на джобу 20 минут
269. Технические мелочи Подходы 269 • 10% упавших тестов - роняет джобу • Таймаут на джобу 20 минут • Есть возможность запустить только упавшие\незапустившиеся тесты из джобы
270. Технические мелочи Подходы 270 • 10% упавших тестов - роняет джобу • Таймаут на джобу 20 минут • Есть возможность запустить только упавшие\незапустившиеся тесты из джобы • Быстрая обратная связь
271. Что получилось? 271 • Ноябрь 2022 Банк Ozon
272. Что получилось? 272 • Ноябрь 2022 Банк Ozon • 100+ микросервисов
273. Что получилось? 273 • Ноябрь 2022 Банк Ozon • 100+ микросервисов • 100+ разработчиков
274. Что получилось? 274 • Ноябрь 2022 Банк Ozon • 100+ микросервисов • 100+ разработчиков • Стали делать от 200 до 350 релизов в неделю
275. Что получилось? 275 • Ноябрь 2022 Банк Ozon • 100+ микросервисов • 100+ разработчиков • Стали делать от 200 до 350 релизов в неделю • E2E API тесты запускаются до 100 раз в день
276. Процесс местами сложнее, чем техническая реализация Сложности 276
277. Процесс местами сложнее, чем техническая реализация Сложности 277 • Надо погрузить команду
278. Процесс местами сложнее, чем техническая реализация Сложности 278 • Надо погрузить команду • Люди привыкают дольше железок
279. Процесс местами сложнее, чем техническая реализация Сложности 279 • Надо погрузить команду • Люди привыкают дольше железок • Не типично
280. Процесс местами сложнее, чем техническая реализация Сложности 280 • Надо погрузить команду • Люди привыкают дольше железок • Не типично • Дежурные QA инженеры
281. Процесс местами сложнее, чем техническая реализация Сложности 281 • Надо погрузить команду • Люди привыкают дольше железок • Не типично • Дежурные QA инженеры • Любой дежурный - это узкое место
282. Выводы 282
283. Выводы 283 • Разработка - наши главные заказчики
284. Выводы 284 • Разработка - наши главные заказчики • Все инфраструктурные задачи мы делаем, чтобы:
285. Выводы 285 • Разработка - наши главные заказчики • Все инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков
286. Выводы 286 • Разработка - наши главные заказчики • Все инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы
287. Выводы 287 • Разработка - наши главные заказчики • Все инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы • В пятницу вечером увидеть зелёные тесты и не бояться
288. Выводы 288 • Разработка - наши главные заказчики • Все инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы • В пятницу вечером увидеть зелёные тесты и не бояться • Хотя бы за регресс =)
289. t.me/ibalagurov Спасибо за внимание job.ozon.ru t.me/Maksimseva ibalagurov@ozon.ru