Share
Embed
Transcript
289 slides
-
И почему меня нужно слушать? Кто я? 2 • Руковожу
тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях -
И почему меня нужно слушать? Кто я? 3 • Руковожу
тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug -
И почему меня нужно слушать? Кто я? 4 • Руковожу
тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug • Уже рассказывал про Python • Heisenbug 2018 - Don’t repeat yourself: UI-тесты для веб, iOS и Android одновременно • Podlodka QA Crew - Бэкенд автотесты с нуля • QAASP - Подходы и Python инструментарий для тестирования API с пристрастием -
И почему меня нужно слушать? Кто я? 5 • Руковожу
тестированием в Ozon Fintech • Работал в небольших стартапах и разного размера продуктовых компаниях • ПК Heisenbug • Уже рассказывал про Python • Heisenbug 2018 - Don’t repeat yourself: UI-тесты для веб, iOS и Android одновременно • Podlodka QA Crew - Бэкенд автотесты с нуля • QAASP - Подходы и Python инструментарий для тестирования API с пристрастием • И не только: • Прошлогодний Ozon Tech QA Meetup • Инженерный vs Процессный подходы к тестированию -
Банк Ozon На основе какого опыта 6 • Май 2021
- старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep -
Банк Ozon На основе какого опыта 7 • Май 2021
- старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep -
Банк Ozon На основе какого опыта 8 • Май 2021
- старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей • Март 2022 - новая банковская лицензия • Июль 2022 - запуск Ozon Карты * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep -
Банк Ozon На основе какого опыта 9 • Май 2021
- старт разработки • Июль 2021 - первый QA инженер • Ноябрь 2021 - выход в прод с Ozon Счёт • Январь 2022 - 1M+ пользователей • Март 2022 - новая банковская лицензия • Июль 2022 - запуск Ozon Карты • Ноябрь 2022 • 10.7М+ пользователей Ozon Карты* • 100+ микросервисов • От 200 до 350 релизов в неделю * https://corp.ozon.com/tpost/zmv8ylh991-ozon-launches-banking-service-for-entrep -
Кому это будет интересно? Что сегодня будет? 11 • Это
обзор • Как устроен процесс тестирование -
Кому это будет интересно? Что сегодня будет? 12 • Это
обзор • Как устроен процесс тестирование • Какое место занимает автоматизация -
Кому это будет интересно? Что сегодня будет? 13 • Это
обзор • Как устроен процесс тестирование • Какое место занимает автоматизация • Какую роль в этом занимает Python и почему -
Кому это будет интересно? Что сегодня будет? 14 • Это
обзор • Как устроен процесс тестирование • Какое место занимает автоматизация • Какую роль в этом занимает Python и почему • Разберем проблемы, которые возникали по мере запусков продуктов Ozon Банка и их решения -
Я бы рад, но… Дисклеймер • Ozon большой • Какие-то
вещи могут быть сделаны по-другому 15 -
Я бы рад, но… Дисклеймер • Ozon большой • Какие-то
вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? 16 -
Я бы рад, но… Дисклеймер • Ozon большой • Какие-то
вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? • Банк Ozon живёт как стартап 17 -
Я бы рад, но… Дисклеймер • Ozon большой • Какие-то
вещи могут быть сделаны по-другому • Завтра станет обязательно ещё больше и лучше • Платформа? • Банк Ozon живёт как стартап • А Ozon - это любящий родитель 18 -
банк ozon начало Контекст 19 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля -
банк ozon начало Контекст 20 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? -
банк ozon начало Контекст 21 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре -
банк ozon начало Контекст 22 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? -
банк ozon начало Контекст 23 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… -
банк ozon начало Контекст 24 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё? -
банк ozon начало Контекст 25 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё? По максимуму и быстро-о-о-о -
банк ozon начало Контекст 26 Игорь, у нас в апреле
появился банк, первые разработчики в мае, там нет ничего, мы хотим всё написать с нуля Когда хотите в прод? В ноябре Каким образом? Быстро нанимаем, пишем, покрываем автотестами… Прям всё? По максимуму и быстро-о-о-о Вы того?.. Я с вами! -
А потому красив План прост • Продуктивность разработки и тестирования
• Частые релизы 28 -
А потому красив План прост • Продуктивность разработки и тестирования
• Частые релизы • Не ломать функциональность, которой уже пользуются 29 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком 30 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком • Quality Assistance 31 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты 32 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать 33 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать • Устранять конкретные ограничения 34 -
Что это значит для тестирования Частые релизы • Не быть
бутылочным горлышком • Quality Assistance • Кейсы • Пирамида • Инструменты • Инфраструктура должна помогать • Устранять конкретные ограничения • Кейс-решение 35 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо 36 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? 37 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? 38 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? 39 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? • Что будет через 5 минут? 40 -
При частых релизах Не ломать функциональность, которой уже пользуются •
Микросервисы релизятся независимо • Ручное тестирование силами QA инженеров? • Ручное тестирование силами остальной команды? • Обновлять тест кейсы? • Что будет через 5 минут? • Роль автоматизации тестирования 41 -
Строительство пирамиды • Поймать баг в месте, где могут сломать
42 https://martinfowler.com/articles/microservice-testing/ -
Строительство пирамиды • Поймать баг в месте, где могут сломать
• Быстрый фидбэк 43 https://martinfowler.com/articles/microservice-testing/ -
Строительство пирамиды • Поймать баг в месте, где могут сломать
• Быстрый фидбэк • Так дешевле 44 https://martinfowler.com/articles/microservice-testing/ -
Строительство пирамиды • Поймать баг в месте, где могут сломать
• Быстрый фидбэк • Так дешевле • Может не в моменте 45 https://martinfowler.com/articles/microservice-testing/ -
Строительство пирамиды • Поймать баг в месте, где могут сломать
• Быстрый фидбэк • Так дешевле • Может не в моменте • Предотвращать баги 46 https://martinfowler.com/articles/microservice-testing/ -
Строительство пирамиды • Поймать баг в месте, где могут сломать
• Быстрый фидбэк • Так дешевле • Может не в моменте • Предотвращать баги • Просто не пропускать в пайплайнах 47 https://martinfowler.com/articles/microservice-testing/ -
Нативный cтэк для тестирования 52 Это как? • Единые с
разработкой • Язык -
Нативный cтэк для тестирования 53 Это как? • Единые с
разработкой • Язык • Репозиторий -
Нативный cтэк для тестирования 54 Это как? • Единые с
разработкой • Язык • Репозиторий • Пайплайн -
Что делаем на Go • Естественно юнит тесты • Компонентные
тесты на бэкенд 56 -
Что делаем на Go • Естественно юнит тесты • Компонентные
тесты на бэкенд • Handler + DB 57 -
Что делаем на Go • Естественно юнит тесты • Компонентные
тесты на бэкенд • Handler + DB • Внешние вызовы на моках 58 -
Что делаем на Go • Естественно юнит тесты • Компонентные
тесты на бэкенд • Handler + DB • Внешние вызовы на моках • Stdlib 59 -
А ещё? Что делаем на Go • Пишем сервисы для
тестирования 60 -
А ещё? Что делаем на Go • Пишем сервисы для
тестирования • QA API (генерация тестовых данных) 61 -
А ещё? Что делаем на Go • Пишем сервисы для
тестирования • QA API (генерация тестовых данных) • Сервисы-моки 62 -
А ещё? Что делаем на Go • Пишем сервисы для
тестирования • QA API (генерация тестовых данных) • Сервисы-моки • Покрытие юнитами и компонентными 63 -
А ещё? Что делаем на Go • Пишем сервисы для
тестирования • QA API (генерация тестовых данных) • Сервисы-моки • Покрытие юнитами и компонентными • Нагрузка • Pandora 64 -
Резюмируем Что делаем на Go • Следим за пирамидой •
Юнит тесты • Компонентные тесты • Смотрим на покрытие 65 -
Резюмируем Что делаем на Go • Следим за пирамидой •
Юнит тесты • Компонентные тесты • Смотрим на покрытие • Помогаем эффективно тестировать • Генерация тестовых данных • Сервисы-моки • Прочие сервисы для тестирования 66 -
Резюмируем Что делаем на Go • Следим за пирамидой •
Юнит тесты • Компонентные тесты • Смотрим на покрытие • Помогаем эффективно тестировать • Генерация тестовых данных • Сервисы-моки • Прочие сервисы для тестирования • Нагрузка 67 -
Что делаем на TypeScript • Пишем тесты на фронт •
На моках бэкенда 69 -
Что делаем на TypeScript • Пишем тесты на фронт •
На моках бэкенда • Playwright 70 -
Что делаем на TypeScript • Пишем тесты на фронт •
На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit 71 -
Что делаем на TypeScript • Пишем тесты на фронт •
На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit • Mobile web 72 -
Что делаем на TypeScript • Пишем тесты на фронт •
На моках бэкенда • Playwright • 3 основных браузерных движка • Chromium • Gecko • Webkit • Mobile web • Web view 73 -
Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные
фичи • Идём в сторону моков 75 -
Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные
фичи • Идём в сторону моков • Много web view 76 -
Отдельные приложения Android + iOS • Kaspresso, XCTest • Нативные
фичи • Идём в сторону моков • Много web view • Python + Appium 77 -
Нативный cтэк 80 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее -
Нативный cтэк 81 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой -
Нативный cтэк 82 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные -
Нативный cтэк 83 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн -
Нативный cтэк 84 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб -
Нативный cтэк 85 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб • Разработка пишет пишет\поддерживает основную 90% тестов -
Нативный cтэк 86 Что получилось? • Тесты быстрые • До
5 минут, веб • Бэк ещё быстрее • С мобилками сложнее-дольше • Но и релизный цикл другой • Стабильные • Бэк и веб блокируют пайплайн • Да, и веб • Разработка пишет пишет\поддерживает основную 90% тестов • В MR’ах -
Что забыли? Чего не хватает? 91 • Микросервисы протестировали все
отдельно • А бэкенд в сборе? • Веб протестировали отдельно -
Что забыли? Чего не хватает? 92 • Микросервисы протестировали все
отдельно • А бэкенд в сборе? • Веб протестировали отдельно • А вместе с бэкендом? • А моки обновить? -
Что забыли? Чего не хватает? 93 • Микросервисы протестировали все
отдельно • А бэкенд в сборе? • Веб протестировали отдельно • А вместе с бэкендом? • А моки обновить? • А мобилку не сломать? -
Бэкенд в сборе Что делаем на Python • E2E API
тесты • Пользовательские сценарии, но на уровне API 96 -
Бэкенд в сборе Что делаем на Python • E2E API
тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI 97 -
Бэкенд в сборе Что делаем на Python • E2E API
тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI • Проверяем по максимуму через REST, если не хотим протягивать - то идём в gRPC 98 -
Бэкенд в сборе Что делаем на Python • E2E API
тесты • Пользовательские сценарии, но на уровне API • Используем REST API, который использует web UI • Проверяем по максимуму через REST, если не хотим протягивать - то идём в gRPC • Принципиально не ходим в базу 99 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов 101 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов • Cerberus 102 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: 103 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты 104 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты • Договорились бэк и фронт 105 -
Вместе с вебом? Что делаем на Python • E2E API
тесты • Схемы ответов • Cerberus • Обратно несовместимое изменение: • Упали тесты • Договорились бэк и фронт • Обновили тесты 106 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты 108 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) 109 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? 110 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? 111 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим 112 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты 113 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты • Е2Е Web UI вместе с бэкендом? 114 -
Так просто? E2E API тесты на Python • Мы планировали
начать писать ещё какие-то тесты • Но пока не пришлось =) • Может нам повезло? • Много бэкенда? • На что смотрим • Контрактные тесты • Е2Е Web UI вместе с бэкендом? • Пока выглядит, что обновлять схемы менее накладно 115 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий 117 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов 118 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт 119 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform 120 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит 121 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит • Можно поменять что-то из инфры вместе с тестами 122 -
Не так просто E2E API тесты на Python • Отдельный
репозиторий • Любой сценарий затрагивает N сервисов • Один большой продукт • Когда-то выделим core\platform • Пока не болит • Можно поменять что-то из инфры вместе с тестами • Нет недопонимания между core и product QA 123 -
Не так просто E2E API тесты на Python • CI
• GitLab 126 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline 127 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров 128 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров • Resource group 129 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты 130 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость 131 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость • Долго 132 -
Не так просто E2E API тесты на Python • CI
• GitLab • Multi-project pipeline • Много триггеров • Resource group • Нельзя поменять в одном MR и код и тесты • Обратная совместимость • Долго • Тесты сценарные, меняем редко 133 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий 135 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм 136 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение 137 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение • Stdlib 138 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки 139 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов 140 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов • Отсутствие типизации? 141 -
Но почему Python??? E2E API тесты на Python • Отдельный
репозиторий • Найм • Обучение • Stdlib • Внешние библиотеки • Скорость написания тестов • Отсутствие типизации? • Отсутствие компиляции 142 -
Testability Процессы 146 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии -
Testability Процессы 147 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии • Генерация тестовых данных -
Testability Процессы 148 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии • Генерация тестовых данных • Моки -
Testability Процессы 149 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже -
Testability Процессы 150 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже • Для техдолга аналогично, просто чуть больнее -
Testability Процессы 151 • QA Kick-off для новой фичи •
Опора на пользовательские сценарии • Генерация тестовых данных • Моки • E2E - только то, что не поймать уровнями ниже • Для техдолга аналогично, просто чуть больнее • Коммуникация со смежными QA командами -
Работа над стабильностью Процессы 154 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов -
Работа над стабильностью Процессы 155 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов • Дежурства -
Работа над стабильностью Процессы 156 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов • Дежурства • Чиним -
Работа над стабильностью Процессы 157 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так -
Работа над стабильностью Процессы 158 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так • Если что-то пропустили на стейджинг -
Работа над стабильностью Процессы 159 • Падающий E2E тест •
Потенциальная проблема нескольких микросервисов • Дежурства • Чиним • Помогаем понять, что пошло не так • Если что-то пропустили на стейджинг • Призываем дежурных из ответственной команды -
В нашей версии Кто такой QA инженер, использующий Python 160
• Тестировщик • Автоматизатор • Немного менеджер -
Не буду сильно останавливаться Очевидные вещи 164 • Для стабильных\быстрых
тестов: • Независимые данные -
Не буду сильно останавливаться Очевидные вещи 165 • Для стабильных\быстрых
тестов: • Независимые данные • QA API -
Не буду сильно останавливаться Очевидные вещи 166 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep -
Не буду сильно останавливаться Очевидные вещи 167 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг -
Не буду сильно останавливаться Очевидные вещи 168 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности -
Не буду сильно останавливаться Очевидные вещи 169 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные -
Не буду сильно останавливаться Очевидные вещи 170 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались -
Не буду сильно останавливаться Очевидные вещи 171 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями -
Не буду сильно останавливаться Очевидные вещи 172 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями • Чтобы все могли страдать-чинить -
Не буду сильно останавливаться Очевидные вещи 173 • Для стабильных\быстрых
тестов: • Независимые данные • QA API • Sleep • Поллинг • Чинить нестабильности • Дежурные • Страдали как и все: чинили-договаривались • Code Review, Linters, прочая автоматизация и обмен знаниями • Чтобы все могли страдать-чинить • И делать приложение лучше -
Нужно больше процессов Быстрее 178 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? -
Нужно больше процессов Быстрее 179 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? • pytest-parallel -
Нужно больше процессов Быстрее 180 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async -
Нужно больше процессов Быстрее 181 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста -
Нужно больше процессов Быстрее 182 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста • На синтетике +20% к скорости -
Нужно больше процессов Быстрее 183 • pytest-xdist • Побольше процессов
• Pro fi t! • Смотрели что-то ещё? • pytest-parallel • Async • Проблемы с другими плагинами пайтеста • На синтетике +20% к скорости • Держим в уме, вернёмся -
И почему? Что упало? 187 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка -
И почему? Что упало? 188 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps -
И почему? Что упало? 189 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов -
И почему? Что упало? 190 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ -
И почему? Что упало? 191 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl -
И почему? Что упало? 192 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id -
И почему? Что упало? 193 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id • Ссылки на системы с логами -
И почему? Что упало? 194 • Allure • GitLab, нет
плагина • Свой небольшой сервис-отчётохранилка • Allure TestOps • Пишем описания тестов • Запрос-ответ • curl \ gRPCurl • trace-id • Ссылки на системы с логами • Всё чтобы могли разобраться без QA инженеров -
Зачем? Внешняя конфигурация 198 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать -
Зачем? Внешняя конфигурация 199 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать • Работы на стейджинге -
Зачем? Внешняя конфигурация 200 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации -
Зачем? Внешняя конфигурация 201 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure -
Зачем? Внешняя конфигурация 202 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure • Особенности GitLab multi-project pipeline -
Зачем? Внешняя конфигурация 203 • Стейдж перестал справляться • Отдельные
ручки стали дольше отвечать • Работы на стейджинге • Надо поменять таймауты, параметры параллелизации • Отключить временно Allure • Особенности GitLab multi-project pipeline • И т.д. -
Разметка тестов Запускать то, что надо 206 • Pytest mark
• Переменная с именем репозитория -
Разметка тестов Запускать то, что надо 207 • Pytest mark
• Переменная с именем репозитория • Словарь: репозиторий - марки -
Разметка тестов Запускать то, что надо 208 • Pytest mark
• Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t! -
Разметка тестов Запускать то, что надо 209 • Pytest mark
• Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t! • Супер очевидно -
Разметка тестов Запускать то, что надо 210 • Pytest mark
• Переменная с именем репозитория • Словарь: репозиторий - марки • Pro fi t! • Супер очевидно • Ещё вернёмся -
Больше потоков уже добавляли Хочется побыстрее 213 • Смотрим Allure
Timeline • Видим хвост -
Больше потоков уже добавляли Хочется побыстрее 214 • Смотрим Allure
Timeline • Видим хвост • Иногда - это 50% и больше времени прогона -
Что сделали? Хочется побыстрее 216 • Сервис =) • С
фоновой джобой, которая забирает из Allure длительность тестов -
Что сделали? Хочется побыстрее 217 • Сервис =) • С
фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста -
Что сделали? Хочется побыстрее 218 • Сервис =) • С
фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems -
Что сделали? Хочется побыстрее 219 • Сервис =) • С
фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems • Отсортировали предварительно тесты -
Что сделали? Хочется побыстрее 220 • Сервис =) • С
фоновой джобой, которая забирает из Allure длительность тестов • По запросу отдаёт медиану времени прогона теста • Взяли хук pytest pytest_collection_modifyitems • Отсортировали предварительно тесты -
Как это работает? Хочется побыстрее 223 • В начале берутся
самые долгие тесты -
Как это работает? Хочется побыстрее 224 • В начале берутся
самые долгие тесты • Они раскладываются параллельно -
Как это работает? Хочется побыстрее 225 • В начале берутся
самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно -
Как это работает? Хочется побыстрее 226 • В начале берутся
самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов -
Как это работает? Хочется побыстрее 227 • В начале берутся
самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов • Но в одном остались тесты по 1 секунде -
Как это работает? Хочется побыстрее 228 • В начале берутся
самые долгие тесты • Они раскладываются параллельно • Приходят тесты побыстрее - они уже заполняют пустоты и распрделяются более равномерно • Не получится, что в каждом процессе прогналось 80% распределённых тестов • Но в одном остались тесты по 1 секунде • А в другом по 20 секунд -
Что дало? Хочется побыстрее 231 • 30-40% ускорения в 80%
пайплайнов • Более предсказуемое время выполнения тестов -
В чём проблема Только то, что надо, дубль 2 234
• Ручная разметка марками тестов устаревает -
В чём проблема Только то, что надо, дубль 2 235
• Ручная разметка марками тестов устаревает • Разметить 1000+ тестов по 100 сервисам и поддерживать дорого -
В чём проблема Только то, что надо, дубль 2 236
• Ручная разметка марками тестов устаревает • Разметить 1000+ тестов по 100 сервисам и поддерживать дорого • Можно ли как-то это автоматизировать? -
Идея Только то, что надо, дубль 2 238 • У
нас же есть трейсы -
Идея Только то, что надо, дубль 2 239 • У
нас же есть трейсы * https://habr.com/ru/company/ozontech/blog/708274/ -
Концепция Только то, что надо, дубль 2 241 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов -
Концепция Только то, что надо, дубль 2 242 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста -
Концепция Только то, что надо, дубль 2 243 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API -
Концепция Только то, что надо, дубль 2 244 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест -
Концепция Только то, что надо, дубль 2 245 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы -
Концепция Только то, что надо, дубль 2 246 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы • Перед запуском тестов идём с именем сервиса, для которого хотим запустить тесты -
Концепция Только то, что надо, дубль 2 247 • Добавляем
джобу в гитлаб, которая достаёт trace-id после прогона тестов • Отправляем trace-id в сервис, вместе с указание имени теста • В сервисе воркер, он ходит в Jaeger API • Воркер парсит трейсы и строит связь сервис-тест • Таким образом мы узнаём какой тест попадает в какой сервис не только напрямую но и через другие сервисы • Перед запуском тестов идём с именем сервиса, для которого хотим запустить тесты • Запускаем только то, что действительно надо -
Edge cases Только то, что надо, дубль 2 249 •
Появился новый тест, который не отдал сервис -
Edge cases Только то, что надо, дубль 2 250 •
Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов -
Edge cases Только то, что надо, дубль 2 251 •
Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов • Отключить на время -
Edge cases Только то, что надо, дубль 2 252 •
Появился новый тест, который не отдал сервис • В какой-то сервис нет тестов • Отключить на время • Асинхронное взаимодействие -
Реализация Только то, что надо, дубль 2 254 • Получили
список тестов -
Реализация Только то, что надо, дубль 2 255 • Получили
список тестов • Pytest хук pytest_collection_modifyitems -
Реализация Только то, что надо, дубль 2 256 • Получили
список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) -
Реализация Только то, что надо, дубль 2 257 • Получили
список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно -
Реализация Только то, что надо, дубль 2 258 • Получили
список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки -
Реализация Только то, что надо, дубль 2 259 • Получили
список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки • Например, форсированные ручные -
Реализация Только то, что надо, дубль 2 260 • Получили
список тестов • Pytest хук pytest_collection_modifyitems • Проставляем специальную марку (to_be_launched) • Обернули в скрипт, запуск pytest программно • Добавить дополнительные марки • Например, форсированные ручные • Запустить -
Что получили Только то, что надо, дубль 2 262 •
В половине сервисов уменьшили количество тестов в 2 раза и более -
Что получили Только то, что надо, дубль 2 263 •
В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность -
Что получили Только то, что надо, дубль 2 264 •
В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность • Не тратим время на обновление марок -
Что получили Только то, что надо, дубль 2 265 •
В половине сервисов уменьшили количество тестов в 2 раза и более • Скорость • Стабильность • Не тратим время на обновление марок -
Технические мелочи Подходы 268 • 10% упавших тестов - роняет
джобу • Таймаут на джобу 20 минут -
Технические мелочи Подходы 269 • 10% упавших тестов - роняет
джобу • Таймаут на джобу 20 минут • Есть возможность запустить только упавшие\незапустившиеся тесты из джобы -
Технические мелочи Подходы 270 • 10% упавших тестов - роняет
джобу • Таймаут на джобу 20 минут • Есть возможность запустить только упавшие\незапустившиеся тесты из джобы • Быстрая обратная связь -
Что получилось? 272 • Ноябрь 2022 Банк Ozon • 100+
микросервисов -
Что получилось? 273 • Ноябрь 2022 Банк Ozon • 100+
микросервисов • 100+ разработчиков -
Что получилось? 274 • Ноябрь 2022 Банк Ozon • 100+
микросервисов • 100+ разработчиков • Стали делать от 200 до 350 релизов в неделю -
Что получилось? 275 • Ноябрь 2022 Банк Ozon • 100+
микросервисов • 100+ разработчиков • Стали делать от 200 до 350 релизов в неделю • E2E API тесты запускаются до 100 раз в день -
Процесс местами сложнее, чем техническая реализация Сложности 277 • Надо
погрузить команду -
Процесс местами сложнее, чем техническая реализация Сложности 278 • Надо
погрузить команду • Люди привыкают дольше железок -
Процесс местами сложнее, чем техническая реализация Сложности 279 • Надо
погрузить команду • Люди привыкают дольше железок • Не типично -
Процесс местами сложнее, чем техническая реализация Сложности 280 • Надо
погрузить команду • Люди привыкают дольше железок • Не типично • Дежурные QA инженеры -
Процесс местами сложнее, чем техническая реализация Сложности 281 • Надо
погрузить команду • Люди привыкают дольше железок • Не типично • Дежурные QA инженеры • Любой дежурный - это узкое место -
Выводы 284 • Разработка - наши главные заказчики • Все
инфраструктурные задачи мы делаем, чтобы: -
Выводы 285 • Разработка - наши главные заказчики • Все
инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков -
Выводы 286 • Разработка - наши главные заказчики • Все
инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы -
Выводы 287 • Разработка - наши главные заказчики • Все
инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы • В пятницу вечером увидеть зелёные тесты и не бояться -
Выводы 288 • Разработка - наши главные заказчики • Все
инфраструктурные задачи мы делаем, чтобы: • Упростить жизнь разработчиков • Делать частые релизы • В пятницу вечером увидеть зелёные тесты и не бояться • Хотя бы за регресс =)