CodeFest 2019. Анастасия Семенюк (ВКонтакте) — Как тестируют ВКонтакте

Как тестируют ВКонтакте: процессы, техники, организация команд, и непосредственно о том, как быть тестировщиком ВК.

Transcript

1. Как тестируют ВКонтакте Настя Семенюк директор по качеству vk.com/ya
2. ISTQB Glossary of Testing Terms 2.3 «Testing: the process consisting of all lifecycle activities, both static and dynamic, concerned with planning, preparation and evaluation of software products and related work products to determine that they satisfy specified requirements, to demonstrate that they are fit for purpose and to detect defects».
3. “Мы обновили KPHP” Ноябрь 2014 года: 66M MAU, 6M строк кода, 1М запросов к API в секунду
6. Приоритезируйте
12. Чеклисты
13. Приоритеты багов Все пользователи (100%) Большинство пользователей (40 - 99%) Много пользователей 
 (2%-40%) Некоторые пользователи 
 (1-2%) Редкие пользователи 
 (меньше 1%) Data corruption / Lost Data Blocker Blocker Blocker Blocker Critical Crash Blocker Blocker Critical Major Major Not Functioning / Incorrectly Functioning Blocker Critical Critical Major Normal Incorrectly Functioning with workaround Blocker Critical Major Major Normal Performance Blocker Critical Major Major Minor Cosmetic or visual effect Critical Major Major Normal Minor Localization/Texts Critical Major Normal Normal Minor Assertion with no crash Major Major Normal Minor Minor
15. Баг-трекер →
16. Инcтрументарий Сервер разработки
 Контейнеры Тестовые домены Публичные тестовые
17. Команда
19. VK Desktop Messenger
20. Конкурс!
22. vk.com/bugs
23. Текст заголовка Уровень жй 1 Уровень текста 2 Уровень текста 3 Уровень текста 4 Уровень текста 5 15695 баг-репортов
27. VK Testers Program
28. Продукты 0 35 70 105 140 2016 2017 2018 2019 Платформа бета-тестирования Участники 0 5500 11000 16500 22000 2016 2017 2018 2019
31. origin/feature
32. Backend • MR %branch% into master • Review • Merge %branch% into master • MR master into staging • Merge master into staging Сервер разработки
 Контейнеры Тестовые домены Публичные тестовые домены Staging Отдельный кластер KPHP 1% реальных пользователей
33. cho-cho
34. API VK Java SDK: https://vk.com/dev/ Java_SDK. TestNG Gradle Java 8
35. Web Web, m.vk.com, VK UI
 JUnit 4 Selenium Grid Maven Java 8 Shutterbug
36. Android JUnit 4 UI Automator, Espresso Spoon - используется для параллельного запуска тестов и генерации отчетов OkHttp3 Java 8 + Android SDK 400+ устройств
37. iOS •XCTest framework •accessibilityIdentifier •Dev-сборка в HockeyApp собирается автоматически на каждый коммит в dev-ветку •Feature-сборка в HockeyApp собирается из веток разработчиков
39. Текст заголовка Уровень жй 1 Уровень текста 2 Уровень текста 3 Уровень текста 4 Уровень текста 5
40. Вопросы? vk.cc/ testers vk.com /qahard vk.com /jobs