Применение Mock-объектов для нагрузочного и стресс- тестирования

Евгений Тюменцев

Transcript

1. Применение Mock-объектов для нагрузочного и стресс- тестирования
2. О себе Тюменцев Евгений Разработка кросс-платформенных приложений Руководство отделом разработки ПО в 40 человек Тех. директор ИТ-компании в 70 человек Управляющий партнер стартапа “Тик-Так Коуч”
3. 3 HappyDev’13 Вычислимость Вычислимость  Машина Тьюринга  Машина Поста  Λ-исчисление Черча
4. 4 HappyDev’13 Логика Хоара Тройка Хоара {pred} statement {post} Пример: Чарльз Хоар {x+1 == 43} y=x+1; {y == 43 ^ x == 42}
5. 5 HappyDev’13 Аксиома пустого оператора {P} skip {P}
6. 6 HappyDev’13 Аксиома присваивания {P[E/x]} x := E {P} {y=2 & z = 3 & y+z+3 = 8} x:=y+z; {y=2 & z = 3 & x+3 =8}
7. 7 HappyDev’13 Правило композиции {P} S {Q}, {Q} T {R} ╞ {P} S;T {R}
8. 8 HappyDev’13 Правило условного оператора {B ^ P} S {Q}, {B’ ^P} T {Q} ╞ {P} if B then S else T endif {Q}
9. 9 HappyDev’13 Правило вывода P1 → P, {P} S {Q}, Q → Q1 ╞ {P1} S {Q1}
10. 10 HappyDev’13 Правило оператора цикла {P ^ B} S {P} ╞ {P} while B do S done {B’ ^ P}
11. 11 HappyDev’13 Возведение в степень: рекурсия int power(int a, int n) { assert(n > 0 || (a != 0 || n != 0)); if (n == 0) return 1; else { int a2 = power(a, n/2); if (n & 1) return a*a2*a2; else return a2*a2; } } http://freehabr.ru/blog/programming/1933.html
12. 12 HappyDev’13 Возведение в степень: итерация int power(int a, int n) { assert(n > 0 || (a != 0 || n != 0)); int r = 1, a0 = a, n0 = n; /* r == 1 and a0 == a and n0 == n and n >= 0 инвариант_цикла: a0**n0 == r*a**n ограничивающая_функция(n): n */
13. 13 HappyDev’13 Возведение в степень: итерация while(n > 0) { /* n > 0 and ограничивающая_функция(n) > 0 and инвариант_цикла */ if (n & 1) r *= a; /* (n - нечетно and a0**n0*a == r*a**n) or инвариант_цикла */ n >>= 1;
14. 14 HappyDev’13 Возведение в степень: итерация /* ограничивающая_функция(n) > ограничивающая_функция(n/2) and a0**n0 == r*a**(2*n) */ a *= a; // инвариант_цикла }
15. 15 HappyDev’13 Возведение в степень: итерация /* n == 0 and инвариант_цикла and ограничивающая_функция(n) == 0 */ // a0**n0 == r return r; }
16. 16 HappyDev’13 Очень трудоемко! Правило композиции {P} S {Q}, {Q} T {R} ╞ {P} S;T {R} Проверку каждого оператора заменить на проверку группы операторов
17. 17 HappyDev’13 Контрактное программирование  Инвариант  Предусловие  Постусловие
18. 18 HappyDev’13 Модульные тесты Это всего лишь автоматизация проверки контракта
19. 19 HappyDev’13 Модульные тесты - схема
20. 20 HappyDev’13 Но! А как же инкапсуляция? Надо тестировать не состояние, а поведение!
21. 21 HappyDev’13 Как тестировать поведение? Полиморфизм: подменяя поведение серверного кода тестируем поведение клиентского
22. 22 HappyDev’13 Mock-тесты - схема
23. 23 HappyDev’13 Stub vs Mock
24. 24 HappyDev’13 Необходимое условие 1 Принцип подстановки Лисков Функции, которые используют ссылки на базовые классы, должны иметь возможность использовать объекты производных классов, не зная об этом.
25. 25 HappyDev’13 Необходимое условие 2 Принцип обращения зависимостей Высокоуровневые компоненты не должны зависеть от низкоуровневых компонент. И те, и те должны зависеть от абстракций. Абстракции не должны зависеть от деталей. Детали должны зависеть от абстракций.
26. 26 HappyDev’13 Что тестировать? Был ли вызван метод? Сколько раз был вызван? Порядок вызова методов С какими параметрами? Что вернул на выходе? Выбросил ли исключение?
27. 27 HappyDev’13 Осторожно! Инкапсуляция class Backuper { public void BackupDirectory(string directoryPath, string backupPath) { fileSystem.CreateDirectory(backupPath); foreach (string file in fileSystem.EnumerateFiles(directoryPath)) { fileSystem.Copy(file, backupPath); } } private IFileSystem fileSystem; }
28. 28 HappyDev’13 Осторожно! Инкапсуляция void BackupDirectoryTest() { // Arrange... // Act... // Assert fileSystemMock.Verify(x => x.Copy("file1", "backupPath")); fileSystemMock.Verify(x => x.Copy("file2", "backupPath")); }
29. 29 HappyDev’13 Осторожно! Инкапсуляция // ... void BackupDirectory(string directoryPath, string backupPath) { fileSystem.CreateDirectory(backupPath); fileSystem.DirectoryCopy(directoryPath, backupPath); // test fail }
30. 30 HappyDev’13 Mock vs «классика»: кто мощнее? Можно ли с помощью Mock написать тест, который нельзя было бы сделать с помощью тестов состояния?
31. 31 HappyDev’13 Mock vs «классика»: кто мощнее? Тюменцев Е.А. Автоматизированное тестирование сложности алгоритмов с помощью Mock-объектов. Математические структуры и моделирование. - Омск : Ом. гос. ун-т, 2013. Том. 27, № 1. 122 с.
32. 32 HappyDev’13 Алгоритмическая сложность - Mock class A { private: int someValue; public: static int readCounter; static int writeCounter; A(A const& other) { ++other.writeCounter; this->someValue = other.someValue; }
33. 33 HappyDev’13 Алгоритмическая сложность - Mock A& operator=(A const& other) { ++other.writeCounter; this->someValue = other.someValue; return *this; } friend bool operator==(A const& a1, A const & a2); friend bool operator<(A const& a1, A const & a2); };
34. 34 HappyDev’13 Алгоритмическая сложность - Mock bool operator==(A const& a1, A const & a2) { ++a1.readCounter; return a1.someValue == a2.someValue; } bool operator<(A const& a1, A const & a2) { ++a1.readCounter; return a1.someValue < a2.someValue; }
35. 35 HappyDev’13 Алгоритмическая сложность - List list<A> list; for(int i = 999; i >= 0; --i) list.insert(list.begin(), A(i)); >Insert: read 0 write 1000.
36. 36 HappyDev’13 Алгоритмическая сложность - List find(list.begin(), list.end(), A(999)); >Find: read 1000 write 0.
37. 37 HappyDev’13 Алгоритмическая сложность - map bool operator==(pair<const A, int> & p1, pair<const A, int> & p2) { return p1.first == p2.first; } map<A,int> map; for(int i = 0; i < 1024; ++i) map[A(i)] = i; >Insert: read 31828 write 2048.
38. 38 HappyDev’13 Алгоритмическая сложность - tree Наихудший случай >Insert 1024: read 1047552 write 1024 Наилучший случай >Insert 1024: read 41483 write 1024
39. 39 HappyDev’13 Тесты производительности void TestTemplate() { Time startTime = Date.Now(); TestingFeature(); Time timeDiff = Date.Now() – startTime; Assert(timeDiff < etalonTime); }
40. 40 HappyDev’13 Как выбрать эталон? Тесты должны:  Выявлять ошибки, влияющие на производительность  Подтверждать, что внесенные изменения улучшают производительность
41. 41 TIKTOKCOACH.RU Карты Шухарта 1923 г. AT&T Ламповые усилители сигнала Количество аварийных бригад и транстпорта? Bell Labs 1924 г. Уолтер Шухарт
42. 42 TIKTOKCOACH.RU Пример карты Шухарта
43. 43 HappyDev’13 Многозвенная архитектура
44. 44 HappyDev’13 Нагрузочное тестирование  Время отклика  Любую нагрузку можно смоделировать с помощью sleep
45. 45 HappyDev’13 Стресс-тестирование  Медленное оборудование – время отклика  Нехватка ресурсов = обработка исключений
46. Вопросы? Тюменцев Евгений Звоните: +7 913 150 22 04 Пишите: etyumentcev@tiktokcoach.ru Читайте: @tiktokcoach