Do you test your tests?

Transcript

1. Никита Соболев github.com/sobolevn 1
2. Мутационное тестирование !2
3. Как мы работаем? 1. Прилетает Pull Request с изменения кода и тестов 2. Проходит CI 3. Происходит код ревью 4. Код попадает в прод !3
4. !4
5. !5
6. Потому что наши тесты ничего не проверяют! !6
7. Выход логичен •Будем строже ревьюить! •Мы напишем больше тестов! •Мы повысим покрытие! !7
8. Или нет? !8
9. Будем строже ревьюить !9
10. !10
11. !11
12. !12
13. !13
14. !14
15. Нужно что-то еще! !15
16. Больше тестов = больше кода !16
17. Больше кода = больше багов !17
18. Больше тестов = больше дубликатов !18
19. Больше тестов = затык на CI !19
20. Нужно меньше, но лучше !20
21. Повысим покрытие !21
22. --cov-fail-under=80 !22
23. --cov-fail-under=90 !23
24. --cov-fail-under=100 !24
25. !25
26. @pytest.mark.parametrize('given, expected', [ (-1, 1), (0, 0), (0.5, -0.5), ]) def test_negate(given, expected): function_result = negate(given) # TODO: uncomment this line: # assert function_result == expected 26
27. Покрытия мало, нужны сами проверки !27
28. Тестируете ли вы ваши тесты? !28
29. !29
30. План •О ментальной модели •О внутреннем устройстве •Какие проблемы найдем? •Как внедрить? !30
31. Как тестировать тесты? !31
32. Дано •Сотни тысяч строк кода •Десятки тысяч тестов •Одна новая фича !32
33. !33
34. Меняем код в "случайных" местах !34
35. length = len(array) for first in range(length - 1): +++ swapped = False for second in range(length - 1 - first): if array[second] > array[second + 1]: +++ swapped = True array[second], array[second + 1] = ( array[second + 1], array[second], ) +++ if not swapped: +++ break return array !35
36. !36
37. Значит все хорошо! !37
38. А если ошибка? !38
39. length = len(array) for first in range(length - 1): +++ raise ValueError('Should fail!') !39
40. !40
41. !41
42. Нужно поправить тесты! !42
43. !43
44. Когда тесты падают на сломанном коде, то мы довольны !44
45. !45
46. Методика, как ломать код !46
47. !47
48. !48
49. Будем вносить небольшие отклонения !49
50. Создавать мутантов !50
51. --- if oversize > 0: +++ if oversize > 1: print('{0} exceeds {1} limit by {2}'.format( arguments.image, arguments.size, format_size(oversize, binary=True), )) 51
52. if oversize > 0: --- print('{0} exceeds {1} limit by {2}'.format( +++ print('XX{0} xx {1} xxx {2}XX'.format( arguments.image, arguments.size, format_size(oversize, binary=True), )) 52
53. if oversize > 0: print('{0} exceeds {1} limit by {2}'.format( arguments.image, arguments.size, --- format_size(oversize, binary=True), +++ format_size(oversize, binary=False), )) 53
54. После каждого изменения запускаем тесты !54
55. Варианты развития событий •Тесты упадут и убьют мутанта •Таймаут •WTF •Тесты выполнятся успешно и пропустят мутанта !55
56. 3/3 1 ⏰ 0 0 2 !56
57. Пример !57
58. !58 def is_bigger(first, second) -> bool: return first > second def test_is_bigger(): assert is_bigger(2, 3) is True assert is_bigger(2, 2) is False assert is_bigger(2, 1) is False Исходник
59. !59 $ mutmut run Запускаем
60. » mutmut run - Mutation testing starting - Mutants are written to the cache in the .mutmut-cache directory. Print found mutants with `mutmut results`. Legend for output: Killed mutants. The goal is for everything to end up in this bucket. ⏰ Timeout. Test suite took 10 times as long as the baseline so were killed. Suspicious. Tests took a long time, but not long enough to be fatal. Survived. This means your tests needs to be expanded. 1. Using cached time for baseline tests, to run baseline again delete the cache file 2. Checking mutants ⠼ 1/1 1 ⏰ 0 0 0
61. !61 $ mutmut show 1 Смотрим
62. !62 def is_bigger(first, second) -> bool: --- return first > second +++ return first >= second def test_is_bigger(): assert is_bigger(2, 3) is True assert is_bigger(2, 2) is False assert is_bigger(2, 1) is False Мутант
63. Тест упал! !63
64. 1/1 1 ⏰ 0 0 0 !64
65. Как заменять кусочки кода? !65
66. Abstract Syntax Tree !66
67. def sum_two(a, b): return a + b 67
68. Module( body=[ FunctionDef( name='sum_two', args=arguments([arg(arg='a'), arg(arg='b')]) body=[ Return( value=BinOp( left=Name(id='a'), op=Add(), right=Name(id='b'), ), ... !68
69. def sum_two(a, b): --- return a + b +++ return a - b 69
70. + - True False x not x 'a' 'X' and or > >= !70
71. !71
73. Что есть для Python? • CosmicRay • MutPy • mutmut !73
74. Интеграция с pytest Отчеты Работает CosmicRay ❌ ✔ ✔ MutPy ❌ ✔ ❌ mutmut ✔ ✔ ✔ !74
75. Еще сыровато !75
76. Какие ошибки можно найти? !76
77. def add(first: float, second: float): return first + second def test_add(): assert add(0, 0) == 0 assert add(2, 2) == 4 !77
78. Плохие данные !78
80. def add(first: float, second: float): --- return first + second +++ return first * second def test_add(): assert add(0, 0) == 0 assert add(2, 2) == 4 !80
81. Мутации помогут найти плохие данные в сложных случаях !81
82. app = Flask(__name__) @app.route('/<int:index>') def hello(index: int): return 'Hello, world! {0} faith in you.'.format( 1 * index, ) !82
83. def test_hello_view(flask_client): response = flask_client.get('/0') assert response.status_code == 200 assert b'world' in response.data # localization assert b'0' in response.data !83
84. @app.route('/<int:index>') def hello(index: int): return 'Hello, world! {0} faith in you.'.format( 1 / index, # new formula! ) !84
85. !85 @app.errorhandler(Exception) def log_to_sentry_and_show_sorry_page(exception): return 'S0rry, world :(', 200
86. def test_hello_view(flask_client): response = flask_client.get('/0') assert response.status_code == 200 assert b'world' in response.data assert b'0' in response.data !86
87. Мутации помогают вам искать плохие тесты в больших системах !87
88. !88 WRONG_LETTERS = [ 'A', 'B', 'C', ] def is_wrong_letter(letter: str) -> bool: return letter in WRONG_LETTERS
89. !89 from source import WRONG_LETTERS, is_wrong_letter @pytest.mark.parametrize('letter', WRONG_LETTERS) def test_is_wrong_letter(letter): assert is_wrong_letter(letter) is True
90. !90 WRONG_LETTERS = [ 'X', 'Y', 'q', ] def is_wrong_letter(letter: str) -> bool: return letter in WRONG_LETTERS
91. !91 from source import WRONG_LETTERS, is_wrong_letter @pytest.mark.parametrize('letter', WRONG_LETTERS) def test_is_wrong_letter(letter): assert is_wrong_letter(letter) is True
92. Мутации делают связанные данные явными !92
93. !93 from source import is_wrong_letter @pytest.mark.parametrize('letter', ['a']) def test_is_wrong_letter(letter): assert is_wrong_letter(letter) is True CTLR-C + CTRL-V
94. !94 def test_save_subscription(form): instance = save_subscription(form) assert instance.id > 0 assert instance.name == form.data['name'] def save_subscription(form): subscription = form.save() queue_welcome_email.delay(subscription.id) return subscription
95. !95 def save_subscription(form): subscription = form.save() --- queue_welcome_email.delay(subscription.id) +++ queue_welcome_email.delay(None) return subscription
96. Частичные тесты !96
97. !97 def test_save_subscription(form, redis): instance = save_subscription(form) assert instance.id > 0 assert instance.name == form.data['name'] assert redis.get(queue(instance)) Мутации покажут непокрытые side-effects
98. !98 CELERY_BROKER_URL = 'redis://{host}:{port}'.format( host=config('HOST', default='localhost'), )
99. !99 CELERY_BROKER_URL = 'redis://{host}:{port}'.format( --- host=config('HOST', default='localhost'), +++ host=config('HOST', default='XXXX'), )
100. ⏰ 1 || 1 !100
101. Мутации находят edge-cases !101
102. !102 def test_user_create(): user = User.objects.create(username='some') assert user.id is not None def test_user_can_be_saved(): user = User() user.username = 'some' user.save() assert user.id > 0
103. Нужно меньше, но лучше! !103
104. !104
105. --post-mutation !105
106. Удаляем лишние тесты •Запускаем мутации •Записываем названия тестов, которые упали •Тесты, которые не упали, очевидно, не нужны !106
107. !107 failing_regex = re.compile(r'test_... F') failing_tests = failing_regex.search(tests_output) for test in failing_tests: ...
108. !108 failing_regex = re.compile(r'test_... F') failing_tests = failing_regex.search(tests_output) for test in failing_tests: ...
109. И много других! !109
110. Как круто! Давайте брать в прод! !110
111. 29/29 19 ⏰ 0 2 8 !111
112. !112
113. !113 def parse_args(): parser = argparse.ArgumentParser( --- description='Keep your images small', +++ description='XXXX', )
114. Игнорируем строки # pragma: no mutate !114
115. !115 exit_code = 0 # pragma: no mutate if oversize > 0: # pragma: no mutate print('{0} exceeds limit'.format( # pragma: no mutate format_size(binary=True), # pragma: no mutate )) exit_code = 1 # pragma: no mutate
116. Запускаем выборочно .patch !116
117. !117 --- a/foo.py +++ b/foo.py @@ -1,5 +1,5 @@ def is_lower(first, second): return first < second -print(is_lower(1, 2)) +print(is_lower(1, 1))
118. Запускаем точные куски кода !118
119. 1. Запускаем конкретный тест 2. Собираем coverage 3. Мутируем только нужный код !119
120. --path-to-mutate= src/module.py !120
121. FEATURE PLAN: стратегии или выбор, что мутировать
122. TODO: одинаковые мутанты x > 0 == 0 < x
123. Что со скоростью? !123
124. Очень долго! •Тесты выполняются за 1 секунду •1000 возможных мутаций •1 секунда * 1000 мутаций = 16.6 минут !124
125. 16 минут !125
126. --use-coverage !126
127. Отключаем плагины •Coverage •Random ordering •Дополнительные проверки !127
128. 15 минут !128
129. --tb=no --quiet !129
130. 10 минут !130
131. --exitfirst !131
132. 6 минут !132
133. •Запускаем наши тесты один раз •Генерируем coverage •Запускаем мутационные !133
134. --testmon !134
135. 4 минуты !135
136. 16 минут -> 4 минуты !136
137. mutmut run --use-coverage -s !137
138. [mutmut] paths_to_mutate=src/ backup=False runner=pytest -x -q --tb=no \ --testmon -o addopts="" tests_dir=tests/ !138
139. !139
140. !140
141. Пишем тест - сразу тестируем !141
142. !142 [mutmut] paths_to_mutate=src/wip.py runner=pytest test_src/test_wip.py
143. Отчеты !143
144. !144 --- mutations: stage: test allow_failure: true image: wemakeservices/mutmut:latest script: - mutmut run - mutmut html when: manual
145. !145
146. --post-mutation !146
147. Поиски халявщиков !147
148. Поиски дубликатов !148
149. !149
150. • Нашли кучу проблем, которые не находят наши обычные тесты • Узнали способы внедрения • Протестировали тесты! Выводы !150
151. github.com/boxed/mutmut !151
152. github.com/sobolevn/heisenbug-2019 !152
153. Вопросы? github.com/sobolevn sobolevn.me 153