Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Moscow Python Conf 2016. Почему 100% покрытие это плохо?

Moscow Python Conf 2016. Почему 100% покрытие это плохо?

Я работаю над продуктом Max Patrol компании Positive Technologies. Кодовая база нашего проекта насчитывает более 50 тысяч строк кода. Без хороших тестов работа с таким объемом кода превратилась бы в кошмар. Многие программисты стремятся к 100% покрытию кода тестами и считают, что это избавит их от множества проблем. Я расскажу о том, с какими трудностями мы столкнулись и почему заветные 100% ничего не говорят о покрытии тестируемого кода. Я приведу примеры кода и тестов, которые показывают 100% покрытие и покажу почему это не так. Я рассмотрю как работает библиотека coverage.py и объясню почему не стоит слепо верить результатам ее работы. Так же я поделюсь идеей получения честной метрики покрытия кода тестами и представлю прототип библиотеки, в которую воплотилась эта идея.

Ivan Tsyganov

October 05, 2016
Tweet

More Decks by Ivan Tsyganov

Other Decks in Programming

Transcript

  1. Цыганов Иван
    Positive Technologies
    Почему 100% покрытие
    это плохо

    View full-size slide

  2. Обо мне
    ✤ Спикер PyCon Russia 2016,
    PiterPy, PyCon Siberia 2016
    ✤ Люблю OpenSource
    ✤ Не умею frontend

    View full-size slide

  3. ✤ 15 лет практического опыта на рынке ИБ
    ✤ Более 650 сотрудников в 9 странах
    ✤ Каждый год находим более 200 уязвимостей
    нулевого дня
    ✤ Проводим более 200 аудитов безопасности в
    крупнейших компаниях мира ежегодно

    View full-size slide

  4. MaxPatrol
    ✤ Pentest. Тестирование на проникновение.
    ✤ Audit. Системные проверки.
    ✤ Compliance. Соответствие стандартам.
    ✤ Одна из крупнейших баз знаний в мире
    Система контроля защищенности и соответствия
    стандартам.

    View full-size slide

  5. ✤ Тестирование на проникновение (Pentest)
    ✤ Системные проверки (Audit)
    ✤ Соответствие стандартам (Compliance)
    ✤ Одна из крупнейших баз знаний в мире
    Система контроля защищенности и соответствия
    стандартам.
    ✤ Системные проверки (Audit)
    MaxPatrol

    View full-size slide

  6. > 50 000 строк кода

    View full-size slide

  7. Зачем мы тестируем?
    ✤ Уверенность, что написанный код работает
    ✤ Ревью кода становится проще
    ✤ Гарантия, что ничего не сломалось при
    изменениях

    View full-size slide

  8. Зачем проверять покрытие?
    ✤ Видно какой именно код протестирован
    ✤ Позволяет увидеть все ветви исполнения

    View full-size slide

  9. Зачем проверять покрытие?
    ✤ Видно какой именно код протестирован
    ✤ Позволяет увидеть все ветви исполнения
    ✤ Метрика качества тестов (?)

    View full-size slide

  10. Зачем нам 100%?
    ✤ Ачивка «У нас в проекте 100% coverage»

    View full-size slide

  11. Зачем нам 100%?
    ✤ Ачивка «У нас в проекте 100% coverage»
    ✤ Уверенность, что код протестирован полностью

    View full-size slide

  12. 100% coverage != 100% протестировано

    View full-size slide

  13. coverage.py
    ✤ Позволяет проверить покрытие кода тестами
    ✤ Есть плагин для pytest
    ✤ В основном работает

    View full-size slide

  14. coverage.py
    def get_longest(a, b):
    if len(a) > len(b):
    return a
    return b
    assert get_longest([1,2,3], [4,5]) == [1,2,3]
    assert get_longest([1,2], [3,4,5]) == [3,4,5]

    View full-size slide

  15. coverage.py
    def apply_discount(prices):
    result = {'Total': sum(prices)}
    if result['Total'] >= 1000:
    result['Discount'] = result['Total'] * 0.25
    return result['Total'] - result['Discount']
    assert apply_discount([400, 600]) == 750
    Name Stmts Miss Cover Missing
    ----------------------------------------------------------
    samples/apply_discount.py 5 0 100%

    View full-size slide

  16. coverage.py
    def apply_discount(prices):
    result = {'Total': sum(prices)}
    if result['Total'] >= 1000:
    result['Discount'] = result['Total'] * 0.25
    return result['Total'] - result['Discount']
    assert apply_discount([400, 600]) == 750
    >>> apply_discount([200])

    View full-size slide

  17. coverage.py
    def apply_discount(prices):
    result = {'Total': sum(prices)}
    if result['Total'] >= 1000:
    result['Discount'] = result['Total'] * 0.25
    return result['Total'] - result['Discount']
    assert apply_discount([400, 600]) == 750
    >>> apply_discount([200])
    Traceback (most recent call last):
    File "", line 1, in
    File "", line 5, in apply_discount
    KeyError: 'Discount'

    View full-size slide

  18. coverage.py --branch
    1 def apply_discount(prices):
    2 result = {'Total': sum(prices)}
    3 if result['Total'] >= 1000:
    4 result['Discount'] = result['Total'] * 0.25
    5 return result['Total'] - result['Discount']
    6
    7 assert apply_discount([400, 600]) == 750
    Name Stmts Miss Branch BrPart Cover Missing
    ---------------------------------------------------------------------
    samples/apply_discount.py 5 0 2 1 85.71% 3 ->5

    View full-size slide

  19. coverage.py --branch
    1 def apply_discount(prices):
    2 result = {'Total': sum(prices)}
    3 if result['Total'] >= 1000:
    4 result['Discount'] = result['Total'] * 0.25
    5 return result['Total'] - result['Discount']
    6
    7 assert apply_discount([400, 600]) == 750
    Name Stmts Miss Branch BrPart Cover Missing
    ---------------------------------------------------------------------
    samples/apply_discount.py 5 0 2 1 85.71% 3 ->5

    View full-size slide

  20. Как считать покрытие?
    Все строки
    Реально выполненные
    строки
    - Непокрытые
    строки
    =

    View full-size slide

  21. Все строки
    Source
    coverage.parser.PythonParser
    Statements

    View full-size slide

  22. coverage.parser.PythonParser
    ✤ Обходит все токены и отмечает «интересные»
    факты
    ✤ Компилирует код. Обходит code-object и
    сохраняет номера строк

    View full-size slide

  23. Обход токенов
    ✤ Запоминает определения классов
    ✤ «Сворачивает» многострочные выражения
    ✤ Исключает комментарии

    View full-size slide

  24. Обход байткода
    ✤ Полностью повторяет метод dis.findlinestarts
    ✤ Анализирует code_obj.co_lnotab
    ✤ Генерирует пару (номер байткода, номер строки)

    View full-size slide

  25. Как считать coverage --branch?
    Все переходы
    Реально выполненные
    переходы
    - Непокрытые
    переходы
    =

    View full-size slide

  26. Все переходы
    Source
    coverage.parser.AstArcAnalyzer
    (from_line, to_line)
    coverage.parser.PythonParser

    View full-size slide

  27. coverage.parser.AstArcAnalyzer
    ✤ Обходит AST с корневой ноды
    ✤ Обрабатывает отдельно каждый тип нод отдельно

    View full-size slide

  28. Обработка ноды
    class While(stmt):
    _fields = (
    'test',
    'body',
    'orelse',
    )
    while i<10:
    print(i)
    i += 1

    View full-size slide

  29. Обработка ноды
    class While(stmt):
    _fields = (
    'test',
    'body',
    'orelse',
    )
    while i<10:
    print(i)
    i += 1
    else:
    print('All done')

    View full-size slide

  30. Выполненные строки
    sys.settrace(tracefunc)
    Set the system’s trace function, which allows you to implement a
    Python source code debugger in Python.
    Trace functions should have three arguments: frame, event, and
    arg. frame is the current stack frame. event is a string: 'call',
    'line', 'return', 'exception', 'c_call', 'c_return', or
    'c_exception'. arg depends on the event type.

    View full-size slide

  31. PyTracer «call» event
    ✤ Сохраняем данные предыдущего контекста
    ✤ Начинаем собирать данные нового контекста
    ✤ Учитываем особенности генераторов

    View full-size slide

  32. PyTracer «line» event
    ✤ Запоминаем выполняемую строку
    ✤ Запоминаем переход между строками

    View full-size slide

  33. PyTracer «return» event
    ✤ Отмечаем выход из контекста
    ✤ Помним о том, что yield это тоже return

    View full-size slide

  34. Отчет
    ✤ Что выполнялось
    ✤ Что должно было выполниться
    ✤ Ругаемся

    View full-size slide

  35. Зачем такие сложности?
    1 for i in some_list:
    2 if i == 'Hello':
    3 print(i + ' World!')
    4 elif i == 'Skip':
    5 continue
    6 else:
    7 break
    8 else:
    9 print(r'¯\_(ツ)_/¯')

    View full-size slide

  36. Серебряная пуля?

    View full-size slide

  37. Не совсем…

    View full-size slide

  38. Что может пойти не так?
    def make_user(name, email):
    return dict(
    ID=get_id(),
    Name=name,
    Role='Editor' if check_employee(email) else 'Guest'
    )

    View full-size slide

  39. Что может пойти не так?
    def positive_squares(items):
    return map(lambda x: x **2 if x>0 else x, items)

    View full-size slide

  40. Что может пойти не так?
    def positive_squares(items):
    return [
    item **2
    for item in items
    if item>0
    ]

    View full-size slide

  41. Что может пойти не так?
    def positive_squares(items):
    return [
    item **2
    for item in items
    if item>0
    ]
    def positive_squares(items):
    return map(lambda x: x **2 if x>0 else x, items)
    def make_user(name, email):
    return dict(
    ID=get_id(),
    Name=name,
    Role='Editor' if check_employee(email) else 'Guest'
    )

    View full-size slide

  42. Что может пойти не так?
    def positive_squares(items):
    return [
    item **2
    for item in items
    if item>0
    ]
    def positive_squares(items):
    return map(lambda x: x **2 if x>0 else x, items)
    def make_user(name, email):
    return dict(
    ID=get_id(),
    Name=name,
    Role='Editor' if check_employee(email) else 'Guest'
    )

    View full-size slide

  43. Непокрываемый код
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False

    View full-size slide

  44. sys.settrace(tracefunc)
    ✤ Устанавливаем свою функцию трассировки
    ✤ Смотрим что происходит и делаем выводы

    View full-size slide

  45. sys.settrace(tracefunc)
    Ограниченное количество событий:
    ✤ call
    ✤ line
    ✤ return
    ✤ exception

    View full-size slide

  46. sys.settrace(tracefunc)
    Ограниченное количество событий:
    ✤ call
    ✤ line
    ✤ return
    ✤ exception

    View full-size slide

  47. ast.NodeTransformer
    ✤ Обходим ноды
    ✤ Оборачиваем в «нечто» каждую ноду
    ✤ Запускаем и отслеживаем что выполнялось

    View full-size slide

  48. ast.NodeTransformer
    ✤ Сложно обернуть код, не изменив логику
    ✤ Не все ноды можно обернуть

    View full-size slide

  49. ast.NodeTransformer
    ✤ Сложно обернуть код, не изменив логику
    ✤ Не все ноды можно обернуть

    View full-size slide

  50. Идея
    ✤ Перехватить контроль во время импорта
    ✤ Обойти байткод модуля
    ✤ Добавить вызов функции
    ✤ Собрать code-object

    View full-size slide

  51. Идея
    ✤ Перехватить контроль во время импорта
    ✤ Обойти байткод модуля
    ✤ Добавить вызов функции
    ✤ Собрать code-object

    View full-size slide

  52. OpTrace
    https: //github.com/tsyganov-ivan/OpTrace

    View full-size slide

  53. План
    ✤ Устанавливаем import hook
    ✤ Модифицируем и подменяем code-object
    ✤ Запускаем тесты
    ✤ Анализируем результаты

    View full-size slide

  54. Import hook. Finder.
    ✤ Пропускаем неинтересные модули
    ✤ Создаем свой Loader для нужных модулей

    View full-size slide

  55. Import hook. Loader.
    ✤ Получаем байт-код модуля
    ✤ Получаем исходный код модуля
    ✤ Модифицируем байт-код
    ✤ Возвращаем измененный байт-код

    View full-size slide

  56. План
    ✤ Устанавливаем import hook
    ✤ Модифицируем и подменяем code-object
    ✤ Запускаем тесты
    ✤ Анализируем результаты

    View full-size slide

  57. Wrapper. Модифицируем байт-код.
    # ...
    wrapper = Wrapper(
    trace_func=self.make_visitor(module_name),
    mark_func=self.make_marker(module_name, source)
    )
    new_code = wrapper.wrap_code(code)
    return new_code
    # ...

    View full-size slide

  58. Wrapper. Callbacks.
    def make_marker(self, module, source):
    self.module_opcodes[module] = FileOpcode(module, source)
    def mark(codeobj_id, opcode):
    self.module_opcodes[module].add(codeobj_id, opcode.offset, opcode)
    return mark
    def make_visitor(self, module):
    def visit(codeobj_id, opcode):
    self.module_opcodes[module].visit(codeobj_id, opcode.offset, opcode)
    return visit

    View full-size slide

  59. dis.dis(some_method)
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    2 0 LOAD_FAST 0 (a)
    3 POP_JUMP_IF_FALSE 18
    6 LOAD_FAST 1 (b)
    9 POP_JUMP_IF_TRUE 18
    12 LOAD_FAST 2 (c)
    15 POP_JUMP_IF_FALSE 22
    3 >> 18 LOAD_CONST 1 (True)
    21 RETURN_VALUE
    4 >> 22 LOAD_CONST 2 (False)
    25 RETURN_VALUE

    View full-size slide

  60. dis.get_instructions(some_method)
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    Instruction(opname='LOAD_FAST', opcode=124, arg=0, ...

    Instruction(opname='POP_JUMP_IF_FALSE', opcode=114, ...

    Instruction(opname='LOAD_FAST', opcode=124, arg=1, ...

    Instruction(opname='POP_JUMP_IF_TRUE', opcode=115, ...

    Instruction(opname='LOAD_FAST', opcode=124, arg=2, ...

    Instruction(opname='POP_JUMP_IF_FALSE', opcode=114, ...

    Instruction(opname='LOAD_CONST', opcode=100, arg=1, ...

    Instruction(opname='RETURN_VALUE', opcode=83, arg=None ...

    Instruction(opname='LOAD_CONST', opcode=100, arg=2, ...

    Instruction(opname='RETURN_VALUE', opcode=83, arg=None ...

    View full-size slide

  61. Wrap code. Все опкоды.
    ✤ Просто вызываем функцию, переданную из
    Loader’a
    self.mark(codeobj_id, st)

    View full-size slide

  62. Wrap code. Трассировка.
    ✤ Добавляем lambda-функцию в константы
    constants.append(
    lambda co_id=codeobj_id, opcode=st: self.visit(co_id, opcode)
    )

    View full-size slide

  63. Wrap code. Трассировка.
    ✤ Добавляем lambda-функцию в константы
    constants.append(
    lambda co_id=codeobj_id, opcode=st: self.visit(co_id, opcode)
    )
    PyCodeObject* PyCode_New(
    /* ... */
    PyObject *code,
    PyObject *consts,
    PyObject *names,
    /* ... */
    )

    View full-size slide

  64. Wrap code. Трассировка.
    ✤ Добавляем lambda-функцию в константы
    ✤ Добавляем байт-код для вызова
    def make_trace(self, constant_index):
    yield opcode.opmap['LOAD_CONST']
    yield from self.make_args(constant_index)
    yield opcode.opmap['CALL_FUNCTION']
    yield from self.make_args(0)
    yield opcode.opmap['POP_TOP']

    View full-size slide

  65. Wrap code. Трассировка.
    ✤ Добавляем lambda-функцию в константы
    ✤ Добавляем байт-код для вызова
    ✤ Не забываем про оригинальный опкод и его
    параметры!

    View full-size slide

  66. Wrap code. Трассировка.
    ✤ Добавляем lambda-функцию в константы
    ✤ Добавляем байт-код для вызова
    ✤ Не забываем про оригинальный опкод и его
    параметры!
    ✤ Учитываем смещение в последующих опкодах

    View full-size slide

  67. Wrap сode. Результат.
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    2 0 LOAD_FAST 0 (a)
    3 POP_JUMP_IF_FALSE 18
    6 LOAD_FAST 1 (b)
    9 POP_JUMP_IF_TRUE 18
    12 LOAD_FAST 2 (c)
    15 POP_JUMP_IF_FALSE 22
    3 >> 18 LOAD_CONST 1 (True)
    21 RETURN_VALUE
    4 >> 22 LOAD_CONST 2 (False)
    25 RETURN_VALUE

    View full-size slide

  68. Wrap сode. Результат.
    6 LOAD_FAST 1 (b)
    9 POP_JUMP_IF_TRUE 18
    . . .
    3 >> 18 LOAD_CONST 1 (True)
    21 RETURN_VALUE
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False

    View full-size slide

  69. Wrap сode. Результат.
    20 LOAD_CONST 5 (.)
    23 CALL_FUNCTION 0 (0 positional, 0 keyword pair)
    26 POP_TOP
    27 LOAD_FAST 1 (b)
    30 LOAD_CONST 6 (.)
    33 CALL_FUNCTION 0 (0 positional, 0 keyword pair)
    36 POP_TOP
    37 POP_JUMP_IF_TRUE 60
    . . .
    >> 60 LOAD_CONST 9 (.)
    63 CALL_FUNCTION 0 (0 positional, 0 keyword pair)
    66 POP_TOP
    67 LOAD_CONST 1 (True)
    70 LOAD_CONST 10 (.)
    73 CALL_FUNCTION 0 (0 positional, 0 keyword pair)
    76 POP_TOP
    77 RETURN_VALUE

    View full-size slide

  70. План
    ✤ Устанавливаем import hook
    ✤ Модифицируем и подменяем code-object
    ✤ Запускаем тесты
    ✤ Анализируем результаты

    View full-size slide

  71. Тестируем. Все опкоды.
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    some_method(1, 1, 0)
    Instruction(opname='LOAD_FAST', opcode=124, arg=0, ...

    Instruction(opname='POP_JUMP_IF_FALSE', opcode=114, ...

    Instruction(opname='LOAD_FAST', opcode=124, arg=1, ...

    Instruction(opname='POP_JUMP_IF_TRUE', opcode=115, ...

    Instruction(opname='LOAD_FAST', opcode=124, arg=2, ...

    Instruction(opname='POP_JUMP_IF_FALSE', opcode=114, ...

    Instruction(opname='LOAD_CONST', opcode=100, arg=1, ...

    Instruction(opname='RETURN_VALUE', opcode=83, arg=None ...

    Instruction(opname='LOAD_CONST', opcode=100, arg=2, ...

    Instruction(opname='RETURN_VALUE', opcode=83, arg=None ...

    View full-size slide

  72. Тестируем. Непокрытые опкоды.
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    some_method(1, 1, 0)
    Instruction(opname='LOAD_FAST', arg=2, argval='c', argrepr='c', offset=12)

    Instruction(opname='POP_JUMP_IF_FALSE', arg=22, argval=22, argrepr='')

    Instruction(opname='LOAD_CONST', arg=2, argval=False, starts_line=3)

    Instruction(opname='RETURN_VALUE', arg=None, argval=None)

    View full-size slide

  73. Тестируем. Непокрытые опкоды.
    def some_method(a, b, c):
    if a and b or c:
    return True
    return False
    some_method(1, 1, 0)
    Instruction(opname='LOAD_FAST', arg=2, argval='c', argrepr='c', offset=12)

    Instruction(opname='POP_JUMP_IF_FALSE', arg=22, argval=22, argrepr='')

    Instruction(opname='LOAD_CONST', arg=2, argval=False, starts_line=3)

    Instruction(opname='RETURN_VALUE', arg=None, argval=None)

    View full-size slide

  74. План
    ✤ Устанавливаем import hook
    ✤ Модифицируем и подменяем code-object
    ✤ Запускаем тесты
    ✤ Анализируем результаты

    View full-size slide

  75. Способа однозначно перевести любой опкод к строке
    кода не существует

    View full-size slide

  76. Способа однозначно перевести любой опкод к строке
    кода не существует

    View full-size slide

  77. Отчет. Ищем строки.
    ✤ При обходе сохраняем текущую строку
    ✤ При выводе опкода выводим текущую строку

    View full-size slide

  78. Отчет. Ищем строки.
    if a and b or c:
    Instruction(opname='LOAD_FAST', arg=2, argval='c', argrepr='c', offset=12)
    if a and b or c:
    Instruction(opname='POP_JUMP_IF_FALSE', arg=22, argval=22, argrepr='')

    return False
    Instruction(opname='LOAD_CONST', arg=2, argval=False, starts_line=3)
    return False

    Instruction(opname='RETURN_VALUE', arg=None, argval=None)
    ✤ При обходе сохраняем текущую строку
    ✤ При выводе опкода выводим текущую строку

    View full-size slide

  79. ✤ При обходе сохраняем текущую строку
    ✤ При выводе опкода выводим текущую строку
    Отчет. Ищем строки.
    if a and b or c:
    Instruction(opname='LOAD_FAST', arg=2, argval='c', argrepr='c', offset=12)
    if a and b or c:
    Instruction(opname='POP_JUMP_IF_FALSE', arg=22, argval=22, argrepr='')

    return False
    Instruction(opname='LOAD_CONST', arg=2, argval=False, starts_line=3)
    return False

    Instruction(opname='RETURN_VALUE', arg=None, argval=None)

    View full-size slide

  80. Отчет. Позиция в строке.
    ✤ Строка уже известна
    ✤ Вычислим позицию в строке для каждого типа
    опкода

    View full-size slide

  81. Отчет. Позиция в строке.
    if a and b or c:
    Instruction(
    opname='LOAD_FAST', opcode=124, offset=12,
    starts_line=None, is_jump_target=True,
    arg=2, argval='c', argrepr=‘c'
    )

    View full-size slide

  82. Отчет. Позиция в строке.
    if a and b or c:
    Instruction(
    opname='LOAD_FAST', opcode=124, offset=12,
    starts_line=None, is_jump_target=True,
    arg=2, argval='c', argrepr=‘c'
    )
    Instruction(
    opname='POP_JUMP_IF_FALSE', opcode=114, offset=15,
    starts_line=None, is_jump_target=False,
    arg=22, argval=22, argrepr=''
    )

    View full-size slide

  83. Отчет. Позиция в строке.
    ✤ Покрыв 70 типов опкодов удалось получить отчет
    ✤ Многие опкоды невозможно покрыть

    View full-size slide

  84. Отчет. Позиция в строке.
    ✤ Покрыв 70 типов опкодов удалось получить отчет
    ✤ Многие опкоды невозможно покрыть
    ----------- Report tests.test_code --------------
    1: if a and b or c:
    ^ LOAD_FAST
    1: if a and b or c:
    ^^^^^^^^^^^^^^^^ POP_JUMP_IF_FALSE
    3: return False
    ^^^^^ LOAD_CONST
    3: return False
    ^^^^^^^^^^^^ RETURN_VALUE

    View full-size slide

  85. Отчет. Позиция в строке.
    ----------- Report tests.test_code --------------
    1: if a and b or c:
    ^ LOAD_FAST
    1: if a and b or c:
    ^^^^^^^^^^^^^^^^ POP_JUMP_IF_FALSE
    3: return False
    ^^^^^ LOAD_CONST
    3: return False
    ^^^^^^^^^^^^ RETURN_VALUE
    ✤ Покрыв 70 типов опкодов удалось получить отчет
    ✤ Многие опкоды невозможно покрыть

    View full-size slide

  86. OpTrace. Что не так?
    ✤ Переменные в отчете не всегда отмечаются
    правильно
    ✤ Часть опкодов приходится пропускать
    ✤ Производительность неизвестна

    View full-size slide

  87. OpTrace. Что так?
    ✤ Трассировка работает хорошо
    ✤ Идея имеет право на жизнь

    View full-size slide

  88. OpTrace. Планы.
    ✤ Услышать мнение и критику сообщества

    View full-size slide

  89. OpTrace. Планы.
    ✤ Услышать мнение и критику сообщества
    ✤ Рефакторинг
    ✤ Тестирование
    ✤ Работа над улучшением отчета
    ✤ Плагин для pytest

    View full-size slide

  90. К чему это все?

    View full-size slide

  91. Библиотеки несовершенны

    View full-size slide

  92. 100% coverage расслабляет команду
    Библиотеки несовершенны

    View full-size slide

  93. 100% coverage расслабляет команду
    Библиотеки несовершенны
    100% coverage - просто ачивка

    View full-size slide

  94. Спасибо за внимание! Вопросы?
    mi.0-0.im
    tsyganov-ivan.com

    View full-size slide