Проверка типов в большом проекте

Опыт внедрения проверки типов с помощью mypy в ЦИАН
Выступление на PyCon Russia 2019

Transcript

1. 1 Проверка типов в большом проекте Максим Мазаев
2. Программист в ЦИАН 6 лет пишу на Python Спикер PyCon, Moscow Python Conf++ 2 О себе
3. О чем я расскажу 3 • Статическая типизация. Плюсы, минусы, подводные камни
4. О чем я расскажу 4 • Статическая типизация. Плюсы, минусы, подводные камни • Инструменты проверки типов
5. О чем я расскажу 5 • Статическая типизация. Плюсы, минусы, подводные камни • Инструменты проверки типов • Практические проблемы
6. 6 def say_hi(name: str) -> None: print(f’Hi, {name}!’)
7. • 1 млн уникальных пользователей в сутки • 200+ микросервисов (120 на Python) • 100+ разработчиков • 30 питонистов 7 О ЦИАН
8. Взрывной рост IT департамента (10x за 4 года) 8 2016 год в ЦИАН
9. Взрывной рост IT департамента (10x за 4 года) 9 2016 год в ЦИАН Проблема: тратим время на понимание чужого кода
10. def serialize_entity( entity, strip_description_tags, reviews, ): 10 WTF WTF WTF WTF
11. def serialize_entity( entity: Offer, strip_description_tags: bool, reviews: List[Review], ) -> SerializedEntity: 11 PEP 484
12. 2016 год в ЦИАН 12 Начинаем покрывать тайпхинтами весь новый код 2016 2019 100% ~95% кода с тайпхинтами
13. 2016 год в ЦИАН 13 Пишем тайпхинты, без проверки тайпчекером
14. 2016 год в ЦИАН 14 • Профит сразу Пишем тайпхинты, без проверки тайпчекером
15. 2016 год в ЦИАН 15 • Профит сразу • Самодокументированный код Пишем тайпхинты, без проверки тайпчекером
16. 2016 год в ЦИАН 16 • Профит сразу • Самодокументированный код • Быстрый онбординг Пишем тайпхинты, без проверки тайпчекером
17. 2016 год в ЦИАН 17 • Профит сразу • Самодокументированный код • Быстрый онбординг • Проверка есть в линтере и редакторах * Пишем тайпхинты, без проверки тайпчекером
18. Прошло 2 года... 18
19. Проблема: Наши тайпхинты не всегда консистентны 19
20. Проблема: Наши тайпхинты не всегда консистентны 20 Нужен тайпчекер
21. Выбор тайпчекера 21 mypy (Dropbox) pyright (Microsoft) pyre (Facebook) pytype (Google)
22. Выбор тайпчекера 22 mypy
23. Почему mypy? 23 • Активно развивается
24. Почему mypy? 24 • Активно развивается • Написан на Python
25. Почему mypy? 25 • Активно развивается • Написан на Python • Расширяемый (плагины)
26. Первые препятствия 26
27. 27 Несовпадение типов В каждом сервисе есть невалидные тайпхинты Исправление занимает время (до 4-5 часов)
28. 28 Type stubs для внешних зависимостей def get_reviews(key: int) -> List[Reviews]: ...
29. https://github.com/python/typeshed - для популярных библиотек 29 Type stubs для внешних зависимостей def get_reviews(key: int) -> List[Reviews]: ...
30. https://github.com/python/typeshed - для популярных библиотек PEP 561 - Distributing and Packaging Type Information 30 Type stubs для внешних зависимостей def get_reviews(key: int) -> List[Reviews]: ...
31. 31 Я не хочу писать типы руками Инструменты для генерации аннотаций типов: pyannotate pytest-annotate
32. 32 Метаклассы class Builder(Entity): name = String() b = Builder(name="xxx") gimme_builder(b) # OK gimme_dict(b.name) # Не ОК, но mypy не против
33. 33 Метаклассы Плагины решают проблему с метаклассами
34. • Есть готовые: dataclasses, attrs, Django, SQLAlchemy etc. • Можно написать свои 34 Плагины mypy
35. • Есть готовые: dataclasses, attrs, Django, SQLAlchemy etc. • Можно написать свои WARNING: нестабильное API и мало документации 35 Плагины mypy
36. 36 Что почитать по разработке плагинов Статья «Extending mypy with plugins» http://tiny.cc/mypy_plugins Чат про типы https://gitter.im/python/typing
37. 37 Давайте поможем mypy определить тип set_data[type_.name].append(get_value(foo))
38. 38 Давайте поможем mypy определить тип set_data[type_.name].append(get_value(foo)) • cast()
39. 39 Давайте поможем mypy определить тип set_data[type_.name].append(get_value(foo)) • cast() • # type: ignore
40. Регулярная проверка всей кодовой базы 40 Следующий этап EAT. SLEEP. MYPY. REPEAT.
41. 41 Интеграция с CI/CD + mypy =
42. 42 Интеграция с CI/CD + mypy =
43. 43 Подробнее про наш CI/CD: РИТ++ 2019 Александр Коротков « Как доставить быстро и без боли. Автоматизируем релизы»
44. • Хорошее дополнение к тестам и линтеру 44 Польза от проверки типов
45. • Хорошее дополнение к тестам и линтеру • Повод для самоанализа - а мой код точно хороший? 45 Польза от проверки типов
46. • Хорошее дополнение к тестам и линтеру • Повод для самоанализа - а мой код точно хороший? • Тайпхинтам можно верить 46 Польза от проверки типов
47. • Хорошее дополнение к тестам и линтеру • Повод для самоанализа - а мой код точно хороший? • Тайпхинтам можно верить • Люди быстрее вливаются в проект 47 Польза от проверки типов
48. Качество 48 Польза от проверки типов Time To Market
49. 49 Напутствие напоследок
50. • Действуйте итеративно 50 Напутствие напоследок
51. • Действуйте итеративно • Инструмент вторичен, проверка типов уже есть в вашей IDE 51 Напутствие напоследок
52. 52 Максим Мазаев mazaev.maxim@gmail.com facebook.com/mazaev.maksim Пишите аннотации типов - это затягивает!