Moscow Python Meetup №92. Евгений Блинов (Яндекс, Руководитель команды интеграции робототехнических решений). Расширяем возможности стандартной библиотеки.

Иногда мы хотим написать что-то свое, но так, чтобы оно осталось совместимым с кодом, который опирается на стандартную библиотеку. Так можно!

Видео: https://moscowpython.ru/meetup/93/expand-standard-lib/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Евгений Блинов Руководитель команды интеграции робототехнических решений Расширяем возможности стандартной библиотеки
2. Обо мне Работаю тимлидом в команде интеграции робототехнических решений Yandex Robotics Обожаю Python и регулярно на нем пишу. В свободное время делаю опенсорс Telegram: @blinof GitHub: github.com/pomponchik LinkedIn: linkedin.com/in/pomponchik Личный сайт: pomponchik.org
3. Штош
4. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности
5. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности • Отдельные компоненты СБ могли устареть
6. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности • Отдельные компоненты СБ могли устареть • Создатели СБ могли что-то не предусмотреть
7. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности • Отдельные компоненты СБ могли устареть • Создатели СБ могли что-то не предусмотреть • Вы добавляете поддержку новой ОС (пример: shlex -> mslex)
8. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности • Отдельные компоненты СБ могли устареть • Создатели СБ могли что-то не предусмотреть • Вы добавляете поддержку новой ОС (пример: shlex -> mslex) • Вы хотите все ускорить (asyncio loop -> uvloop, json -> ujson)
9. Зачем вообще нужно дополнять стандартную библиотеку? • У вас могут быть специфические потребности • Отдельные компоненты СБ могли устареть • Создатели СБ могли что-то не предусмотреть • Вы добавляете поддержку новой ОС (пример: shlex -> mslex) • Вы хотите все ускорить (asyncio loop -> uvloop, json -> ujson) • Вы переписываете все, что есть в питоне, на раст
10. Это не безрисковая история • Привязка к стандартам – не панацея: ◦ Непопулярные либы регулярно выпиливаются (см. PEP 594 и др.) ◦ Стандарты консервируют неудачные решения ◦ Стандарты могут конфликтовать (например, PEP-8 против java-style библиотек вроде logging)
11. Это не безрисковая история • Привязка к стандартам – не панацея: ◦ Непопулярные либы регулярно выпиливаются (см. PEP 594 и др.) ◦ Стандарты консервируют неудачные решения ◦ Стандарты могут конфликтовать (например, PEP-8 против java-style библиотек вроде logging) • Старайтесь не привязываться к устаревшим компонентам: по крайней мере, к депрекейтнутым или нарушающим другие стандарты
12. Как вообще это делается? Есть несколько путей: • Попробовать засунуть свой патч в СБ официально: долго, дорого, о**енно
13. Как вообще это делается? Есть несколько путей: • Попробовать засунуть свой патч в СБ официально: долго, дорого, о**енно • Написать свое расширение, повторяющее протоколы из СБ
14. Как вообще это делается? Есть несколько путей: • Попробовать засунуть свой патч в СБ официально: долго, дорого, о**енно • Написать свое расширение, повторяющее протоколы из СБ • Сделать все “на глазок” (очень много расширений поступают именно так)
15. Как вообще это делается? Есть несколько путей: • Попробовать засунуть свой патч в СБ официально: долго, дорого, о**енно • Написать свое расширение, повторяющее протоколы из СБ • Сделать все “на глазок” (очень много расширений поступают именно так) Я выбираю второй путь
16. Че за протоколы, кста? • Протоколы доступны c Python 3.8 и позволяют с помощью тайп-чекера убедиться, что разные классы и использующий их код совместимы между собой
17. Че за протоколы, кста? • Протоколы доступны c Python 3.8 и позволяют с помощью тайп-чекера убедиться, что разные классы и использующий их код совместимы между собой • Кстати, стандартная библиотека более ранних питонов расширяется с помощью typing_extensions
18. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем
19. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол
20. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол 3. Убедиться, что нужные компоненты из СБ следуют нашему протоколу
21. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол 3. Убедиться, что нужные компоненты из СБ следуют нашему протоколу 4. Написать свои реализации протокола
22. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол 3. Убедиться, что нужные компоненты из СБ следуют нашему протоколу 4. Написать свои реализации протокола 5. Убедиться, что они следуют протоколу
23. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол 3. Убедиться, что нужные компоненты из СБ следуют нашему протоколу 4. Написать свои реализации протокола 5. Убедиться, что они следуют протоколу 6. Опционально: написать либу-враппер (shlex + mslex -> oslex)
24. Итак, каков путь? 1. Определиться с тем, что из СБ мы забираем 2. Описать протокол 3. Убедиться, что нужные компоненты из СБ следуют нашему протоколу 4. Написать свои реализации протокола 5. Убедиться, что они следуют протоколу 6. Опционально: написать либу-враппер (shlex + mslex -> oslex) 7. Адаптировать пользовательский код: ◦ Реализовать DI для этого компонента и убедиться, что со СБ все работает ◦ Подставить свой компонент вместо стандартного
25. Погнали по порядку
26. 1. Огораживаем свою часть • Забираем в протокол только реально нужное • Стараемся не брать устаревшее / депрекейтнутое / спорное
27. 2. Описываем протокол
28. 3. Убеждаемся, что сама стандартная библиотека следует нашему протоколу • Это можно делать через isinstance() внутри теста, если использовать декоратор @runtime_checkable для протокола
29. 3. Убеждаемся, что сама стандартная библиотека следует нашему протоколу • Это можно делать через isinstance() внутри теста, если использовать декоратор @runtime_checkable для протокола • Также желательно натравить mypy на тесты, можно без –strict режима
30. 3. Убеждаемся, что сама стандартная библиотека следует нашему протоколу • Это можно делать через isinstance() внутри теста, если использовать декоратор @runtime_checkable для протокола • Также желательно натравить mypy на тесты, можно без –strict режима • Стандартная библиотека меняется, не забываем про matrix с разными версиями питона
31. 4. Написать свои реализации протокола • Наследоваться не обязательно (и даже не желательно, а то isinstance() может начать врать)
32. 4. Написать свои реализации протокола • Наследоваться не обязательно (и даже не желательно, а то isinstance() может начать врать) • Кстати, протокол можно расширять
33. 4. Написать свои реализации протокола • Наследоваться не обязательно (и даже не желательно, а то isinstance() может начать врать) • Кстати, протокол можно расширять • Если расширяете протокол, не забудьте указать в доке, что это именно расширение протокола, и как эта штука взаимодействует со СБ
34. 4. Написать свои реализации протокола • Наследоваться не обязательно (и даже не желательно, а то isinstance() может начать врать) • Кстати, протокол можно расширять • Если расширяете протокол, не забудьте указать в доке, что это именно расширение протокола, и как эта штука взаимодействует со СБ • Кстати, протоколы нельзя использовать совместно с абстрактными классами
35. 5. Убедиться, что собственные реализации протокола следуют ему Здесь все аналогично проверке самой стандартной библиотеки
36. 6. Опционально: написать либу-враппер • Актуально для ОС-зависимых либ
37. 6. Опционально: написать либу-враппер • Актуально для ОС-зависимых либ • Делаем опциональные импорты за клиента (с ними бывает много геморроя)
38. 6. Опционально: написать либу-враппер • Актуально для ОС-зависимых либ • Делаем опциональные импорты за клиента (с ними бывает много геморроя) • Содержимое либы-враппера будет выглядеть примерно так:
39. 7. Адаптировать пользовательский код • Убеждаемся, что пользовательский код покрыт тестами и тайпчекается
40. 7. Адаптировать пользовательский код • Убеждаемся, что пользовательский код покрыт тестами и тайпчекается • Выносим нашу зависимость от СБ в DI: ◦ https://en.wikipedia.org/wiki/Dependency_injection ◦ DI-фреймворки тут не нужны!
41. 7. Адаптировать пользовательский код • Убеждаемся, что пользовательский код покрыт тестами и тайпчекается • Выносим нашу зависимость от СБ в DI: ◦ https://en.wikipedia.org/wiki/Dependency_injection ◦ DI-фреймворки тут не нужны! • Убеждаемся, что тесты и тайпчеки проходят
42. 7. Адаптировать пользовательский код • Убеждаемся, что пользовательский код покрыт тестами и тайпчекается • Выносим нашу зависимость от СБ в DI: ◦ https://en.wikipedia.org/wiki/Dependency_injection ◦ DI-фреймворки тут не нужны! • Убеждаемся, что тесты и тайпчеки проходят • Подменяем реализацию со стандартнобиблиотечной на свою
43. 7. Адаптировать пользовательский код • Убеждаемся, что пользовательский код покрыт тестами и тайпчекается • Выносим нашу зависимость от СБ в DI: ◦ https://en.wikipedia.org/wiki/Dependency_injection ◦ DI-фреймворки тут не нужны! • Убеждаемся, что тесты и тайпчеки проходят • Подменяем реализацию со стандартнобиблиотечной на свою • Убеждаемся, что тесты и тайпчеки продолжают проходить
44. Погнали к примерам
45. emptylog
46. Задача: научиться тестировать логи • Кто вообще пишет тесты на логирование? • Я иногда пишу, это не очень-то удобно • https://github.com/pomponchik/emptylog
47. Протокол логгера
48. Пустой логгер Ничего не делает.
49. Запоминающий логгер
50. Печатающий логгер
51. Расширение протокола: суммирование логгеров Очень полезно для тестов.
52. locklib
53. Пишем свои мьютексы • Стандартная библиотека дает много примитивов синхронизации, но их никогда не бывает слишком много • https://github.com/pomponchik/locklib
54. Протоколы локов
55. Лок без дедлоков
56. Закругляемся
57. Короче: • Стандартную библиотеку можно расширять, но с осторожностью
58. Короче: • Стандартную библиотеку можно расширять, но с осторожностью • Наш путь – делать это через протоколы
59. Короче: • Стандартную библиотеку можно расширять, но с осторожностью • Наш путь – делать это через протоколы • Протоколы нужно правильно очерчивать
60. Короче: • Стандартную библиотеку можно расширять, но с осторожностью • Наш путь – делать это через протоколы • Протоколы нужно правильно очерчивать • Обязательно прокладываем путь для встраивания в существующий код
61. Короче: • Стандартную библиотеку можно расширять, но с осторожностью • Наш путь – делать это через протоколы • Протоколы нужно правильно очерчивать • Обязательно прокладываем путь для встраивания в существующий код • Мы увидели примеры: ◦ emptylog ◦ locklib
62. Евгений Блинов Руководитель команды интеграции робототехнических решений Наэтомвсе Ваши вопросы :)