Я ускорил всё, кроме себя

В своём докладе я даю слушателям самый полный и понятный список лучших решений для всего в бэкендах. Это небольшая энциклопедия лучших решений, многие из которых я и коллеги как следует «притёрли» в продакшене. Фреймворки, библиотеки, сервера, даже немного десктоп софта, сравнения — будет всё, а на что-то мы и вовсе посмотрим с неожиданных сторон. И многое из этого быстрое!

https://pycon.ru/ya-uskoril-vsyo-krome-sebya

Transcript

1. Денис Аникин, https://xfenix.ru Я ускорил всё, кроме себя
2. Что я такое? — Я техлид/комьюнити лид — fullstack, python, typescript, devops, микросервисы, kubernetes — Выступаю на конференциях — Отвечаю за внутреннее сообщество питонистов https://xfenix.ru 2 Кто я?
3. О чём будет доклад?
4. Эволюция софта 1 Всё очень быстрое сразу
5. Э? Но оно же итак быстрое? Эволюция софта 2 Всё быстрое, да ещё и ускоряется каждый релиз
6. « Умные розетки, умные светильники, умные микроволновки, умные холодильники, умные браслеты. Все умные, один ты <не умный>! » ©
7. Тревожный слайд — Весь софт все быстрее и быстрее — Нейросети нас заменяют (если верить газетам) — Ускоряются даже сами языки — Когда не хватает и этого, появляются более быстрые языки — Одни мы не ускоряемся…
8. Нам. Надо. Делать. Быстрее. Всё
9. Что выбираем — Все python- и backend- связанное (библиотеки, фреймворки) — Инфраструктура — Тулы для разработки — Тулы для качества кода
10. По каким принципам — Самые быстрые — (Или) Самые практичные — (Если возможно) Обкатанные
11. Ну отлично, доклад о скорости не про скорость. Все как мы любим
12. Вообще нет, но в данный момент нет
13. Мы выбираем либо самое быстрое, либо то, что нас ускоряет
14. Тут быстро Тут бизнес доволен Мы где-то тут
15. Давайте выбирать!
17. Это база
18. Pytest
19. Backend > Тесты > Pytest
20. На что обратить внимание — pytest.fixture — pytest.mark.parametrize — pytest randomly — pytest xdist Backend > Тесты > Pytest
21. Где скорость? — В параллелизации/в скорости доставки ценности — Тесты изначально должны быть параллельными Backend > Тесты > Pytest
22. Рандомизация/ fuzzing
23. Наш победитель — polyfactory Backend > Тесты > Polyfactory
24. Как это выглядит @dataclass class Person: name: str age: float height: float weight: float class PersonFactory(DataclassFactory[Person]): __model__ = Person def test_is_person() -> None: person_instance = PersonFactory.build() assert isinstance(person_instance, Person)
25. Взяли за хорошую интеграцию с litestar и лаконичность
26. Hypothesis
27. Лучшие тесты — property + fuzzy Backend > Тесты > Hypothesis
28. Backend > Тесты > Hypothesis
29. Schemathesis
30. Не повторяйте ошибку Backend > Тесты > Schemathesis
31. Мы внедрили schemathesis в юниты/мелкую интеграцию
32. Это повлекло проблемы: пришлось мокать вообще всё в одном из тестов Backend > Тесты > Schemathesis
33. Backend > Тесты > Schemathesis
34. Мои выводы такие — schemathesis’у не место рядом с тестами в кодовой базе — лучше всего его приземлять в е2е тесты и натравливать на уже готовую тестовую среду Backend > Тесты > Schemathesis
35. Где скорость?
36. Ретраи
37. Начали мы с tenacity Backend > Ретраи
38. Backend > Ретраи
39. Почему отказались — Не очень нравилась дока — В реальных жизненных сценариях декораторы сильно раздувались Backend > Ретраи
40. Где скорость??? Backend > Ретраи
41. А мы не совсем про скорость Backend > Ретраи
42. ЭЙ Backend > Ретраи
43. Мы хотим быстро делать на быстрых решениях… и надежно! Backend > Ретраи
44. Далее мы ушли к backoff
45. Backend > Ретраи
46. Как это выглядит def fatal_code(e): return 400 <= e.response.status_code < 500 @backoff.on_exception(backoff.expo, requests.exceptions.RequestException, max_time=300, raise_on_giveup=False, giveup=fatal_code) def fetch_something(url): return requests.get(url)
47. Но backoff — всё Backend > Ретраи
48. Backend > Ретраи
49. Как это выглядит @stamina.retry(on=httpx.HTTPError, attempts=3) def do_it(code: int) -> httpx.Response: resp = httpx.get(f"https://httpbin.org/status/{code}") resp.raise_for_status() return resp
50. А зачем нам это? Backend > Ретраи
51. Минутка рекламы — Если вы пишете без ретраев, то попробуйте их внедрить — Любой запрос к внешнему ресурсу имеет смысл повторять (http запрос, запрос в любую базу, любой сетевой запрос, отправка в mq, чтение из mq и т.п.) — Повторы имеет смысл повторять через экспоненциальное время — Повторы всегда стоит ограничивать в количестве Backend > Ретраи
52. Где скорость?
53. Асинхронная работа с файлами
54. Ну… aiofiles? Backend > Асинхронная работа с файлами
55. Backend > Асинхронная работа с файлами
56. Ключевой минус — экзекьюторы под капотом Backend > Асинхронная работа с файлами
57. Backend > Асинхронная работа с файлами
58. Веб фреймворки
59. Лучший это — Backend > Фреймворки
60. Django Backend > Фреймворки
61. Backend > Фреймворки
62. …для сайтов и админок Backend > Фреймворки
63. FastAPI Backend > Фреймворки
64. Litestar Backend > Фреймворки
65. Backend > Фреймворки
66. Почему у нас litestar — умолчание — Как fastapi, только лучше — Умеет из коробки работать с базой — DTO — Контроллеры — Кеши, сторы — Каналы — <...> Backend > Фреймворки C алхимией
67. Где скорость?
68. Скорость — Как fastapi, только чуть быстрее — (Возможно) проигрывает blacksheep — Мы «дорабатываем» связкой с granian Backend > Фреймворки
69. Скорость: альтернативы — blacksheep — robyn Backend > Фреймворки
70. Websocket
72. Где скорость?
74. EDA
75. faststream Backend > EDA > faststream
76. Backend > EDA > faststream
77. «Fastapi» от мира MQ Backend > EDA > faststream
78. Как это выглядит broker = KafkaBroker("localhost:9092") app = FastStream(broker) class User(BaseModel): user: str = Field(..., examples=["John"]) user_id: PositiveInt = Field(..., examples=["1"]) @broker.subscriber("in") @broker.publisher("out") async def handle_msg(data: User) -> str: return f"User: {data.user} - {data.user_id} registered"
79. Менее очевидный плюс — asyncapi Backend > EDA > faststream
80. Backend > EDA > faststream
81. Где скорость?
82. DI
83. Пару слов о SOLID Backend > DI
84. Проблема: DI фреймворков уже очень много!
85. Только вдумайтесь — их уже более 15
86. Наш выбор Backend > DI
87. Написать своё Backend > DI
88. Backend > DI
89. Backend > DI > that-depends
90. По стопам dependency injector, только значительно проще… Backend > DI > that-depends
91. Где скорость?
92. Бенчмарки DI — игрушка дьявола
93. Качество кода
94. Качество кода — Очень базово — ruff check в режиме «черного списка» (включено все, погашено немного) в вашем CI/CD — ruff format — mypy — trivy
95. *ops штуки
96. Open telemetry?
97. Где скорость?
98. Нет её?
99. Разное
100. structlog + memory handler Backend > Разное
101. mpire Backend > Разное
102. aiorun Backend > Разное
103. httpx Backend > Разное
104. Почему не aiohttp/requests?
105. Отличный вопрос…
106. cookiecutter Backend > Разное
107. Неочевидное про шаблоны — Не стоит класть много кода в шаблон — Повторяемый код лучше выделить в библиотеку (у нас такая есть, microbootstrap) — Для обновления проектов из нового кукикаттера есть scaraplate — Можно посмотреть так же на nitpick Backend > Разное
108. Где скорость?
109. Скорость — mpire > multiprocessing — structlog + memory handler > все остальное логгирование — aiorun и кукикаттер про быстрое написание кода — с httpx неоднозначно (медленнее aiohttp, но полнее либа) Backend > Разное
110. APP сервер
111. Backend > APP сервер
112. NO
113. Backend > APP сервер > Granian
114. Почему — Лучше rps — Лучше latency — Нет проблем — Ну… rust Backend > APP сервер > Granian
115. Где скорость?
116. Без granian C granian Backend > APP сервер > Granian
117. Разница — 3Х
118. Инфра
119. Зачем мне devops штуки — DevOps — не человек… — …а 100 килограмм ценных технологий — …набор практик :) — dev + ops == любовь
120. In memory noSQL
121. — Двойная лицензия начиная с 2024 (SSPL) — Неоднозначная ситуация с SSPL — Необновляемый старый редис со старой лицензией — Общая неуверенность глобального сообщества — Отдельный форк от linux foundation — valkey 121 Почему меняем redis Infra > inmemory
122. 122 Infra > inmemory
123. Valkey
124. Valkey — Форк редиса 7.2 — Очень туманная документация (похоже, что «redis» поменяли на «valkey») — Всё тоже самое (но с очень-очень-очень светлым будущим) 124 Infra > inmemory > Valkey
125. Keydb
126. Мультипоточный форк редиса. Отстаёт от основных релизов Infra > inmemory > Keydb
127. Garnet
128. Garnet — Опять лучше всех — Сделан на C# — Ultra-low-latency (300 микросекунд!) 128 Infra > inmemory > Garnet
129. 129 Infra > inmemory > Garnet
130. 130 Introduction to Tsavorite Garnet’s storage layer, called Tsavorite, was forked from our prior open-source project FASTER. Tsavorite includes strong database features such as thread scalability, tiered storage support (memory, SSD, and cloud storage), fast non-blocking checkpointing, recovery, operation logging for durability, multi-key locking and transaction support, and better memory management and space reuse. Infra > inmemory > Garnet
132. Dragonfly
133. 133 Dragonfly? Infra > inmemory > Dragonfly
134. Dragonfly — Как redis, но лучше вообще во* всём** — Разработчики redis, кстати, обиделись и написали «13 Years Later — Does Redis Need a New Architecture?» — У них лучше trhoughput, эффективность хранения в памяти, эффективность хранения на диске, shared nothing, VLL, dash подход для хешей, fork-less снапшотинг — Умеет быть кластерным 134 *, ** По мнению разработчиков dragonfly Infra > inmemory > Dragonfly
135. 135 Infra > inmemory > Dragonfly
136. https://miro.com/app/board/uXjVK1UH5S8=/ Infra > inmemory > Dragonfly
137. Где скорость?
138. 138 Infra > inmemory > Dragonfly vs Garnet Dragonfly Garnet
139. Redis vs dragonfly — история любви
140. 140 Infra > inmemory > Dragonfly vs Keydb vs Redis
141. Dragonfly — неплохой выбор
142. MQ
143. Nats? Infra > MQ
144. Kafka? Infra > MQ
145. Где скорость?
146. Скорость — Nats jetstream в простых тестах достигает 270к на паб, 777к на саб — Kafka (от 10к qps до 2кк qps в зависимости от бенчмарка) 146 Infra > MQ
147. Аутентификация
148. Infra > Аутентификация > Keycloak
149. Всё просто — Аутентификация — единообразна в организации (чаще всего) — Вы не хотите писать очередной токен менеджмент — Тонна интеграций — Авторизация — специфична Infra > Аутентификация > Keycloak
151. Как это выглядит { "keys": [ { "kty": "RSA", "e": "AQAB", "x5t": "NjU3NDI5ZTZhODU0YjQzMGFiYzk…", "use": "sig", "kid": "e600c72b-125a-4b30-86a5-9697af62f2a1", "x5c": [ "MIICujCCAaKgAwIBAgIECI8fsTANBgkqhkiG9w0BAQ..." ], "alg": "RS256", "n": "lzRszUeQ4WiSq..” }, … ] }
152. Ваш навигатор
153. Ваш навигатор и помощник — cncf landscape
156. Где скорость?
157. Kubernetes
159. Где скорость?
160. Ingress
161. С ингрессами просто не бывает…
162. Infra > K8S ingress controller > Emissary
163. Infra > K8S ingress controller > Apisix
164. Собираем вместе — Apisix — Keycloack — https://apisix.apache.org/docs/apisix/plugins/openid-connect/ — Получаем всю авторизацию только на инфре Infra > K8S ingress controller > Apisix
166. Я вам больше скажу — межсервисную авторизацию вы можете провести через mTLS + apisix + istio Infra > K8S ingress controller > Apisix
167. Где скорость?
168. Скорость — Вы сэкономите кучу времени на разработке аутентификации/авторизации — А теперь пару бенчмарков… Infra > K8S ingress controller > Apisix
169. Infra > K8S ingress controller > Apisix
170. Ещё ops
171. Sentry (glitchtip) Infra > Ops
172. Prometheus (thanos) Infra > Ops
173. Grafana (+ tempo) Infra > Ops
174. Eventcatalog Infra > Ops
175. Api browser (backstage?) Infra > Ops
176. Кое-что ещё
178. Локальный сетап
179. Vscode Локальный сетап
180. Orb stack Локальный сетап
181. Iterm 2 Локальный сетап
182. Поздравляю, ускорились на все деньги
183. это, чтобы написать 1 рест ручку
185. А себя то ты чего не ускорил?
187. Спасибо! https://xfenix.ru