Валидация и сериализация в 2023 году

Небольшая преза на тему pydantic, и его скоростного конкурента msgspec и небольшое их сравнение по скорости.

Transcript

1. # Денис Аникин https://xfenix.ru Валидация и сериализация в 2023 году
2. Денис Аникин 2 Что я делаю — работаю в Райфе — teamlead в 3 командах — community lead в Python Community — fullstack: typescript, python, devops https://xfenix.ru
3. Блин, чувак реально сделал доклад о pydantic…
5. Pydantic 5
7. Pydantic 7 О плюсах —Очень популярная —Легкая, удобная —На скорость особых жалоб не было, но… —Ядро на расте (теперь) — х5 к скорости
8. Pydantic 8 Как выглядит, если кто не видел class SomeUser(BaseModel): client_fio: str client_gender: tuple[int, ...] phone_of_mama: int card_balance: decimal.Decimal probability_of_fail: float ready_to_move_on: bool traits: tuple[ typing.Literal["immortality", "omniprecense", "omnipower", "superspeed"], ... ] music_he_hates: frozenset[ typing.Literal["kallyanni_rap", "hookah_pop", "rock", "jazz", "folk"] ]
9. Некоторым не нравится переход на версию 2 9
10. Strict vs Lax 10
11. Странное в pydantic 11
12. 12 Dataclasses from pydantic.dataclasses import dataclass @dataclass class User: id: int name: str = 'John Doe' signup_ts: datetime = None user = User(id='42', signup_ts='2032-06-21T12:00') print(user) """ User(id=42, name='John Doe', signup_ts=datetime.datetime(2032, 6, 21, 12, 0)) """
13. 13 Validate_call from pydantic import ValidationError, validate_call @validate_call def repeat(s: str, count: int, *, separator: bytes = b'') -> bytes: ... try: c = repeat('hello', 'wrong') except ValidationError as exc: print(exc) """ 1 validation error for repeat 1 Input should be a valid integer, unable to parse string as an integer [type=int_parsing, input_value='wrong', input_type=str] """
15. 15 BaseSettings class Settings(BaseSettings): auth_key: str = Field(validation_alias='my_auth_key') redis_dsn: RedisDsn = Field( 'redis://user:pass@localhost:6379/1', validation_alias=AliasChoices('service_redis_dsn', 'redis_url'), )
16. Если прошли мимо хайпа, гляньте, не пожалеете 16
17. Не то чтобы нам чего- то не хватало, но… 17
18. MsgSpec 18
20. MsgSpec 20 Что там интересного —Zero-cost schema validation —Speedy Struct type for representing structured data —High performance encoders/decoders for common protocols. The JSON and MessagePack implementations regularly benchmark as the fastest options for Python
21. 21 Скорость энкодеров/декодеров
22. 22 Валидация
23. 23 Память на парсинг 65 мегабайт json
24. 24 Рантайм работа с классами
25. Интересное по рантайм работе 25 —Быстро импортируются —Создание инстанса оглушительно быстрое (в 50 раз быстрее pydantic) —Сравнение от 6 до 500 раз быстрее других альтернатив —Сравнение больше, меньше и т.п. быстрее от 10 до 70 раз
27. 27 Трюки со сборщиком
29. Поговорим о фишках библиотеки 29
30. 30 Можно использовать как json декодер import msgspec # once msgspec.json.decode(b'{"hello":"world"}') # multiple decoder = msgspec.json.Decoder() decoder.decode(b'{"hello":"world"}')
31. 31 Typed декодер! import msgspec class User(msgspec.Struct): name: str groups: set[str] = set() email: str | None = None msgspec.json.decode( b'{"name": "alice", "groups": ["admin", "engineering"]}', type=User ) msgspec.json.decode( b'{"name": "bill", "groups": ["devops", 123]}', type=User ) """ Traceback (most recent call last): File "<stdin>", line 1, in <module> msgspec.ValidationError: Expected `str`, got `int` - at `$.groups[1]` """
32. Lax режим тоже есть 32
33. 33 Struct — основная вещь import msgspec from typing import Set, Optional class User(msgspec.Struct): """A struct describing a user""" name : str email : Optional[str] = None groups : Set[str] = set()
34. 34 Пример декодинга >>> class User2(msgspec.Struct): ... name: str ... groups: set[str] = set() ... email: str | None = None ... phone : str | None = None ... >>> new_dec = msgspec.json.Decoder(User2) >>> new_dec.decode('{"name": "kek", "groups": ["a", "b"], "email": "kek@kek.com", "phone": "+76661313"}') User2(name='kek', groups={'a', 'b'}, email='kek@kek.com', phone='+76661313')
35. Отдельной строкой: адекватный парсинг datetime с iso8601 35
36. В основном все, что есть в pydantic, но + сразу decoder/encoder 36
37. Есть «ограничения», чем-то похожие на strict типы pydantic 37
38. Они используют typing.Annotated 38
39. Есть поддержка toml, yaml, msgpack 39
40. https://github.com/xfenix/python-kebab-2023/
41. Зачем нам эта информация? 41
46. # Спасибо! Подписывайтесь на гитхабе! Денис Аникин https://xfenix.ru/ https://github.com/xfenix/