Moscow Python Meetup №84. Иван Кривошеев (Positive Technologies, ведущий разработчик). Покрываем ржавчиной Python: способы интеграции

В своем докладе расскажу о способах интеграции Python и Rust.

Видео: https://youtu.be/eDZHEkKZXuU

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Покрываем “ржавчиной” Python Иван Кривошеев
2. Иван Кривошеев О себе • Ведущий разработчик в продукте PT Sandbox • Пишу на Python и Rust (в проде) • 10 лет в разработке • Люблю Open Source • Вечерами пишу на Си
3. • Почему стоит покрывать Python “ржавчиной” • Как покрывать Python “ржавчиной” • Поговорим про сборку пакета на Rust для Python • Проблемы при интеграции Python и Rust О чем доклад
4. Почему стоит покрывать Python “ржавчиной”
5. • Оптимизация узких мест в Python • Возможность параллельной обработки с использованием нескольких ядер • Перестать блокировать event-loop при “тяжелых” CPU задачах Задачи
6. • Компилируется в бинарный код • Легко интегрируется с Python • Имеет хорошую экосистему • Помогает не “выстрелить себе в ногу” Требования
7. Кандидаты С С++ Rust
8. Почему Rust • Есть учебник (https://doc.rust-lang.org/book/) • Прекрасная документация (https://docs.rs/) • Удобная система сборки проектов • Концепция владения объектами • Легкая в освоении многопоточность • Очень трудно “выстрелить себе в ногу” • Удобная интеграция с Python
9. Как покрывать Python “ржавчиной” 1. Отдельный микросервис 2. “Сишный” интерфейс на Rust 3. PyO3
10. Как покрывать Python “ржавчиной” 1. Отдельный микросервис. Проблема - сложная интеграция 2. “Сишный” интерфейс на Rust. Проблема - монструозный код и много обвязки
11. PyO3 • https://github.com/PyO3/pyo3 • https://docs.rs/pyo3/latest/pyo3/ • https://pyo3.rs/v0.20.0/
12. Функция
13. Класс
14. Модуль
15. Cargo.toml
16. setup.py
17. Сборка
18. Wheel {distribution}-{version}(-{build tag})?-{python tag}-{abi tag}-{platform tag}.whl • distribution - имя пакета • version - версия пакета • build tag - опциональное поле с номером сборки Ссылки: • https://packaging.python.org/en/latest/specifications/platform-compatibility-tag s/#platform-compatibility-tags • https://peps.python.org/pep-0427/
19. Python tag • py: Generic Python • cp: Cpython • ip: IronPython • pp: PyPy • jy: Jython
20. ABI3 tag
21. ABI соглашение на бинарном уровне, после компиляции программы в бинарный код > ABI/API API соглашение на уровне кода, до компиляции программы в бинарный код. >
22. ABI tag • none - не требует никакой совместимости на уровне ABI • cp33d - CPython 3.3 с отладочными символами • abi3
23. Python Limited С API/Stable ABI • Python3.2 - предоставил ограниченный набор из Python С API и дал Гарантии • Python дает гарантии что в libpython*.so будет определённый набор “символов”, которые останутся совместимы во всех Python3.x версиях • <libname>.abi3.so Ссылка: https://docs.python.org/3/c-api/stable.html
24. Ограничения • Может уменьшиться скорость исполнения кода • Не дает гарантии, что код собранный под Python младшей версии, соберется под Python более старшей версии • Python не проверяет, что <libname>.abi3.so - собрано под запускаемой версией Python • Стабильность ABI - также зависит от платформы, на которой запускается модуль
25. manylinux • manylinux_${GLIBC_MAJOR}_${GLIBC_MINOR}_${ARCH} • manylinux1_* - алиас: manylinux_2_5 • manylinux2010_* - алиас: manylinux_2_12 • manylinux2014_* - алиас: manylinux_2_14 Ссылка: https://peps.python.org/pep-0600/
26. setup.py
27. Cargo.toml
28. Сборка
29. Python
30. Проблемы • Неудобная работы с памятью • Неудобная работа с исключениями • На больших проектах страдает время сборки • PyO3 - неконсистентное API • PyO3 - много неявного копирования и создания объектов
31. Спасибо!
32. habrahabr.ru/ company/pt vk.com/ ptsecurity t.me/ positive_technologies t.me/ positive_investing
33. pt@ptsecurity.com ptsecurity.com