Игорь Шевченко. Управление зависимостями в Python в 2017

Систему управления зависимостями в Python часто критикуют из-за наличия проблем, уже решенных в других языках. К счастью, в последние годы ситуация стала улучшаться. В своем докладе я расскажу о сложностях, возникающих при использовании pip, и покажу, как новые инструменты (Pipfile, Pipenv) делают установку пакетов надежнее и удобнее

Transcript

1. Управление зависимостями в Python в 2017 Игорь Шевченко, Antida software
2. pip
3. pip
4. pip: установка пакетов pip install django pip install requests $ $
5. pip: сохранение в файл pip freeze > requirements.txt $
6. requirements.txt certifi==2017.7.27.1 chardet==3.0.4 Django==1.11.4 idna==2.6 pytz==2017.2 requests==2.18.4 urllib3==1.22
7. pip: установка из файла pip install -r requirements.txt $
8. pip: удаление пакета pip uninstall requests $
9. Проблемы
10. Проблема 1: обновление файла
11. --save Проблема 1: npm npm install jquery $
12. Проблема 1: решение pip install celery pip freeze | grep celery >> requirements.txt $ $
13. Проблема 2: глобальная установка пакетов
14. Проблема 2: решение virtualenv
15. Проблема 3: фиксирование версий
16. Проблема 3: граф зависимостей app django requests pytz certifi chardet idna urllib3
17. Проблема 3: все зависимости certifi==2017.7.27.1 chardet==3.0.4 Django==1.11.4 idna==2.6 pytz==2017.2 requests==2.18.4 urllib3==1.22
18. Проблема 3: основные зависимости django==1.11 requests
19. Проблема 3: решение Два файла: requirements.txt и requirements.lock.txt
20. Проблема 4: dev-зависимости
21. --save-dev Проблема 4: npm npm install jquery --save npm install grunt $ $
22. Проблема 4: npm npm install npm install --production $ $
23. Проблема 4: решение Два файла: requirements.txt и dev-requirements.txt
24. -r requirements.txt Проблема 4: dev-requirements.txt pytest==3.2.3
25. Проблема 5: ад зависимостей
26. Проблема 5: конфликтующие зависимости app foo-client==1.2.1 bar-client==3.6.6 requests==2.3.1 requests==2.5.2
27. Проблема 5: решение Всё сложно. https://tech.knewton.com/blog/2015/09/the-nine- circles-of-python-dependency-hell/
28. Проблема 6: тайпосквоттинг
29. djanngo Проблема 6: пример pip install $
30. Проблема 6: npm Недавно был инцидент с пакетами, ворующими секретные токены https://iamakulov.com/notes/npm-malicious-packages/
31. Проблема 6: решение Хорошие ребята сами занимают похожие имена https://www.pytosquatting.org/
33. Pipfile https://github.com/pypa/pipfile
34. Pipfile: формат файла [[source]] url = 'https://pypi.python.org/simple' verify_ssl = true [requires] python_version = '3.6' [packages] requests = { extras = ['socks'] } Django = '>1.10' [dev-packages] pytest = '*'
35. [[source]] url = 'https://pypi.python.org/simple' verify_ssl = true [requires] python_version = '3.6' [packages] requests = { extras = ['socks'] } Django = '>1.10' [dev-packages] pytest = '*'
36. Pipfile: lock-файл { "_meta": { "hash": { "sha256": "73d81f4fbe42d1da158c5d4435d9...", }, "requires": [ {"marker": "python_version", "specifier": "3.6"} ], "sources": [ {"url": "https://pypi.python.org/simple", "verify_ssl": true}, ] }, "default": [ {"name": "Django", "version": "1.10.3", "hash": "..."}, {"name": "requests", "version": "2.12.1", "hash": "..."}, {"name": "PySocks", "version": "1.5.6", "hash": "..."}, ], "development": [ {"name": "pytest", "version": "3.2.3", "hash": "..."}, ] }
37. { "_meta": { "hash": { "sha256": "73d81f4fbe42d1da158c5d4435d9...", }, "requires": [ {"marker": "python_version", "specifier": "3.6"} ], "sources": [ {"url": "https://pypi.python.org/simple", "verify_ssl": true}, ] }, "default": [ {"name": "Django", "version": "1.10.3", "hash": "..."}, {"name": "requests", "version": "2.12.1", "hash": "..."}, {"name": "PySocks", "version": "1.5.6", "hash": "..."}, ], "development": [ {"name": "pytest", "version": "3.2.3", "hash": "..."}, ] }
38. pipenv
39. pipenv pipenv = pip + Pipfile + virtualenv https://github.com/kennethreitz/pipenv
40. pipenv: установка pip install pipenv $
41. pipenv: старт проекта cd my_project pipenv install $ $
42. pipenv: добавление пакета pipenv install django pipenv install pytest --dev $ $
43. pipenv: обновление лок-файла pipenv lock $
44. pipenv: удаление пакета pipenv uninstall django $
45. pipenv: восстановление среды pipenv install $
46. pipenv: исполнение команд pipenv shell pipenv run python my_project.py $ $
47. Проблемы решены • Обновление файла ✔ • Глобальная установка пакетов ✔ • Фиксирование версий ✔ • Dev-зависимости ✔
48. pipenv: обнаружение конфликтов версий [[source]] url = "https://pypi.python.org/simple" verify_ssl = true [packages] idna = "==2.7" requests = "*"
49. CRITICAL:pip.index:Could not find a version that satisfies the requirement idna==2.7 pipenv: обнаружение конфликтов версий pipenv install Locking [dev-packages] dependencies… Locking [packages] dependencies… (from versions: 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 1.1, 2.0 2.1, 2.2, 2.3, 2.4, 2.5, 2.6) Warning: Your dependencies could not be resolved. You likely have a mismatch in your sub-dependencies. You can use $ pipenv install --skip-lock to bypass this mechanism, then run $ pipenv graph to inspect the situation. $
50. Проблемы решены • Обновление файла ✔ • Глобальная установка пакетов ✔ • Фиксирование версий ✔ • Dev-зависимости ✔ • Ад зависимостей ✔
51. djanngo django pipenv: защита от тайпосквоттинга pipenv install Did you mean ? [Y/n]: $
52. Проблемы решены • Обновление файла ✔ • Глобальная установка пакетов ✔ • Фиксирование версий ✔ • Dev-зависимости ✔ • Ад зависимостей ✔ • Тайпосквоттинг ✔
53. Дополнительные фичи
54. Безопасность: проверка хешей
55. Безопасность: оповещение об уязвимостях
56. os_name = "== 'windows'" Условная установка [[source]] url = "https://pypi.python.org/simple" verify_ssl = true [packages] requests = "*" pywinusb = {version = "*", }
57. markers="""\ python_version < '2.7.9' or \ (python_version >= '3.0' and python_version < '3.4') \ """ Условная установка [packages] unittest2 = {version = ">=1.0,<3.0", }
58. Opening 'C:\\Users\\igor\\.virtualenvs\\pipenv-I9XgK3SA \\lib\\site-packages\\requests' in your EDITOR. Открытие модулей pipenv open requests $
59. Еще фичи • Установка питона нужной версии через pyenv • Загрузка переменных среды из файла • Проверка стиля кода • Генерация requirements.txt из Pipfile • Работа без virtualenv • Визуализация дерева зависимостей • Обнаружение неиспользуемых зависимостей
60. Переходите на pipenv!
61. Вопросы? Слайды: https://igor-shevchenko.github.io/python-deps-2017 Почта: mail@igorshevchenko.ru Твиттер: @igorshevchenko_
62. Спасибо автору картинок Created by Gan Khoon Lay from the Noun Project