Debian пакеты. Анатомия и сборка.

Transcript

1. Debian пакеты Анатомия и сборка Александр Кошелев
2. Вопросы • Что такое пакет? • Как собираются пакеты? • Какие есть инструменты для сборки пакетов? • Как пакеты собирают в Яндексе?
3. Disclaimer • Результат исследований • Личный опыт • Личное мнение (оценочные суждения) • Debian = Ubuntu
4. Анатомия пакета • A Package is a specific piece of software which the system can install and uninstall • Дебиановский «пакет»: • Source package • Binary packages
5. Из source в binary
6. Из source в binary
7. Из source в binary package
8. Из source в binary package
9. Из source в binary package_1 package
10. Из source в binary package_1 package_2 package
11. Из source в binary package_1 package_2 package_3 package
12. Из source в binary package_1 package_2 package_3 ... package
13. Binary package • <package>_<ver>_<arch>.deb • Простой ar архив • Полезный контент + метаинформация • То что непосредственно ставится на машины
14. Внутри *.deb • debian-binary – текстовый файл с номером версии билд системы (2.0) • control.tar.gz – метаинформация и maintainer scripts • data.tar.gz – слепок файловой системы
15. Метаинформация • Название – Name • Версия – Version • Архитектура – Architecture • Разработчик – Maintainer • Описание – Description • Зависимости – Depends/Conflicts/ Provides/Replaces/Suggests/
16. Maintainer scripts • Скрипты, запускающиеся в разные моменты процесса установки/удаления пакета • preinst – до установки • postinst – после установки • prerm – до удаления • postrm – после удаления
17. Source package • <package>_<ver>.tar.gz – архив с деревом исходников • <package>_<ver>.dsc – метаинформация • <package>_<ver>_<arch>.changes
18. *.changes • Метаинформация • Описание бинарных пакетов • Чексуммы пакетов • PGP подпись
19. Source package (non-native) • <package>_<ver>.orig.tar.gz – оригинальный архив исходников из upstream • <package>_<ver>.diff.tar.gz – разница между оригинальными исходниками и дебианизированными
20. Native vs non-native • Native пакет содержит в себе как дебианизацию, так и код • Non-native содержит в себе только дебианизацию и отдельно код из upstream
21. Сборка Создание из дерева исходников готовых пакетов
22. Внутри debian/ • control – метаинформация • Описание source package • Описание всех binary packages • changelog – лог изменений • rules – скрипт, создающий файловую структуру бинарных пакетов
23. debian/rules • Скрипт, делающий основную работу по сборке бинарных пакетов • Обычно Makefile • Исполняемый файл • Принимает один аргумент – таргет
24. Таргеты
25. Таргеты • clean – очистка артефактов сборки
26. Таргеты • clean – очистка артефактов сборки • build – сборка бинарника
27. Таргеты • clean – очистка артефактов сборки • build – сборка бинарника • binary – раскладка в пакеты
28. Таргеты • clean – очистка артефактов сборки • build – сборка бинарника • binary – раскладка в пакеты • binary-arch
29. Таргеты • clean – очистка артефактов сборки • build – сборка бинарника • binary – раскладка в пакеты • binary-arch • binary-indep
30. Таргеты
31. Таргеты • clean – от текущего пользователя
32. Таргеты • clean – от текущего пользователя • build – от текущего пользователя
33. Таргеты • clean – от текущего пользователя • build – от текущего пользователя • binary – от root’а (благодаря fakeroot)
34. Таргеты • clean – от текущего пользователя • build – от текущего пользователя • binary – от root’а (благодаря fakeroot) • binary-arch – от root’а
35. Таргеты • clean – от текущего пользователя • build – от текущего пользователя • binary – от root’а (благодаря fakeroot) • binary-arch – от root’а • binary-indep – от root’а
36. debian/rules на Python
37. debian/rules на Python
38. dh_make • Bootstrap для нового пакета • Создает debian директорию по заданному шаблону
39. Инструменты сборки • dpkg-buildpackage • debuild • pbuilder
40. dpkg-buildpackage • Правильно запускает debian/rules • Создает source package • Подписывает получившиеся пакеты
41. Debhelper • Набор скриптов (хелперов) для создания паката • Оперирующих в контексте всей сборки • Оперирующих конкретным бинарным пакетом • Обычно написаны на perl
42. debian/rules
43. Хелперы • dh_builddeb • dh_clean • dh_compress • dh_fixperms • dh_gencontrol • dh_install • dh_installcatalogs • dh_installchangelogs • dh_installcron • dh_installdeb • dh_installdebconf • dh_installdirs • dh_installdocs • dh_installemacsen • dh_installexamples • dh_installinfo • dh_installinit • dh_installlogcheck • dh_installlogrotate • dh_installman • dh_installmenu • dh_installmime • dh_installpam • dh_installudev • dh_link • dh_lintian • dh_makeshlibs • dh_md5sums • dh_perl • dh_shlibdeps • dh_strip
44. Что делает хелпер? • Настраивает своё окружение • Итерируется по всем бинарным пакетам • Подгружает конфиг (если есть) • Делает полезную работу
45. dh_install • Один из основых хелперов • Копирует файлы из дерева исходников в бинарный пакет • Конфиг в <package>.install
46. <package>.install
47. Common Debian Build System (CDBS) • Набор отдельных Makefile’ов делающих определенные действия • Нужные кусочки подключаются в debian/rules через include
48. debian/rules
49. Концепция • Собрать большой Makefile из нескольких маленьких кусочков • Добавляет дополнительные таргеты (в том числе для каждого из бинарных пакетов) • Пакеты собираются последовательно • Classes & Rules
50. Последовательная сборка
51. Последовательная сборка package_1
52. Последовательная сборка package_1 dh_1
53. Последовательная сборка package_1 dh_1 dh_2
54. Последовательная сборка package_1 dh_1 dh_2 dh_3
55. Последовательная сборка package_1 dh_1 dh_2 dh_3 ...
56. Последовательная сборка package_1 dh_1 dh_2 dh_3 ...
57. Последовательная сборка package_1 dh_1 dh_2 dh_3 ...
58. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2
59. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1
60. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2
61. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3
62. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ...
63. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ...
64. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3
65. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1
66. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1 dh_2
67. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1 dh_2 dh_3
68. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1 dh_2 dh_3 ...
69. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1 dh_2 dh_3 ...
70. Последовательная сборка package_1 dh_1 dh_2 dh_3 ... package_2 dh_1 dh_2 dh_3 ... package_3 dh_1 dh_2 dh_3 ... ...
71. Classes • makefile.mk • cmake.mk • python-distutils.mk • perlmodule.mk
72. Rules • debhelper.mk • simple-patchsys.mk • git.mk
73. Достоинства CDBS • Поддержка различных policy • Простые пакеты собирать легко
74. Недостатки CDBS • Сложные пакеты собирать трудно • Важен порядок следования include’ов • Создает над-фреймворк сборки • Нужно знать набор переменных и таргетов • Сильно искажает реальнй процесс сборки
75. Недостатки CDBS • Сложно внедрить в произвольное место конвейера сборки свою логику
76. CDBS в Яндексe • yandex-git-cdbs • yandex-svn-cdbs • yandex-hg-cdbs • yandex-verstka-cdbs • yandex-lego-cdbs
77. git.mk (yandex-git-cdbs)
78. dh7 • Debhelper версии >= 7 • Магический скрипт dh • Конкурент CDBS
79. debian/rules
80. Концепция • Единая точка входа – dh • Пакеты собираются параллельно • Наглядность • Процесс сборки прозрачен • Процесс сборки контролируем в любых границах
81. dh – диспетчер хелперов dh_1 dh_2 dh_3 ... dh dh_4 dh_5 dh_6 ... dh_7 dh_8 dh_9 ... target_1 target_2 target_3
82. Параллельная сборка
83. Параллельная сборка dh_1
84. Параллельная сборка dh_1 pkg_1
85. Параллельная сборка dh_1 pkg_1 pkg_2
86. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3
87. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ...
88. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ...
89. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ...
90. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2
91. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1
92. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2
93. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3
94. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ...
95. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ...
96. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3
97. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1
98. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1 pkg_2
99. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1 pkg_2 pkg_3
100. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1 pkg_2 pkg_3 ...
101. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1 pkg_2 pkg_3 ...
102. Параллельная сборка dh_1 pkg_1 pkg_2 pkg_3 ... dh_2 pkg_1 pkg_2 pkg_3 ... dh_3 pkg_1 pkg_2 pkg_3 ... ...
103. Sequence addons • Perl модули • Позволяют добавить/исключить хелперы из конвейера • Подключаются опцией --with • Лежат в /usr/share/perl5/Debian/ Debhelper/Sequence
104. dh_ycssjs
105. Build System Classes • Определеют систему сборки • По сути тоже самое что Classes в CDBS • Подключаются опцией --buildsystem
106. Переопределение • Любой таргет или хелпер можно переопределить • Конкретный хелпер можно исключить из конвейера • Конкретному хелперу можно добавить параметры
107. Переопределение
108. Пишем свой хелпер • Используем perl библиотеку – Debian::Debhelper • Настраиваем окружение и парсим аргументы через init() • Итерируемся по всем бинарным пакетам • Читаем опциональный конфиг
109. yandex-debhelper • Набор яндексовых хелперов • Хелперы сделаны правильно • Поддерживают dh7
110. dh_environment • Раскладывает файлы в зависимости от окружения (yandex-environment) • Конфиг <package>.environment
111. dh_nginx • Кладет конфиг для Nginx • Конфиг <package>.nginx
112. dh_ycssjs • Билдит статику с посмощью ycssjs • Конфиг <package>.ycssjs
113. dh_gunicorn • Кладет конфиг init-скрипта для запуска WSGI приложений под Gunicorn • Конфиг <package>.gunicorn
114. dh_nodeinit • Кладет конфиг init-скрипта для запуска Node.js приложений • Конфиг <package>.node
115. Другие хелперы в Яндексе • dh_versions (yandex-dh-versions) • dh_clearvcs • yandex-dh-make-ystatic • yandex-dh-make-ywww
116. От CDBS к dh7 • debian/rules сократился на 2/3 (благодаря sequence addons) • Сборка стала быстрее • Процесс сборки стал нагляднее и более контролируемым На примере Поиска по Интранету
117. Intrasearch
118. Intrasearch
119. Intrasearch
120. Intrasearch
121. Intrasearch
122. Intrasearch
123. Intrasearch
124. Скорость сборки
125. Скорость сборки real 2m9.672s user 1m35.675s sys 0m23.154s
126. Скорость сборки real 2m9.672s user 1m35.675s sys 0m23.154s
127. Скорость сборки real 2m9.672s user 1m35.675s sys 0m23.154s real 1m33.441s user 1m2.330s sys 0m13.830s
128. Выводы
129. Ресурсы • Debian Policy – http://www.debian.org/ doc/debian-policy/ • Debian New Maintainers’ Guide – http://www.debian.org/doc/manuals/maint- guide/ • Ubuntu Packaging Guide – https:// wiki.ubuntu.com/PackagingGuide/Complete
130. Fin Вопросы?