Автоматический, надежный и управляемый деплой с помощью простых инструментов

Transcript

1. Автоматический, надежный и управляемый деплой с помощью простых инструментов Даниил Мигалин
2. Кто я такой Меня зовут Данила Мигалин и я 3 года работал в Skype в качестве service engineer. Моя команда занималась поддержкой нескольких команд разработчиков, ответственных за платежную инфраструктуру и десятки смежных сервисов и приложений. Disclaimer: в Skype я больше не работаю, поэтому все, что вы от меня услышите, является моим собственным мнением
3. Про этот доклад У вас найдется минутка поговорить о госпоже нашей Автоматизации?
4. Про этот доклад Что такое «хороший деплой»?
5. Про этот доклад • Сколько человеко-часов необходимо для доставки кода в прод?
6. Про этот доклад • Сколько человеко-часов необходимо для доставки кода в прод? • Как насчет роллбеков, green-blue/canary/gradual?
7. Про этот доклад • Сколько человеко-часов необходимо для доставки кода в прод? • Как насчет роллбеков, green-blue/canary/gradual? • Насколько прозрачен процесс, и какие следы после себя он оставляет?
8. Про этот доклад • Сколько человеко-часов необходимо для доставки кода в прод? • Как насчет роллбеков, green-blue/canary/gradual? • Насколько прозрачен процесс, и какие следы после себя он оставляет? • А у меня вообще нет chef, зачем мне тут сидеть и слушать?
9. Что получилось • ~10 команд пользуется
10. Что получилось • ~10 команд пользуется • ~40 деплоев в день
11. Что получилось • ~10 команд пользуется • ~40 деплоев в день • ~1.5 KSLoC
12. Что получилось • ~10 команд пользуется • ~40 деплоев в день • ~1.5 KSLoC • ~30 минут на выкатку из репозитория в продакшен
13. Что получилось • ~10 команд пользуется • ~40 деплоев в день • ~1.5 KSLoC • ~30 минут на выкатку из репозитория в продакшен • Быстрее и чаще можно, но оказалось не нужно
14. Как мы к этому пришли
15. Старые добрые времена: <2011
16. Старые добрые времена: 2011, chef
17. Старые добрые времена: проблемы
18. Наводим порядок • Вводим версионирование артефактов
19. Наводим порядок • Вводим версионирование артефактов • Переносим "сборку" кукбуков в CI-систему: линтинг, проверка синтаксиса и т.д.
20. Наводим порядок • Вводим версионирование артефактов • Переносим "сборку" кукбуков в CI-систему: линтинг, проверка синтаксиса и т.д. • Настройки приложений уносим в "версионированные" роли
21. Наводим порядок • Вводим версионирование артефактов • Переносим "сборку" кукбуков в CI-систему: линтинг, проверка синтаксиса и т.д. • Настройки приложений уносим в "версионированные" роли • Фиксируем версии кукбуков и приложений С такими правилами можно накрутить еще больше автоматики!
22. Наводим порядок
23. Наводим порядок
24. Наводим порядок
25. Управляем деплоем
26. Каким мы хотим видеть процесс деплоя • Автоматическим: не требуется участие людей админов
27. Каким мы хотим видеть процесс деплоя • Автоматическим: не требуется участие людей админов • Надежным: частичный деплой и откат
28. Каким мы хотим видеть процесс деплоя • Автоматическим: не требуется участие людей админов • Надежным: частичный деплой и откат • Комплаенс: перекрестное ревью, утверждение и прочий Change Management
29. Каким мы хотим видеть процесс деплоя • Автоматическим: не требуется участие людей админов • Надежным: частичный деплой и откат • Комплаенс: перекрестное ревью, утверждение и прочий Change Management • Оставление логов и других следов — как для людей, так и для мониторинга
31. Таск-трекер для деплоя? • Деплой — это тоже задача
32. Таск-трекер для деплоя? • Деплой — это тоже задача • У нас уже есть таск-трекер
33. Таск-трекер для деплоя? • Деплой — это тоже задача • У нас уже есть таск-трекер • Люди умеют им пользоваться
34. Таск-трекер для деплоя? • Деплой — это тоже задача • У нас уже есть таск-трекер • Люди умеют им пользоваться • У них уже есть API и красивый UI
35. Таск-трекер для деплоя? • Деплой — это тоже задача • У нас уже есть таск-трекер • Люди умеют им пользоваться • У них уже есть API и красивый UI • Мы уже это делаем!
47. • Деплой в стейджинг и в продакшен • Частичный деплой и откат • Авторизация • Принуждение к Change Management • Создание и обновление деплой-тасок • Нотификации • Тесты и прочее
48. Процесс деплоя
57. Тонкости, проблемы, решения
58. Миграция • 80% всех усилий
59. Миграция • 80% всех усилий • Самое главное в автоматизации — различать manual work и hand job
60. Миграция • 80% всех усилий • Самое главное в автоматизации — различать manual work и hand job • Заинтересуйте людей - устройте митапы, презентации, ходите и продавайте
61. Миграция • 80% всех усилий • Самое главное в автоматизации — различать manual work и hand job • Заинтересуйте людей - устройте митапы, презентации, ходите и продавайте • Простота, документация и поддержка
62. Управление деплоем • Одна активная таска на сервис на окружение
63. Управление деплоем • Одна активная таска на сервис на окружение • Иерархия тасок
64. Управление деплоем • Одна активная таска на сервис на окружение • Иерархия тасок • Фидбэк от системы деплоя
65. Управление деплоем • Одна активная таска на сервис на окружение • Иерархия тасок • Фидбэк от системы деплоя • ChatOps
66. Технические тонкости • Храните стейт в таск-трекере
67. Технические тонкости • Храните стейт в таск-трекере • Делайте ретраи
68. Технические тонкости • Храните стейт в таск-трекере • Делайте ретраи • Различайте временные и перманентные ошибки
69. Технические тонкости • Храните стейт в таск-трекере • Делайте ретраи • Различайте временные и перманентные ошибки • Считайте чексуммы артефактов
70. Чаты • Это работает
71. Чаты • Это работает • Это ужасно отвлекает
72. Чаты • Это работает • Это ужасно отвлекает • on-call -> bau (business as usual)
73. Чаты • Это работает • Это ужасно отвлекает • on-call -> bau (business as usual) • культура важна
74. TL;DR • Деплой — это не только дело техники, но и людей
75. TL;DR • Деплой — это не только дело техники, но и людей • Люди любят прозрачность, управляемость и простоту
76. TL;DR • Деплой — это не только дело техники, но и людей • Люди любят прозрачность, управляемость и простоту • Управление деплоем хорошо ложится на работу с таск-трекером
77. TL;DR • Деплой — это не только дело техники, но и людей • Люди любят прозрачность, управляемость и простоту • Управление деплоем хорошо ложится на работу с таск-трекером • Малой кровью можно удивительно хорошо интегрировать таск-трекер и вашу инфраструктуру
78. TL;DR • Деплой — это не только дело техники, но и людей • Люди любят прозрачность, управляемость и простоту • Управление деплоем хорошо ложится на работу с таск-трекером • Малой кровью можно удивительно хорошо интегрировать таск-трекер и вашу инфраструктуру • Программировать легко, с людьми тяжеловато
79. Вопросы?