Паттерны и антипаттерны непрерывных обновлений в практике DevOps

Итак, ты решил обновить софт у своих пользователей. Может быть, это 100500 микросервисов в их кластере Kubernetes, может быть, это очередной редактор на JavaScript у них на ноутбуке, может быть, это приложение для дипфейков в их смартфоне, а может быть, ты даже не побоялся обновить их автомобиль! Что уже может пойти не так, правда?!

В этом докладе мы проанализируем реальные фейлы, которые ежедневно и повсеместно происходят при обновлении софта.

Мы посмотрим, как всевозможные DevOps-паттерны ложатся на эти сценарии и как правильное их применение смогло бы, возможно, спасти всех этих людей.

И нет, хорошенько проверить всё ручками перед отправкой и попросить у пользователя еще раз хорошенько проверить всё ручками при приёмке не является одним из рекомендованных паттернов, несмотря на то, что так делает половина индустрии!

Приходите послушать полезные кошмарики про непрерывное обновление, и вы получите шанс познакомиться со множеством очевидных (и не таких уж и очевидных!) проверенных идей и практик, которые вы сможете начать применять сразу после доклада, и, может быть, ваши пользователи будут ненавидеть вас немножко меньше!

Transcript

1. Паттерны и антипаттерны непрерывных обновлений в практике DevOps «Что уже может пойти не так?!» @jbaruch #DevOpsDaysRu #liquidsoftware
2. Зачем вообще что-то обновлять? @jbaruch #DevOpsDaysRu #liquidsoftware
3. @jbaruch #DevOpsDaysRu #liquidsoftware
4. КТО МЫ ТАКИЕ? ПОЛЬЗОВАТ ЕЛИ! ЧЕГО МЫ ХОТИМ? ФИЧ!
5. ЧЕГО МЫ ХОТИМ? ФИЧ! КОГДА МЫ ХОТИМ ИХ? СЕЙЧАС!
7. @jbaruch #DevOpsDaysRu #liquidsoftware
8. “As every company become a software company, Security vulnerabilities are the new oil spills” @jbaruch #DevOpsDaysRu #liquidsoftware
9. @jbaruch #DevOpsDaysRu #liquidsoftware
10. Найти пробле му Приду мать как обезвр едить Задепл оить фикс в прод @jbaruch #DevOpsDaysRu #liquidsoftware
11. найти сразу почи нить быстро депл ой Годы
12. найти 2 месяца почи нить Обновить struts депл ой 2 месяца
14. @jbaruch #DevOpsDaysRu #liquidsoftware
15. @jbaruch #DevOpsDaysRu #liquidsoftware
16. найти Как можно быстрее почи нить Как можно быстрее депл ой Как можно быстрее @jbaruch #DevOpsDaysRu #liquidsoftware
20. @jbaruch #DevOpsDaysRu #liquidsoftware
21. Ничто не ново под луной XP: short feedback Scrum: reducing cycle time to absolute minimum TPS: Decide as late as possible and Deliver as fast as possible Kanban: Incremental change @jbaruch #DevOpsDaysRu #liquidsoftware
23. ИТАК, ВЫ ХОТЕЛИ ОБНОВЛЯТЬСЯ ПОБЫСТРЕЕ…
24. @jbaruch #DevOpsDaysRu #liquidsoftware
25. @jbaruch #DevOpsDaysRu #liquidsoftware
26. @jbaruch #DevOpsDaysRu #liquidsoftware
29. Как мы обновляемся @jbaruch #DevOpsDaysRu #liquidsoftware
30. Мы его хотим? А давайте! Есть ли риски? Ну и не надо Доверяем? Есть апдейт! Нет Да Да Да Нет Нет
31. @jbaruch #DevOpsDaysRu #liquidsoftware
32. Проблема не в коде, проблема в количестве информации @jbaruch #DevOpsDaysRu #liquidsoftware
33. #пустойконвертизкитая @jbaruch #LiquidSoftware #CloudAIdevfestMTL19 http://jfrog.com/shownotes
34. Как мы обновляемся @jbaruch #DevOpsDaysRu #liquidsoftware
35. Мы его хотим? А давайте! Есть ли риски? Ну и не надо Доверяем? Есть апдейт! Нет Да Да Да Нет Нет Можем проверить ? Да Нет Долгие и дорогие проверки
36. @jbaruch #DevOpsDaysRu #liquidsoftware
37. Фичи, которые мы очень хотим Цена приёмных проверок @jbaruch #DevOpsDaysRu #liquidsoftware
39. Мы его хотим? А давайте! Есть ли риски? Есть апдейт! Нет Да А нас никто не спрашивает Твой браузер Твиттер в твоем браузере Твиттер в твоем смартфоне Операционка в твоём смартфоне?!
40. Что уже может пойти не так?
41. @jbaruch #DevOpsDaysRu #liquidsoftware
43. Паттерн непрерывн ых обновлени й: локальный откат Проблема: что-то пошло настолько не так, что прислать патч по сети невозможно Решение: Держи предыдущую версию на девайсе. Девайс проверит, что всё ОК, и откатится, если нужно @jbaruch #DevOpsDaysRu #liquidsoftware
47. Паттерн непрерыв ных обновлен ий: обновлен ия по воздуху Проблема: Физические отзывы дико дороги. И ненадёжны. Решение: Имплементируй обновления по воздуху. Лучше всего – непрерывные обновления @jbaruch #DevOpsDaysRu #liquidsoftware
48. Непрерывные обновления по воздуху они как обычные обновления, Но лучше. @jbaruch #DevOpsDaysRu #liquidsoftware
52. Паттерн непрерывн ых обновлени й: непрерывн ые обновлени я Проблема: Редкие обновления группируют фичи. Критические фичи ждут всякую фигню. Решение: Имплементируй непрерывные обновления. Как только фича готова – выпускай обновление! @jbaruch #DevOpsDaysRu #liquidsoftware
53. @jbaruch #DevOpsDaysRu #liquidsoftware
55. Весёлые приключе ния Нуба Решил запилить новую фичу В темплейтах используется $ Стейджинговые сервера Эппла отдают цену без валюты Некоторые сервера в проде отдают цену с валютой Дальше всё грустно Пока разобрались, пока пофиксили У Эппла выходные @jbaruch #DevOpsDaysRu #liquidsoftware
56. Паттерн непрерыв ных обновлен ий: канарееч ные релизы Проблема: Если когда что-то пошло не так, страдают все. Решение: Релизь небольшому проценту пользователей, и наблюдай. Если что-то пошло не так, пострадают не все. @jbaruch #DevOpsDaysRu #liquidsoftware
57. Паттерн непрерыв ных обновлен ий: наблюда емость Проблема: Некоторые проблемы тяжело дебажить по матерным отзывам пользователей Решение: Имплементируй трейсинг, мониторинг и логгинг @jbaruch #DevOpsDaysRu #liquidsoftware
58. Паттерн непрерыв ных обновлен ий: откаты Проблема: Построить и задеплоить новый фикс может занять время Решение: Будь готов откатиться на предыдущую версию, если что-то пошло не так @jbaruch #DevOpsDaysRu #liquidsoftware
59. Паттерн непрерыв ных обновлен ий: feature- Флаги Проблема: Не все платформы поддерживают откаты Решение: Имплементируй возможность отключать новые фичи по воздуху @jbaruch #DevOpsDaysRu #liquidsoftware
61. Вы думали это вам тяжело?! Что вы контролируете Обновления серверов Обновления Iot @jbaruch #DevOpsDaysRu #liquidsoftware
62. Вы думали это вам тяжело?! Что вы контролируете Обновления серверов Обновления Iot Доступность девайса ✓ ✕ @jbaruch #DevOpsDaysRu #liquidsoftware
63. Вы думали это вам тяжело?! Что вы контролируете Обновления серверов Обновления Iot Доступность девайса ✓ ✕ Состояние девайса ✓ ✕ @jbaruch #DevOpsDaysRu #liquidsoftware
64. Вы думали это вам тяжело?! Что вы контролируете Обновления серверов Обновления Iot Доступность девайса ✓ ✕ Состояние девайса ✓ ✕ Существующая версия на девайсе ✓ ✕ @jbaruch #DevOpsDaysRu #liquidsoftware
65. Вы думали это вам тяжело?! Что вы контролируете Обновления серверов Обновления Iot Доступность девайса ✓ ✕ Состояние девайса ✓ ✕ Существующая версия на девайсе ✓ ✕ Доступ к девайсу ✓ ✕ @jbaruch #DevOpsDaysRu #liquidsoftware
67. Катастро фа по- рыцарски Переиспользовали старые флаги Один сервер из восьми не был обновлён Новые клиенты переключали флаги в старой системе Что сделали первым делом? Откатили обновлённые семь серверов! Никакого мониторинга @jbaruch #DevOpsDaysRu #liquidsoftware
68. Паттерн непрерывны х обновлений: Автоматизи рованный деплоймент Проблема: Люди плохо умеют повторять действия Решение: Замени кожаные мешки машинами @jbaruch #DevOpsDaysRu #liquidsoftware
69. Паттерн непрерыв ных обновлен ий: частые обновлен ия Проблема: Редкие обновления это необычное, нервирующее событие Решение: Обновляй часто! Вырабатывается привычка и пропадает страх @jbaruch #DevOpsDaysRu #liquidsoftware
70. Паттерн непрерыв ных обновлен ий: сознание состояния Проблема: Обновления могут вести себя по- разному в зависимости от состояния девайса Решение: Знай состояние девайса и тестируй обновления, а не установку с нуля @jbaruch #DevOpsDaysRu #liquidsoftware
72. Паттерн реальной жизни: не будь мудаком Проблема: Шеймить кого-либо публично некрасиво, завтра может прилететь и тебе Решение: Не надо так @jbaruch #DevOpsDaysRu #liquidsoftware
73. Затмение в cloud flare Правила постоянно обновляются чтобы бороться с хакерами Одно из правил было неправильно написано Регулярка задрала нагрузку на CPU до 100% “Affected region: Earth” @jbaruch #DevOpsDaysRu #liquidsoftware
74. Паттерн непрерыв ных обновлен ий: канарееч ные релизы Проблема: Если когда что-то пошло не так, страдают все. Решение: Релизь небольшому проценту пользователей, и наблюдай. Если что-то пошло не так, пострадают не все. @jbaruch #DevOpsDaysRu #liquidsoftware
75. @jbaruch #DevOpsDaysRu #liquidsoftware
76. @jbaruch #DevOpsDaysRu #liquidsoftware
78. Паттерн непрерывн ых обновлени й: обновлени я без недоступн ости Проблема: Если обновляться пять недель, от вас уйдут все клиенты Решение: Обновляйся без недоступности, чтобы клиенты ничего не заметили (кроме новых фич) @jbaruch #DevOpsDaysRu #liquidsoftware
79. Непрерыв ные обновлен ия Частые Автоматизированные Оттестированные насколько возможно Канареечные Учитывают состояние Наблюдаемые *С локальными откатами @jbaruch #DevOpsDaysRu #liquidsoftware
80. Как мы обновляемся @jbaruch #DevOpsDaysRu #liquidsoftware
81. Мы его хотим? А давайте! Есть ли риски? Доверяем? Есть апдейт! Нет Да Да Да А нас никто не спрашивает
82. Our goal is to transition from bulk and rare software updates to extremely tiny and extremely frequent software updates; so tiny and so frequent that they provide an illusion of software flowing from development to the update target. We call it the Liquid Software vision. ” @jbaruch #DevOpsDaysRu #liquidsoftware
83. @jbaruch #DevOpsDaysRu #liquidsoftware
84. Исключения? @jbaruch #DevOpsDaysRu #liquidsoftware
87. @jbaruch #DevOpsDaysRu #liquidsoftware