Moscow Python Meetup №107. Бесшовные релизы глазами разработчика: обновляем код Облака без API

Игорь Анохин (K2 Cloud / Руководитель платформенной разработки).

В докладе разберём, как эволюционируют подходы к обновлению приложений — от Big Bang до Rolling-Out релизов в высоконагруженном облаке. Поговорим о том, что на самом деле требуется от кода, миграций баз данных и API, когда сервисы нельзя останавливать, а клиенты зависят от контрактов годами. Отдельно обсудим, какой ценой достигаются бесшовные релизы и почему бесшовность — это инженерный компропис.

Видео: https://moscowpython.ru/meetup/107/seamless-releases/

Moscow Python: http://moscowpython.ru
Курсы Learn Python: http://learn.python.ru
Moscow Python Podcast: http://podcast.python.ru
Заявки на доклады: https://bit.ly/mp-speaker

Transcript

1. Анохин Игорь < Бесшовные релизы глазами разработчика: обновляем код Облака без отключения API >
2. 2
 Обо мне Более 8 лет в Python Веду канал Руковожу направлением платформенное разработки в K2 Cloud Красивая_картинка_спикера.png

3. 3
 Материалы презентации
4. 4
 K2 Cloud — первое публичное облако собственной разработки в России и часть экосистемы К2Тех. 
 Мы создаём инфраструктуру для бизнеса, где всё работает стабильно: от сервисов по моделям IaaS и PaaS до частных облаков и выделенных инсталляций (HaaS). В основе нашего подхода — ответственность за все части сложных комплексных проектов, которые реализуем по собственным высоким стандартам. 
 < 800+ > заказчиков уже доверяют нам свою инфраструктуру 
 < с 2009 > опыт работы на облачном рынке
 < 400+ > экспертов реализуют проекты любой сложности
 [ Про ]
5. 5
 Зачем говорить про обновление?
6. 6
 1) Бизнес хочет быстрого выпуска фичей Зачем говорить про обновление?
7. 7
 1) Бизнес хочет быстрого выпуска фичей 2) Чем быстрее мы пишем код - тем быстрее мы делаем фичи Зачем говорить про обновление?
8. 8
 1) Бизнес хочет быстрого выпуска фичей 2) Чем быстрее мы пишем код - тем быстрее мы делаем фичи 3) Чем проще код в проекте - тем быстрее мы его пишем Зачем говорить про обновление?
9. 9
 1) Бизнес хочет быстрого выпуска фичей 2) Чем быстрее мы пишем код - тем быстрее мы делаем фичи 3) Чем проще код в проекте - тем быстрее мы его пишем 4) Апдейты напрямую влияют на сложность нашего кода. Зачем говорить про обновление?
10. 10
 О чем сегодня поговорим? 4-х шаговый апдейт Что нужно сделать в коде, чтобы оно работало Обновление с окном обслуживания Обновление без простоя
11. 11
 Обновление с окном обслуживания
12. 12
 Обновление монолитного сервиса DB
 Service

13. 13
 Обновление монолитного сервиса DB
 Service

14. 14
 Обновление монолитного сервиса DB
 Request
 Response
 Service

15. 15
 Обновление монолитного сервиса Schema
 DB
 Response
 Request
 Service

16. 16
 Обновление монолитного сервиса Schema
 DB
 Response
 Request
 Service

17. 17
 Обновление монолитного сервиса 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

18. 18
 Обновление монолитного сервиса 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

19. 19
 Обновление монолитного сервиса 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

20. 20
 Обновление монолитного сервиса 4. Запустить сервис 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

21. 21
 Обновление монолитного сервиса 4. Запустить сервис 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

22. 22
 Обновление монолитного сервиса 4. Запустить сервис 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

23. 23
 Обновление монолитного сервиса 4. Запустить сервис 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

24. 24
 Обновление монолитного сервиса 4. Запустить сервис 3. Запустить миграции 2. Отключить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

25. 25
 Обновление монолитного сервиса 2. Перезапустить сервис 1. Обновить код сервиса 
 Schema
 DB
 Response
 Request
 Service

27. 27
 Big Bang Deployment
28. 28
 Плюсы: Big Bang Deployment
29. 29
 Плюсы: • Разработчик просто пишет код Big Bang Deployment
30. 30
 Big Bang Deployment Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
31. 31
 Big Bang Deployment Минусы: Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
32. 32
 Big Bang Deployment Минусы: • Временная недоступность сервиса Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
33. 33
 Big Bang Deployment Минусы: • Временная недоступность сервиса • Имеет большой Blast Radius, поэтому подходит только для небольших сервисов Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
34. 34
 Big Bang Deployment в сложных приложениях Schema
 DB
 Response
 Request
 Service

35. 35
 Big Bang Deployment в сложных приложениях Schema
 DB
 Response
 Request

36. 36
 Big Bang Deployment в сложных приложениях DB
 Request
 Response
 Schema
 Balancer

37. 37
 Проблема обновления реплик DB
 Schema
 Request
 Response
 Balancer

38. 38
 Проблема обновления реплик DB
 Schema
 Request
 Response
 Balancer

39. 39
 Проблема обновления реплик DB
 Schema
 Request
 Response
 Balancer

40. 40
 Проблема обновления реплик DB
 Schema
 Request
 Response
 Balancer

41. 41
 Проблема обновления реплик DB
 Schema
 Request
 Response
 Balancer

42. 42
 Проблема обновления микросервисов DB
 Schema
 Balancer
 Request
 Response

43. 43
 Проблема обновления микросервисов DB
 Schema
 Balancer
 Request
 Response

44. 44
 Проблема обновления микросервисов DB
 Schema
 Balancer
 Request
 Response

46. 46
 Big Bang Deployment с Maintenance Window DB
 Request
 Response
 Schema
 Balancer

47. 47
 DB
 Request
 Response
 Schema
 Balancer
 Maintenance
 Big Bang Deployment с Maintenance Window
48. 48
 Request
 Response
 Schema
 Balancer
 Maintenance
 DB
 Big Bang Deployment с Maintenance Window
49. 49
 Request
 Response
 Schema
 Balancer
 Maintenance
 DB
 Big Bang Deployment с Maintenance Window
50. 50
 Request
 Response
 Schema
 Balancer
 Maintenance
 DB
 Big Bang Deployment с Maintenance Window
51. 51
 DB
 Request
 Response
 Schema
 Balancer
 Maintenance
 Big Bang Deployment с Maintenance Window
52. 52
 DB
 Request
 Response
 Schema
 Balancer
 Maintenance
 Big Bang Deployment с Maintenance Window
53. 53
 Big Bang Deployment API можно делать частично недоступным. В K2 Cloud во время обновления вы не можете управлять инфраструктурой, но виртуальные машины доступны. CREATE

54. 54
 Big Bang Deployment API можно делать частично недоступным. В K2 Cloud во время обновления вы не можете управлять инфраструктурой, но виртуальные машины доступны. CREATE

55. 55
 Big Bang Deployment API можно делать частично недоступным. В K2 Cloud во время обновления вы не можете управлять инфраструктурой, но виртуальные машины доступны. CREATE

56. 56
 Big Bang Deployment API можно делать частично недоступным. В K2 Cloud во время обновления вы не можете управлять инфраструктурой, но виртуальные машины доступны. CREATE

57. 57
 Big Bang Deployment Минусы: • Временная недоступность сервиса • Имеет большой Blast Radius, поэтому подходит только для небольших сервисов Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
58. 58
 Big Bang Deployment Минусы: • Временная недоступность сервиса • Имеет большой Blast Radius, поэтому подходит только для небольших сервисов Плюсы: • Разработчик просто пишет код • DevOps пишет простой CI по обновлению кода
59. 59
 Big Bang Deployment Что нужно от приложения, чтобы сократить Blast Radius?
60. 60
 Big Bang Deployment Graceful shutdown с обработкой Linux сигналов Что нужно от приложения, чтобы сократить Blast Radius?
61. 61
 Big Bang Deployment Health-Check и Heartbeat Graceful shutdown с обработкой Linux сигналов Что нужно от приложения, чтобы сократить Blast Radius?
62. 62
 Big Bang Deployment Health-Check и Heartbeat Иметь структурированные логи: request_id, app_version, host Graceful shutdown с обработкой Linux сигналов Что нужно от приложения, чтобы сократить Blast Radius?
63. 63
 Big Bang Deployment Health-Check и Heartbeat Иметь структурированные логи: request_id, app_version, host Graceful shutdown с обработкой Linux сигналов Maintenance Service. Уметь работать с тем, что другой сервис ушёл в Maintenance
 Что нужно от приложения, чтобы сократить Blast Radius?
64. 64
 Big Bang Deployment Health-Check и Heartbeat Иметь структурированные логи: request_id, app_version, host Graceful shutdown с обработкой Linux сигналов Maintenance Service. Уметь работать с тем, что другой сервис ушёл в Maintenance
 Фоновые задачи/очереди/кеши могут содержать старую структуру Что нужно от приложения, чтобы сократить Blast Radius?
65. 65
 Иметь скрипт миграции БД, если вы боитесь Как откатить Big Bang Deployment
66. 66
 Big Bang Deployment в K2 Cloud
67. 67
 Big Bang Deployment в K2 Cloud
68. 68
 Big Bang Deployment в K2 Cloud
69. 69
 Big Bang Deployment в K2 Cloud RU-MSK

70. 70
 Big Bang Deployment в K2 Cloud RU-MSK
 RU-SPB

71. 71
 1) Количество железа растет
 Big Bang Deployment в K2 Cloud
72. 72
 1) Количество железа растет
 2) Количество сервисов растет
 Big Bang Deployment в K2 Cloud
73. 73
 1) Количество железа растет
 2) Количество сервисов растет
 3) Количество заказчиков растет
 Big Bang Deployment в K2 Cloud
74. 74
 1) Количество железа растет
 2) Количество сервисов растет
 3) Количество заказчиков растет
 4) Требования заказчиков растет
 Big Bang Deployment в K2 Cloud
75. 75
 1) Количество железа растет
 2) Количество сервисов растет
 3) Количество заказчиков растет
 4) Требования заказчиков растет
 
 <График двигается вверх и вправо>
 Big Bang Deployment в K2 Cloud
76. 76
 Big Bang Deployment в K2 Cloud
77. 77
 Обновление без простоя
78. 78
 Обновление без простоя
79. 79
 Обновление без простоя Blue-Green
 (Red-Black)
80. 80
 Обновление без простоя Blue-Green
 (Red-Black) Actor

81. 81
 Обновление без простоя Blue-Green
 (Red-Black) Actor

82. 82
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based)
83. 83
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

84. 84
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

85. 85
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

86. 86
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

87. 87
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

88. 88
 Обновление без простоя Blue-Green
 (Red-Black) Actor

89. 89
 Обновление без простоя Blue-Green
 (Red-Black) Actor

90. 90
 Обновление без простоя Blue-Green
 (Red-Black) Actor

91. 91
 Обновление без простоя Blue-Green
 (Red-Black) Actor

92. 92
 Обновление без простоя Blue-Green
 (Red-Black) Actor

93. 93
 Обновление без простоя Blue-Green
 (Red-Black) Actor

94. 94
 Обновление без простоя Blue-Green
 (Red-Black) Rolling Out (Canary, Ring-based) Actor
 Actor

95. 95
 Обновление без простоя Blue-Green
 (Red-Black) Actor
 Rolling Out (Canary, Ring-based) Actor

96. 96
 Обновление без простоя Rolling Out (Canary, Ring-based) Actor

97. 97
 Обновление без простоя Rolling Out (Canary, Ring-based) Что нужно от DevOps:
 Actor

98. 98
 Обновление без простоя Rolling Out (Canary, Ring-based) Что нужно от DevOps: kubectl set image \ deployment/application \ application=application:1.23.1 Actor

99. 99
 Обновление без простоя Rolling Out (Canary, Ring-based) Что нужно от DevOps: kubectl set image \ deployment/application \ application=application:1.23.1 Actor

100. 100
 Что нужно от разработчиков
101. 101
 Как проходит Rolling Out Entity
 Response
 Request

102. 102
 Как проходит Rolling Out Entity
 Response
 Request

103. 103
 Как проходит Rolling Out Entity
 Response
 Request

104. 104
 Как проходит Rolling Out Entity
 Response
 Request

105. 105
 Как проходит Rolling Out Entity
 Response
 Request

106. 106
 Как проходит Rolling Out Entity
 Response
 Request

107. 107
 4-х шаговый апдейт: Как добавить новое поле
108. 108
 4-х шаговый апдейт Entity
 Response
 Request

109. 109
 4-х шаговый апдейт Entity
 Response
 Request
 Phone

110. 110
 4-х шаговый апдейт Entity
 Response
 Request
 Phone
 Phone

111. 111
 4-х шаговый апдейт Entity
 Response
 Request
 Phone
 Phone
 Phone

113. 113
 4-х шаговый апдейт 0. Обновление схемы БД Entity
 Response
 Request
 ALTER TABLE users ADD COLUMN phone STRING DEFAULT NULL;
114. 114
 4-х шаговый апдейт 0. Обновление схемы БД Entity
 Response
 Request
 ALTER TABLE users ADD COLUMN phone STRING DEFAULT NULL;
115. 115
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

116. 116
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

117. 117
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

118. 118
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

119. 119
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

120. 120
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

121. 121
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Dual-Write Request
 Request
 Response
 Response

122. 122
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Dual-Write Request
 Request
 Response
 Response

123. 123
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Dual-Write Request
 Request
 Response
 Response

124. 124
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

125. 125
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

126. 126
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Dual-Write Request
 Request
 Response
 Response

127. 127
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 New Field
 Dual-Write Request
 Request
 Response
 Response

128. 128
 4-х шаговый апдейт 1. Добавление нового сервиса Response
 Request
 Request
 Response
 Dual-Write Entity
 Entity

129. 129
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Response
 Dual-Write Request
 Request

130. 130
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Response
 Entity
 Response
 Dual-Write Request
 Request

131. 131
 4-х шаговый апдейт 1. Добавление нового сервиса Entity
 Entity
 Response
 Dual-Write Request
 Request

132. 132
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Entity
 Dual-Write Request
 Request

133. 133
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Entity
 Dual-Write Request
 Request

134. 134
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Entity
 Dual-Write Dual-Read Request
 Request

135. 135
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Request
 Entity
 Dual-Read
136. 136
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Request
 Entity
 Dual-Read Request

137. 137
 4-х шаговый апдейт 2. Убираем старую запись в базу Код может читать оба варианта Entity
 Response
 Request
 Entity
 Dual-Read
138. 138
 4-х шаговый апдейт 3. Мигрируем данные. Убираем Default NULL Entity
 Response
 Request
 Entity
 Dual-Read
139. 139
 4-х шаговый апдейт 4. Финальный релиз. Удаляем совместимый код Response
 Request
 Entity
 Dual-Read
140. 140
 4-х шаговый апдейт 4. Финальный релиз. Удаляем совместимый код Response
 Request
 Entity

141. 141
 Мы обновились!
142. 142
 4-х шаговый апдейт. Как добавить поле в БД
143. 143
 4-х шаговый апдейт. Как добавить поле в БД 1) Мигрируем БД. Добавляем новые поля так, чтобы старая версия приложения не заметила этого;
 2) Обновляем код. Он имеет записывать и читать как старый формат, так и новый. Он должен уметь принимать старый вид запросов
 3) Обновляем код. Читаем оба формата данных БД. Пишем только новый
 4) Мигрируем БД. Чистим базу, чтобы убрать старые записи;
 5) Обновляем код. Убираем поддержку чтения старого формата.

144. 144
 4-х шаговый апдейт. Как убрать поле из БД
145. 145
 4-х шаговый апдейт. Как убрать поле из БД 1) Обновляем код. Код предполагает, что поля МОЖЕТ НЕ БЫТЬ
 2) Мигрируем БД. Чистим базу, чтобы убрать старый код
 3) Обновляем код. Код УВЕРЕН, что поля нет

146. 146
 4-х шаговый апдейт. Как переименовать поле в БД
147. 147
 4-х шаговый апдейт. Как переименовать поле в БД 1) Добавляем новое поле в БД за 4.5 шага
 2) Удаляем старое поле из БД за 3 шага

148. 148
 Как сделать Rolling-out проще?
149. 149
 Как сделать Rolling-out проще? Response
 Request
 Entity

150. 150
 Response
 Request
 Entity
 Как сделать Rolling-out проще?
151. 151
 Response
 Request
 Entity
 Как сделать Rolling-out проще?
152. 152
 Что нужно изменить в коде?
153. 153
 Что нужно изменить в коде? Как можно меньше строгих валидаций:
154. 154
 Что нужно изменить в коде? Как можно меньше строгих валидаций: a) Не валидировать лишние request поля на сервере b) Не валидировать лишние response поля на клиенте c) Не валидировать лишние поля из БД
155. 155
 Что нужно изменить в коде? Как можно меньше строгих валидаций: a) Не валидировать лишние request поля на сервере b) Не валидировать лишние response поля на клиенте c) Не валидировать лишние поля из БД Иметь политику депрекации API для микросервисов и публичных клиентов. Новые API поля только добавлять.
156. 156
 Что нужно изменить в коде? Как можно меньше строгих валидаций: a) Не валидировать лишние request поля на сервере b) Не валидировать лишние response поля на клиенте c) Не валидировать лишние поля из БД Иметь политику депрекации API для микросервисов и публичных клиентов. Новые API поля только добавлять. Убрать SQL. Если SQL - делать все поля с DEFAULT значениями

157. 157
 Что нужно изменить в коде? Как можно меньше строгих валидаций: a) Не валидировать лишние request поля на сервере b) Не валидировать лишние response поля на клиенте c) Не валидировать лишние поля из БД Иметь политику депрекации API для микросервисов и публичных клиентов. Новые API поля только добавлять. Идемпотентность операции где это возможно Убрать SQL. Если SQL - делать все поля с DEFAULT значениями

158. 158
 Что нужно изменить в коде? Использовать maintenance если релиз сложный Как можно меньше строгих валидаций: a) Не валидировать лишние request поля на сервере b) Не валидировать лишние response поля на клиенте c) Не валидировать лишние поля из БД Иметь политику депрекации API для микросервисов и публичных клиентов. Новые API поля только добавлять. Идемпотентность операции где это возможно Убрать SQL. Если SQL - делать все поля с DEFAULT значениями

159. 159
 Rolling-Out апдейты - это технический компромисс
160. 160
 Цените Maintenance Window
161. < Спасибо за внимание > @ANOKHIN_IT Анохин Игорь K2 Сloud
 Материалы доклада здесь