Wild Microservices And Imaginary DevOps

Today, very often you can hear a lot of buzz words, but even among them, DevOps and Microservices excite the minds of people as something special. For a typical engineer, DevOps and Microservices are just a marketing profanity. It's more important to "keep DevOps in your hands" and be able to use it. I want to understand where our and other people's fantasies come to an end, where really useful practices begin, what tools will help us and what fundamental principles will help increase the profit from the used practices and tools. The talk is primarily about the implementation of various technologies, tools and methodologies in a large organization. I will share the problems that we encountered in the implementation of various principles and technologies, I will talk about solutions and developed principles of scaling processes / tools. Today our slogan will be "DevOps in the hands and not in the heads." But what is in the minds is still important, although this is a completely different story.

Transcript

1. Wild Microservices And Imaginary DevOps
2. Толкачёв Кирилл @tolkv @lavcraft
3. DISCLAIMER No warranty guarantee 3
4. 1. Как начинается DevOps 2. Немного мифов и предрассудков 3. Как дальше жить? 4. Примеры —как живём мы 5. Выводы 4 Agenda теория практика
5. 5 С чего начинается DevOps?
6. Хм, ничего нового Важный начальник Кто то смелый и решительный Ммм... Им нужно что то новенькое?
7. Котел с Хренью Домыслы Враки Сейчас я им приготовлю...
8. Котел с Хренью Домыслы Враки Проверенное старое Сейчас я им приготовлю...
9. Котел с Хренью Домыслы Враки Проверенное старое Не пригодилось Сейчас я им приготовлю...
10. Компания вызрела и
11. Давай займемся ДевОпсом
12. Говорили они Давай займемся ДевОпсом
13. Шары ДевОпса
14. Re: Re: Re: Re: Re: Re: …. Привет Y, Мне сказали ты можешь сделать нам X, сделай! У нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
15. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
16. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
17. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
18. Я автоматизирую — я DevOps? Эй, сделай нам скрипт генерации Excel документа!
19. Я администрирую — я DevOps? Эй, разверни нам Jenkins!
20. Я админ и я программирую — я DevOps? Эй, сделай нам бота, мы хотим NPS опрос делать!
21. Зато у меня pipeline длиннее! Я деплою — я DevOps?
22. Зато у меня pipeline длиннее! Я деплою — я DevOps?
23. Миф “Человек и Пароход”
24. Наймём DevOps`а
25. А потом еще одного
26. А потом сделаем DevOps отдел
28. Кого нанимать то? И как нанимать в условиях отсутствия таковых
29. Почему бы нам не нанять DevOps`a?
30. А следом и — 2х Аджайлов — 1го Вотерфола?
31. А следом и — 2х Аджайлов — 1го Вотерфола? — и наверно стоит нанять ТДД!
32. И у нас будут инженерные практики!
33. © @abashev DevOps как слава КПСС → Вообще не человек
34. Кто если не человек?
35. Миф о “Половозрелости”
36. Таблицы половозрелости Используется Jenkins да Уровень 1 Пишутся тесты да Уровень 1 Автоматизирована доставка да Уровень 2 Еще что то нет Уровень 2 Еще что то сложное нет Уровень 3 ... нет ... ... нет Уровень 90
37. да Уровень 1 да Уровень 1 да Уровень 2 нет Уровень 2 нет Уровень 3 нет ... нет Уровень 90
38. Работает ли производство как часы? _
39. У нас есть трактор Но есть нюансы
40. Или вы просто научились Быстро катить в “прод”?
41. Или вы просто научились Быстро катить в “прод”? Один знакомый всем жук
42. Чтобы не делать говно, сначала нужно все продумать
43. Продумать архитектуру
44. Миф “DevOps и Архитектура”
45. А что такое архитектура?
46. 46 Закон “Почему”
47. 47 Закон 3х “Почему” ?
48. 48 Закон 5и “Почему” ?
49. Почему "Архитектура Г**НО?" Порой достаточно одного меткого "почему"
50. Нормально делай
51. Нормально делай Нормально будет
52. Реальность – это колодцы DBA`s Developers Operations
53. Реальность – это колодцы DBA`s Developers Operations
54. Реальность – это колодцы DBA`s Developers Operations
55. Реальность – это колодцы DBA`s Developers Operations
56. Реальность – это колодцы DBA`s Developers Operations Если конечно вы не Netflix
57. 57 Закон Конвея
58. 58 Закон Конвея
59. цепь прочна настолько, насколько прочно её самое слабое звено
60. К чему приводят колодцы
61. Взаимоотношения и Квалификация Soft Skills + Hard Skills
62. DevOps – это про взаимоотношения → Никто не делает продукт для одного клиента → Никто не должен строить процесс вокруг {dev,ops,dba,etc} → Работать вместе над всем циклом создания продукта → Обучать не только "своих" → Не строить стен и колодцев
63. Но без Hard Skills...
64. И все же
65. Почему "Архитектура Г**НО?"
66. Кто делает "Архитектуру?"
67. Технологии идеальны Люди — М*****и
68. А что эти люди пишут? 68
69. Микросервисы!
70. Ммм...
71. Ммм… Напишу свой accounts-api
72. Ммм… Напишу свой accounts-api accounts-api какого то другого человека упыря
73. Ммм… Напишу свой accounts-api Но он он же :”№%$# accounts-api какого то другого человека
77. Немного LSD для вас → три языка программирования → два в среднем фреймворка на язык → семь типов источников данных ⇢ legacy WS, mongo db ⇢ OLTP, OLAP ⇢ elasticsearch, neo4j ⇢ Мишкина база %) complexity = 3 * 2 * 7 = 42 (!) 77
78. Чем нельзя пожертвовать? min (L * S * D) → ? 78
79. min (L * S * D) → max (D) 79
81. 81 t 0
82. Где мой DevOps ?
83. Дружище Где мой DevOps ?
84. Взглянем на Dev и Ops по отдельности
85. Как делать DevOps
86. git clone <golden_service_repo> 86
87. 87 Код устарел
88. 88 Код устарел Нужно переименовать классы
89. 89 Код устарел Нужно переименовать классы Нужно удалить неиспользуемое
90. 90 Код устарел Нужно переименовать классы Нужно удалить неиспользуемое Прочая магия Время, ошибки, фрагментация
91. git clone <template_repo> 91
92. 92 Нужно переименовать классы Нужно кастомизировать руками Время актуализация
93. lazybones / start.spring.io / yeoman 93 Результаты общей работы (DevOps?)
94. lazybones create api 1.0.1 service_name 94
95. ~home > lazybones create api 0.0.1 rent-service 95
96. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: 96
97. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: 97
98. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: 98
99. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 99
100. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 100
102. @Getter // generate getters @Setter // generate setters @Aspect // we are an aspect @ToString // generate toString() @EnableWs // SOAP is so enterprisy, we definitely need it @Endpoint // Seriously, just read above @EnableWebMvc // we want MVC @EnableCaching // and we want to cache stuff @Configuration // this class can configure itself @RestController // we want some REST @XmlRootElement // this component is marshallable @EnableWebSocket // we want web socket, it's so new-generation @RedisHash("cat") // this class is an entity saved in redis @EnableScheduling // we want scheduled tasks @EnableWebSecurity // and some built-in security @NoArgsConstructor // generate no args constructor @ContextConfiguration // we want context configuration for unit testing @SpringBootApplication // this is a Sprint Boot application @Accessors(chain = true) // getters/setters are chained (ala jQuery) @EnableAspectJAutoProxy // we want AspectJ auto proxy @EnableAutoConfiguration // and auto configuration @EnableRedisRepositories // since it is an entity we want to enable spring data repositories for redis @EnableWebSocketMessageBroker // we want a broker for web socket messages 102 Fluent annotations leve 1
103. @EnableAllGoodThings 103 Fluent annotations level 2
104. 104 Fluent annotations level 3
105. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 105
106. smart libs/shared libs 106
107. documentation → smart documentation 107
108. Not smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents ... COPY-PASTE documentation from another document ... 108
109. Not so smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::../other.adoc[] include::/home/tolkv/git/docs-0/superdoc.adoc[] 109
110. Really smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::gradle://gradle-advanced:service-with-deps:1.0/deps.adoc[] include::gradle://:service/doc.adoc[] 110
111. Payment Service[jar,doc] Insurance Service [jar,doc] One Point of View [UberDoc.zip] Rent Service[jar,doc] Other Service [jar,doc] Агрегация информации 111
112. Парадокс централизации Чтобы эффективно разрабатывать распределённые приложения, нам нужны очень хорошие централизованные библиотеки и инструменты Например: логирование, health-checking, метрики, обработка типовых ошибок, автодокументирование 112
113. Парадокс централизации Чтобы эффективно разрабатывать распределённые приложения, нам нужны очень хорошие централизованные библиотеки и инструменты Но: не выносите бизнес-логику или доменные объекты! Не размывайте бизнес-контекст вашего API 113
114. Доставка 114
115. war/ear 115 Зависимость от сервера приложений
116. executable fatJar 116 Зависимость от системных библиотек
117. 117 not war < make Jar
118. executable fatJar/npm-пакет 118 Разный менеджмент для разных форматов дистрибуции
119. docker/rkt/packer 119
120. 120 not jar < make docker
121. scp fat.jar root@prod101:/home/app/ 121
122. scp fat.jar root@prod101:/home/app/ Что делать с консистентостью? Как быть с доступностью? 122
123. ./gradlew deployToArtifactory ansible -i [stage,dev,test] -t deploy 123
125. ./gradlew deployToArtifactory ansible -i [stage,dev,test] -t deploy “Прибитая молотком” конфигурация” 125
126. 126 Как быстро масштабироваться?
127. 127 Оркестрация
128. 128 Может систематизировать свою работу
129. mesos / kubernetes / ∞ 129
130. Как использовать ресурсы 130
131. 131 t Bare Metal
132. 132 t Bare Metal Virtual Machines
133. 133 t Bare Metal Virtual Machines Lightweight Containers
134. 134 t Bare Metal Virtual Machines Lightweight Containers
135. 135 Управление задачами в кластере
136. Использование группы машин как одной WEB WASTED CACHE WASTED WASTED HADOOP 136
137. Представьте, что кластер это просто одна большая машина WEB WASTED CACHE WASTED WASTED HADOOP WASTED WEB CACHE HADOOP FREE FREE 137
138. Следи за своим ПО 138
139. Нет трассировки - нет проблем? :) 139
140. X-Request-Id = X-Request-Id ?: new ID Простой вариант с ServletFilter 140
141. spring-cloud-sleuth/open zipkin 141
142. 142 Rent Service No TraceId No SpanId TraceId = X SpanId = A
143. 143 Rent Service Payment Service No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C
144. 144 Rent Service Payment Service Blockchain Service No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = F
145. 145 Rent Service Payment Service Security Service Blockchain Service No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
146. 146 Rent Service Payment Service Security Service Blockchain Service No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
147. 147 Rent Service Payment Service Security Service Blockchain Service TraceId = X SpanId = A No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
150. 150 Rent Service Payment Service
151. 151 Rent Service Payment Service SpanId = B Client Send TraceId = X SpanId = A
152. 152 Rent Service Payment Service SpanId = B Client Send SpanId = B Server Received TraceId = X SpanId = A TraceId = X SpanId = C
153. 153 Rent Service Payment Service SpanId = B Client Send SpanId = B Server Received SpanId = B Server Send TraceId = X SpanId = A TraceId = X SpanId = C
154. 154 Rent Service Payment Service SpanId = B Client Send SpanId = B Server Received SpanId = B Client Received SpanId = B Server Send TraceId = X SpanId = A TraceId = X SpanId = C
155. Соединим все
156. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 156 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co
157. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 157 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co ?
158. Ретроспектива → Разработчик ⇢ LSD ⇢ Шаблоны (lazybones) ⇢ Точки расширения (spring-starters) ⇢ Декларация ресурсов → Поддержка ⇢ Документирования разнородной инфраструктуры ⇢ Сквозной мониторинг → Администратор ⇢ Управление ресурсами ⇢ ITSM процессы ⇢ Возможность влиять на рабочий процесс
159. Подходы большой компании → Стандартизовать → Переиспользовать → Сделать все универсальным Результат → Быстрое устаревание → Сложность изменений
160. Люди не любят общаться
161. Общие части Technologies
162. Общие части Technologies git/gradle/cucumber git/asciidoc/ allure git/ansible/mesos/ artifactory
163. Как внедрить продать?
165. Мы инженеры или кто? Частота коммитов коммитов в прод Частотность успешных билдов Привязано задач к коммитам Количество и статус тестов SLA Время от идеи до клиента С 0 до Prod С Dev → Prod Количество ошибок ... LTV LCV Cash Flow Инженерные метрики Бизнес метрики Клиентские метрики NPS Happiness Safety
166. Пример инструмента Меняем состояние кластера — уровень приложений
167. Метрики + Pipeline и все все все Bootstrap Page Generate Code
168. Метрики + Pipeline и все все все Bootstrap Page Jenkins Job Generate Code
169. Метрики + Pipeline и все все все Bootstrap Page Metrics Indices Jenkins Job Generate Code
170. Метрики + Pipeline и все все все Bootstrap Page Metrics Indices Jenkins Job Generate Code Code Template Git Repository with access rights And WebHooks to J Create Indices with mapping for service Configure Jira Project (Issue Types/Permissions)
171. Метрики + Pipeline и все все все commit Выпекание
172. Метрики + Pipeline и все все все commit sha Выпекание
173. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание
174. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard metadata Доставка
175. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Доставка
176. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Create Ticket Доставка
177. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Result Status Create Ticket Mesos Prod Cluster App1 Доставка
178. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Result Status Create Ticket Mesos Prod Cluster App1 docs reports tests Доставка
179. Что деплоим?
180. Социальная сеть для сервисов ...
181. Пример инструментов Меняем состояние кластера — уровень инфраструктуры
182. Кросс Ревью Dev & Ops PR
183. Кросс Ревью Dev & Ops PR Developer Operation $ ansible ... Node X
184. DevOps — образ мышления команды, при котором все осознают что нужно для предоставления сервиса https://twitter.com/bsideup/status/906154114991652864
185. QA 185 @tolkv
186. QA 186 Не пишите в резюме DevOps Инженер @tolkv
187. Links Лекция Жени Кривошеева про архитектуру: https://www.youtube.com/watch?v=_Kex5hwGE-w Пример Smart-библиотеки: https://github.com/lavcraft/grpc-spring-boot-starter Пример реализации “умной документации”: https://github.com/aatarasoff/documentation-plugin-demo 187
188. https://alfalab.design/vacancies/java-razrabotchik https://alfalab.design/vacancies/ Минутка маркетинга
189. Типичная микросервисная архитектура 189