Wild Microservices And Imaginary DevOps

Today, very often you can hear a lot of buzz words, but even among them, DevOps and Microservices excite the minds of people as something special. For a typical engineer, DevOps and Microservices are just a marketing profanity. It's more important to "keep DevOps in your hands" and be able to use it. I want to understand where our and other people's fantasies come to an end, where really useful practices begin, what tools will help us and what fundamental principles will help increase the profit from the used practices and tools. The talk is primarily about the implementation of various technologies, tools and methodologies in a large organization. I will share the problems that we encountered in the implementation of various principles and technologies, I will talk about solutions and developed principles of scaling processes / tools. Today our slogan will be "DevOps in the hands and not in the heads." But what is in the minds is still important, although this is a completely different story.

Transcript

1. Wild Microservices And Imaginary DevOps
2. Толкачёв Кирилл @tolkv @lavcraft
3. DISCLAIMER No warranty guarantee 3
4. 1. Как начинается DevOps 2. Немного мифов и предрассудков 3. Как дальше жить? 4. Примеры — что делаем мы 5. “Выводы” 4 Agenda теория практика
5. 5 С чего начинается DevOps?
6. Хм, ничего нового Важный начальник Кто то смелый и решительный Ммм... Им нужно что то новенькое?
7. Котел с Хренью Домыслы Враки Сейчас я им приготовлю...
8. Котел с Хренью Домыслы Враки Проверенное старое Сейчас я им приготовлю...
9. Котел с Хренью Домыслы Враки Проверенное старое Не пригодилось Сейчас я им приготовлю...
10. Компания вызрела и
11. Давай займемся ДевОпсом
12. Говорили они Давай займемся ДевОпсом
13. Шары ДевОпса
14. Re: Re: Re: Re: Re: Re: …. Привет Y, Мне сказали ты можешь сделать нам X, сделай! У нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
15. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
16. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
17. Re: Re: Re: Re: Re: Re: …. Привет Дружище, мне сказали ты можешь помочь сделать нам X, помоги нам пожалуйста, ведь у нас в проекте DevOps! С уважением Работник Большой Компании <Лого Компании>
18. Кто же этот человек?
19. Я автоматизирую — я DevOps? Эй, сделай нам скрипт генерации Excel документа!
20. Я администрирую — я DevOps? Эй, разверни нам Jenkins!
21. Я админ и я программирую — я DevOps? Эй, сделай нам бота, мы хотим NPS опрос делать!
22. Зато у меня pipeline длиннее! Я деплою — я DevOps?
23. Зато у меня pipeline длиннее! Я деплою — я DevOps?
24. Миф “Человек и Пароход”
25. Наймём DevOps`а
26. А потом еще одного
27. А потом сделаем DevOps отдел
29. Закон впихуемости
30. Закон впихуемости Впихивать пока впихивается
31. Кого нанимать то? И как нанимать в условиях отсутствия таковых
32. Почему бы нам не нанять DevOps`a?
33. А следом и — 2х Аджайлов — 1го Вотерфола?
34. А следом и — 2х Аджайлов — 1го Вотерфола? — и наверно стоит нанять ТДД!
35. И у нас будут инженерные практики!
36. © @abashev DevOps как слава КПСС → Вообще не человек
37. Кто если не человек?
38. Миф о “Половозрелости”
39. Таблицы половозрелости Используется Jenkins да Уровень 1 Пишутся тесты да Уровень 1 Автоматизирована доставка да Уровень 2 Еще что то нет Уровень 2 Еще что то сложное нет Уровень 3 ... нет ... ... нет Уровень 90
40. да Уровень 1 да Уровень 1 да Уровень 2 нет Уровень 2 нет Уровень 3 нет ... нет Уровень 90
41. Работает ли производство как часы? _
42. У нас есть трактор Но есть нюансы
43. Или вы просто научились Быстро катить в “прод”?
44. Или вы просто научились Быстро катить в “прод”? Один знакомый всем жук
45. Чтобы не делать говно, сначала нужно всё продумать
46. Продумать архитектуру
47. Миф “DevOps и Архитектура”
48. А что такое архитектура?
49. 49 Закон “Почему”
50. 50 Закон 3х “Почему” ?
51. 51 Закон 5и “Почему” ?
52. Почему "Архитектура Г**НО?" Порой достаточно одного меткого "почему"
53. Нормально делай
54. Нормально делай Нормально будет
55. Реальность – это колодцы DBA`s Developers Operations
56. Реальность – это колодцы DBA`s Developers Operations
57. Реальность – это колодцы DBA`s Developers Operations
58. Реальность – это колодцы DBA`s Developers Operations
59. Реальность – это колодцы DBA`s Developers Operations Если конечно вы не Netflix
60. Реальность – это колодцы DBA`s Developers Operations Но вы не Netflix
61. 61 Закон Конвея
62. 62 Закон Конвея
63. цепь прочна настолько, насколько прочно её самое слабое звено
64. К чему приводят колодцы
65. Взаимоотношения и Квалификация Soft Skills + Hard Skills
66. DevOps – это про взаимоотношения → Никто не делает продукт для одного клиента → Никто не должен строить процесс вокруг {dev,ops,dba,etc} → Работать вместе над всем циклом создания продукта → Обучать не только "своих" → Не строить стен и колодцев
67. Но без Hard Skills...
68. И все же
69. Почему "Архитектура Г**НО?"
70. Кто делает "Архитектуру?"
71. Технологии идеальны Люди — М*****и
72. А что эти люди пишут? 72
73. Микросервисы!
74. Ммм...
75. Ммм… Напишу свой accounts-api
76. Ммм… Напишу свой accounts-api accounts-api какого то другого человека упыря
77. Ммм… Напишу свой accounts-api Но он он же :”№%$# accounts-api какого то другого человека
81. Немного LSD для вас → три языка программирования → два в среднем фреймворка на язык → семь типов источников данных ⇢ legacy WS, mongo db ⇢ OLTP, OLAP ⇢ elasticsearch, neo4j ⇢ Мишкина база %) complexity = 3 * 2 * 7 = 42 (!) 81
82. Чем нельзя пожертвовать? min (L * S * D) → ? 82
83. min (L * S * D) → max (D) 83
85. 85 t 0
86. Где мой DevOps ?
87. Дружище Где мой DevOps ?
88. Взглянем на Dev и Ops по отдельности
89. Как делать DevOps Как подружить хотя бы две роли, ведь должно быть хоть что то общее
90. Разработчик Что он делает и где результат его работы
91. git clone <golden_service_repo> 91
92. git clone <template_repo> 92
93. 93 Нужно переименовать классы Нужно кастомизировать руками Время актуализация
94. lazybones / start.spring.io / yeoman 94 Результаты общей работы (DevOps?)
95. lazybones create api 1.0.1 service_name 95
96. ~home > lazybones create api 0.0.1 rent-service 96
97. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: 97
98. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: 98
99. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: 99
100. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 100
101. ~home > lazybones create api 0.0.1 rent-service Creating project from template api 0.0.1 in 'rent-service' Define value for 'group' [ru.alfalab.rent.api]: Define value for 'version' [0.0.1]: apache-cxf ├──cxf-trace-interceptors └──cxf-spring-boot-starter logging sleuth Define value for 'dependencies' [logging,sleuth]: Project created for rent-service! 101
103. @Getter // generate getters @Setter // generate setters @Aspect // we are an aspect @ToString // generate toString() @EnableWs // SOAP is so enterprisy, we definitely need it @Endpoint // Seriously, just read above @EnableWebMvc // we want MVC @EnableCaching // and we want to cache stuff @Configuration // this class can configure itself @RestController // we want some REST @XmlRootElement // this component is marshallable @EnableWebSocket // we want web socket, it's so new-generation @RedisHash("cat") // this class is an entity saved in redis @EnableScheduling // we want scheduled tasks @EnableWebSecurity // and some built-in security @NoArgsConstructor // generate no args constructor @ContextConfiguration // we want context configuration for unit testing @SpringBootApplication // this is a Sprint Boot application @Accessors(chain = true) // getters/setters are chained (ala jQuery) @EnableAspectJAutoProxy // we want AspectJ auto proxy @EnableAutoConfiguration // and auto configuration @EnableRedisRepositories // since it is an entity we want to enable spring data repositories for redis @EnableWebSocketMessageBroker // we want a broker for web socket messages 103 Fluent annotations level 1
104. @EnableAllGoodThings 104 Fluent annotations level 2
105. 105 Fluent annotations level 3
106. smart libs/shared libs 106
107. documentation → smart documentation 107
108. Not smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents ... COPY-PASTE documentation from another document ... 108
109. Not so smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::../other.adoc[] include::/home/tolkv/git/docs-0/superdoc.adoc[] 109
110. Really smart = This is main documentation This document describes how to be the most fundamental and important document in the world of documents include::https://raw.github.com/asciidoctor/asciidoctor/master/Gemfile[] include::gradle://gradle-advanced:service-with-deps:1.0/deps.adoc[] include::gradle://:service/doc.adoc[] 110
111. Payment Service[jar,doc] Insurance Service [jar,doc] One Point of View [UberDoc.zip] Rent Service[jar,doc] Other Service [jar,doc] Агрегация информации 111
112. Парадокс централизации Чтобы эффективно разрабатывать распределённые приложения, нам нужны очень хорошие централизованные библиотеки и инструменты Например: логирование, health-checking, метрики, обработка типовых ошибок, автодокументирование 112
113. Общие инструмнеты
114. Общие инструмнеты Документация! Становится полезно другим ролям
115. Общие инструмнеты Документация! Становится полезно другим ролям Инструмент синхронизации
116. Доставка 116 И причем тут Operations
117. war/ear 117 Зависимость от сервера приложений
118. executable fatJar 118 Зависимость от системных библиотек
119. 119 not war < make Jar
120. executable fatJar/npm-пакет 120 Разный менеджмент для разных форматов дистрибуции
121. docker/rkt/packer 121
122. 122 not jar < make docker
123. scp fat.jar root@prod101:/home/app/ 123
124. scp fat.jar root@prod101:/home/app/ Что делать с консистентостью? Как быть с доступностью? 124
125. ./gradlew deployToArtifactory ansible -i [stage,dev,test] -t deploy 125
127. ./gradlew deployToArtifactory ansible -i [stage,dev,test] -t deploy “Прибитая молотком” конфигурация” 127
128. 128 Как быстро масштабироваться?
129. Operations Что они делают и где их результат работы
130. 130 Оркестрация
131. 131 Может систематизировать свою работу
132. mesos / kubernetes / ∞ 132
133. Как использовать ресурсы 133
134. 134 t Bare Metal
135. 135 t Bare Metal Virtual Machines
136. 136 t Bare Metal Virtual Machines Lightweight Containers
137. 137 t Bare Metal Virtual Machines Lightweight Containers
138. 138 Управление задачами в кластере
139. Использование группы машин как одной WEB WASTED CACHE WASTED WASTED HADOOP 139
140. Представьте, что кластер это просто одна большая машина WEB WASTED CACHE WASTED WASTED HADOOP WASTED WEB CACHE HADOOP FREE FREE 140
141. Как заставить общаться?
142. Как заставить общаться? Наши инструменты для инженерно— технического разрешения конфликтов
143. И это только начало
144. И это только начало Нет серебрянной пули, это тяжёлая работа
145. Следи за своим ПО 145
146. 146 Rent Service Payment Service Security Service Blockchain Service TraceId = X SpanId = A No TraceId No SpanId TraceId = X SpanId = A TraceId = X SpanId = A TraceId = X SpanId = B TraceId = X SpanId = B TraceId = X SpanId = C TraceId = X SpanId = C TraceId = X SpanId = D TraceId = X SpanId = D TraceId = X SpanId = E TraceId = X SpanId = E TraceId = X SpanId = F TraceId = X SpanId = G
149. Соединим все
150. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 150 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co
151. yoman Yo start.spring.io Ss python Py lazybones Lz java Ja spring boot Sb gradle Gr asciidoctor Ad thrift Th docker Dr mesos Ms marathon Ma chronos Ch aurora Au Artifactory Ar Kubernetes Kb eureka Eu consul Cl etcd Ed zookeeper Zk hystrix Hx sleuth Sl zipkin Zn groovy Gy 151 Data Isolation Di Centralization paradox Cp LSD principle Ls DDD Dd Smart Docs Sd Dynamic Sharing Ds Smart Libs Sl SOA So ansible An Conway’s Law Co ?
152. Ретроспектива → Разработчик ⇢ LSD ⇢ Шаблоны (lazybones) ⇢ Точки расширения (spring-starters) ⇢ Декларация ресурсов → Поддержка ⇢ Документирования разнородной инфраструктуры ⇢ Сквозной мониторинг → Администратор ⇢ Управление ресурсами ⇢ ITSM процессы ⇢ Возможность влиять на рабочий процесс
153. Подходы большой компании → Стандартизовать → Переиспользовать → Сделать все универсальным Результат → Быстрое устаревание → Сложность изменений
154. Люди не любят общаться
155. Общие части Technologies
156. Общие части Technologies git/gradle/cucumber git/asciidoc/ allure git/ansible/mesos/ artifactory
157. Как внедрить продать?
159. Мы инженеры или кто? Частота коммитов коммитов в прод Частотность успешных билдов Привязано задач к коммитам Количество и статус тестов SLA Время от идеи до клиента С 0 до Prod С Dev → Prod Количество ошибок ... LTV LCV Cash Flow Инженерные метрики Бизнес метрики Клиентские метрики NPS Happiness Safety
160. Что будет если Собрать все практики в одном решении?
161. Пример инструмента Меняем состояние кластера — уровень приложений
162. Метрики + Pipeline и все все все Bootstrap Page Generate Code
163. Метрики + Pipeline и все все все Bootstrap Page Jenkins Job Generate Code
164. Метрики + Pipeline и все все все Bootstrap Page Metrics Indices Jenkins Job Generate Code
165. Метрики + Pipeline и все все все Bootstrap Page Metrics Indices Jenkins Job Generate Code Code Template Git Repository with access rights And WebHooks to J Create Indices with mapping for service Configure Jira Project (Issue Types/Permissions)
166. Метрики + Pipeline и все все все commit Выпекание
167. Метрики + Pipeline и все все все commit sha Выпекание
168. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание
169. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard metadata Доставка
170. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Доставка
171. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Create Ticket Доставка
172. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Result Status Create Ticket Mesos Prod Cluster App1 Доставка
173. Метрики + Pipeline и все все все commit sha bin artifacts Выпекание Service Dashboard Mesos Dev Cluster Deploy metadata App1 Ops Verify Result Status Create Ticket Mesos Prod Cluster App1 docs reports tests Доставка
174. Что деплоим?
175. Социальная сеть для сервисов ...
176. Пример инструментов Меняем состояние кластера — уровень инфраструктуры
177. Кросс Ревью Dev & Ops PR
178. Кросс Ревью Dev & Ops PR Developer Operation $ ansible ... Node X
179. DevOps — образ мышления команды, при котором все осознают что нужно для предоставления сервиса https://twitter.com/bsideup/status/906154114991652864
180. QA 180 @tolkv
181. QA 181 Не пишите в резюме DevOps Инженер @tolkv
182. Links Лекция Жени Кривошеева про архитектуру: https://www.youtube.com/watch?v=_Kex5hwGE-w Пример Smart-библиотеки: https://github.com/lavcraft/grpc-spring-boot-starter Пример реализации “умной документации”: https://github.com/aatarasoff/documentation-plugin-demo 182
183. https://alfalab.design/vacancies/java-razrabotchik https://alfalab.design/vacancies/ Минутка маркетинга
184. Типичная микросервисная архитектура 184