Барух Садогурский, Кирилл Толкачёв — DevOps In Action

Говорят, DevOps позволяет увеличить скорость разработки и развертки приложений. Давайте проверим! Достаточно ли 3 часа для того, чтобы написать и развернуть в production свой собственный CI server (оставим в стороне вопрос “зачем нам рукописный CI server?!”)?

Что будет?
- процесс рождения собственного CI as a Service
- ловкое использование Docker и Spring Boot
- масштабирование на нашу большую компанию
- весело

На выходе вы, наконец, поймете, зачем обычному разработчику знать про свою инфраструктуру, как сияет радуга и как прекрасна шерсть розовых пони если dev любит ops, ops любит dev (в хорошем смысле) и везде царит мир и любовь.

Transcript

1. DevOps In Action
2. @tolkv 2 @lavcraft Кирилл знает за Девопс
3. 3 @jbaruch @real_jbaruch Барух может разговорить Кирилла
4. Часть теоретическая
5. Что такое DevOps ?
6. Что такое DevOps ?
7. Что такое DevOps ? Не человек!
8. Разработчики есть?
9. Тестировщики?
10. Админы?
11. Видим то, что хотим видеть
12. 12 DevOps - buzzword
13. 13 DevOps - buzzword 1. Очень абстрактно
14. 14 DevOps - buzzword 1. Очень абстрактно 2. Популярное словечко
15. 15 DevOps - buzzword 1. Очень абстрактно 2. Популярное словечко 3. Продающее
16. 16 DevOps - buzzword 1. Очень абстрактно 2. Популярное словечко 3. Продающее 4. Все говорят “девопс”
17. 17 Not a Gartner Curve Software Architecture DevOps
18. 18 Not a Gartner Curve Software Architecture DevOps
19. Видим то, что хотим видеть
20. Что такое архитектура? 20
21. 21 Что такое архитектура?
22. 22 https://www.youtube.com/watch?v=_Kex5hwGE-w Что такое архитектура?
23. DevOps - процесс
24. DevOps - процесс
25. На чем пробуем? • Мы будем писать и разворачивать доморощенный CI server
26. Описание демо • Мы будем писать и разворачивать доморощенный CI server • “Да вы, что, е****сь?!”
27. Описание демо • Мы будем писать и разворачивать доморощенный CI server • “Да вы, что, е****сь?!” • В здравом уме → не стали бы
28. Описание демо • Мы будем писать и разворачивать доморощенный CI server • “Да вы, что, е****сь?!” • В здравом уме → не стали бы • Но ведь все знают что такое CI?
29. Ну, как всегда!
30. В чем проблема-то? • Пишем war
31. В чем проблема-то? • Пишем war • Жмём экспорт в JDeveloper
32. В чем проблема-то? • Пишем war • Жмём экспорт в JDeveloper • Посылаем админам по почте
33. В чем проблема-то? • Пишем war • Жмём экспорт в JDeveloper • Посылаем админам по почте • Спасибо, все свободны.
34. Шутки в сторону • Пишем war • Собираем Мавеном • Деплой в Томкат • Спасибо, все свободны.
35. Developers. Developers. Developers
36. DevOps - процесс
37. How we run cluster 37
38. More spice! 38
39. More spice! 39
40. More spice! 40
42. Mesos lets us treat a cluster as one big computer WEB WASTED CACHE WASTED WASTED HADOOP 42
43. Mesos lets us treat a cluster as one big computer WEB WASTED CACHE WASTED WASTED HADOOP WASTED WEB CACHE HADOOP FREE FREE 43
44. Путь в DevOps 1. Играйся локально, заслужи доверие
45. День 1: Vagrant 1. Инициализация окружения a. vmware b. virtualbox c. hyper-v d. … 2. Эмуляция сетевой топологии a. node.vm.network :private_network, ip: "192.168.40.#{i+110}" 3. Много разных плагинов a. hostmanager-plugin например. Автоматически добавляет имена в hosts файлы
46. День 1: Ansbile 1. Тонкая настройка серверов 2. Декларативный и простой 3. “Модульный”
47. День 1: Vagrant & Ansible 1. Zookeeper role
48. День 1: Vagrant & Ansible 1. Zookeeper role 2. Mesos Master role a. marathon b. mesos dns
49. День 1: Vagrant & Ansible 1. Zookeeper role 2. Mesos Master role a. marathon b. mesos dns 3. Mesos Slave role a. CPU % b. MEM % c. PORTS [5100-2000,80] d. DISK % e. GPUS
50. Mesos
51. Схема выделения ресурсов
52. День 2: О тестах 1. Handlers?
53. ★ Декларативная настройка - День 3: Minimesos
54. ★ Декларативная настройка ★ JUnit правила День 3: Minimesos
55. ★ Декларативная настройка ★ JUnit правила ★ Единый Docker storage → быстрый День 3: Minimesos
56. ★ Декларативная настройка ★ JUnit правила ★ Единый Docker storage → быстрый - Все же очень далекий “от реальности” - Проблемы с запуском на разных версиях Docker/OS День 3: Minimesos
57. Marathon 1. Long Running tasks
58. Marathon 1. Long Running tasks 2. Управление жизненным циклом
59. Marathon 1. Long Running tasks 2. Управление жизненным циклом 3. Обновление без недоступности* a. marathon-lb/client side lb
60. Marathon
61. День 4: Mesos DNS 1. Устанавливаем через Marathon 2. Показываем что работает, перенастраиваем приложения
62. День 6: Mesos DNS 1. Устанавливаем через Marathon 2. Пробуем задеплоить через Public анонс приложение с NC или еще что нибудь простенькое и быстрое
63. День 5: Marathon LB 1. Устанавливаем через Marathon 2. Пробуем задеплоить через Public анонс приложение с NC или еще что нибудь простенькое и быстрое
64. День 5: Marathon LB 1. 9090 a. haproxy?stats b. _haproxy_getconfig
65. День 5: Marathon LB 1. 9090 a. haproxy?stats b. _haproxy_getconfig 2. 9091 a. resolve by header
66. День 5: Marathon LB 1. 9090 a. haproxy?stats b. _haproxy_getconfig 2. 9091 a. resolve by header 3. 80 a. resolve by host
67. День 5: Marathon LB 1. 9090 a. haproxy?stats b. _haproxy_getconfig 2. 9091 a. resolve by header 3. 80 a. resolve by host 4. Custom haproxy config a. marathon fetch
68. День 5: Marathon LB 1. 9090 a. haproxy?stats b. _haproxy_getconfig 2. 9091 a. resolve by header 3. 80 a. resolve by host 4. Custom haproxy config a. marathon fetch
69. Jenkins/Bamboo/TeamCity? 1. Показать
70. github/{project} Сервис CD http Рабочий узлы Дизайн Бинарный репозиторий результаты
71. Рабочие узлы и ограничения 1. Docker image c java и git 2. Размазывается по узлам 3. Необходимо настраивать выгрузку 4. С документацией
72. Сервис CD 1. Mesos Framework 2. Знает о ресурсах кластера 3. Умеет назначать задания
73. DVPS #1 Подготовка 1. Развернем $ vagrant up or $ minimesos up 2. Бинарный репозиторий 3. Обнаружение - https://github.com/mesosphere/marathon-lb a. VHOST b. HAPROXY_{n}_PATH c. HAPROXY_{n}_GROUP d. HAPROXY_{n}_BIND_OPTIONS e. .. https://github.com/mesosphere/marathon-lb/blob/master/Longhelp.md
74. DVPS#2 Пользуемся инфраструктурой 1. Mesos 2. Marathon 3. Marathon LB
75. Mesos
76. Spring boot starter mesos https://github.com/ContainerSolutions/mesos-starter
77. github/{project} Mesos Framework Spring boot mesos Mesos master Реализация Mesos slaves GET :8080/tasks?repoUrl='ls-la' Resource Offer, Accept Schedule git pull ./gradlew build publish Artifactory
78. Условия и ограничения • один docker образ для всех сборок • Docker образ должен содержать java и git • отвественность за произведенные артефакты на разработчике ◦ но это правится с помощью Gradle плагинов • все попадает в бинарный репозиторий
79. Какой код самый лучший? Не написанный
80. Какой код самый лучший? Не написанный Ну или хотя бы не нами написанный
81. Fullstack говорите? Не наш fullstack
82. Итак, full stack • Docker • Mesos • Marathon • Vagrant • Ansible • HA Proxy • Minimesos • Artifactory • Spring Boot
83. Проблемы?
84. Проблемы? Да пожалуйста gradle Кэш
85. Проблемы? Да пожалуйста Scale Resources Rejecting offer offerId=...O2301, by requirement=scaleFactorRequirement Accepting offer offerId=...-O2301, by requirement=cpuRequirement Accepting offer offerId=...-O2301, by requirement=memRequirement Accepting offer offerId=...-O2301 on slaveId=...-S2
86. Проблемы?
87. QA
88. We Are Hiring https://special.habrahabr.ru/alfabank/labhunt/vacancies/ Java Developer DevOps Engineer
89. Oops
90. DVPS! 1. DevOps это не сложно 2. Концепции Discovery/Monitoring etc можно получить из коробки 3. Знай и люби свой DevOps 4. Только зная и любя его, можно сделать эффективное и прекрасное решение