Yaroslavl JAM. Who is Mr. Jenkins? (RUS)

Вводный доклад в Jenkins. Поговорим о том, что представляет из себя этот сервер автоматизации, и о том, как он меняется со временем. Поговорим о Jenkins Pipeline и таких новых проектах, как Jenkins X и Jenkins Essentials.

Transcript

1. Who is Mr. Jenkins? Олег Ненашев (@oleg_nenashev) Jenkins project / CloudBees Ярославль, 2018
2. #jenkins_msk @oleg_nenashev, @jenkins_ru О чём доклад? ◦Кто такой Jenkins? ◦Pipeline и Configuration-as-Code ◦Что нового в проекте? Немного о Jenkins X и Essentials ◦Q&A 2
3. #jenkins_msk @oleg_nenashev, @jenkins_ru > whoami -jenkins @oleg_nenashev oleg-nenashev librecores.org Meetups СПб / Политех 3
4. #jenkins_msk @oleg_nenashev, @jenkins_ru > whoami -jenkins Использую Hudson/Jenkins с 2008го Коммиттер с 2012го Сейчас: • Мейнтейнер ядра • Организатор митапов Работаю в CloudBees • CloudBees Core • CloudBees Jenkins Support @oleg_nenashev oleg-nenashev 4
5. #jenkins_msk @oleg_nenashev, @jenkins_ru Русскоязычное сообщество Jenkins Митапы: ◦Москва, СПб, Минск ◦Ярославль Gitter: #jenkinsci-ru/public YouTube: http://bit.ly/jenkins-ru-youtube Facebook: http://bit.ly/jenkins-ru-facebook Twitter: @jenkins_ru Москва: Здесь может быть Ваше лого 5
6. #jenkins_msk @oleg_nenashev, @jenkins_ru О Вас 6
7. #jenkins_msk @oleg_nenashev, @jenkins_ru Кто такой Jenkins? • 2005: Появился как Hudson • 2008: Duke's Choice Award • 2011: Переименование в Jenkins • 2012: Самый популярный сервер непрерывной интеграции • 2015: >100к активных инсталляций • 2015: 1200 плагинов 7
8. #jenkins_msk @oleg_nenashev, @jenkins_ru 1. Один из наиболее популярных CI/CD тулов 2. Open-source проект 3. Большое сообщество 4. Интеграции 5. Коммерческая поддержка (опц.) Кто такой Jenkins? https://jenkins.io 8
9. #jenkins_msk @oleg_nenashev, @jenkins_ru Популярность Jenkins 9 http://stats.jenkins-ci.org/jenkins-stats/ • >170.000 активных инсталляций • ~500 коммиттеров за полгода • ~3 новых плагина в неделю • ~30 релизов плагинов в неделю
10. 2018 – Исследование JetBrains 10 https://www.jetbrains.com/research/devecosystem-2018/team-tools/
11. #jenkins_msk @oleg_nenashev, @jenkins_ru Интеграции >1200 плагинов Интеграция с сотнями тулов Управление процессами автоматизации Автоматизация любых задач Code & Commit Build & Config Scan & Test Release Deploy 11
12. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins – Сервер CI/CD для ПО Вы согласны? 12
13. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins – Software CI/CD Server – Сервер/Фреймворк автоматизации Disclaimer: IMHO 13
14. #jenkins_msk @oleg_nenashev, @jenkins_ru Почему “автоматизации”? 14 Непрерывной Интеграции Continuous Integration Continuous Delivery DevOps Автоматизация бухучёта Home Automation CRON с WebUI
15. #jenkins_msk @oleg_nenashev, @jenkins_ru Почему “фреймворк”? 15 Система Гибок и расширяем Минимален «из коробки» Требует настройки
16. #jenkins_msk @oleg_nenashev, @jenkins_ru 16 Инфра- структура агентов Доку- мен- тация Сервисы Плагины Конфиги Инфра- структура Бэкенд Шаб- лоны Система на базе Jenkins
17. #jenkins_msk @oleg_nenashev, @jenkins_ru Размер значение имеет! Разные подходы Разные окружения Разные решения 17
18. #jenkins_msk @oleg_nenashev, @jenkins_ru Насколько большой у Вас Jenkins? 18
19. Кластер Jenkins Мега - Jenkins Локальный сетап для команды Сетап для департамента Несколько Jenkins
20. Фреймворк на Jenkins 7 лет назад
21. #jenkins_msk @oleg_nenashev, @jenkins_ru 7 лет назад… Failover ◦ Naginator-плагин Воспроизводимость ◦ Чистое окружение ◦ Одноразовые виртуальные машины 21 •Параллелизация – Matrix Project – Parameterized Trigger •Цепочки задач: – MultiJob plugin – Build Pipeline Plugin •Шаблонизация: – Template project – Inheritance plugin
22. #jenkins_msk @oleg_nenashev, @jenkins_ru Классические подходы @ scale Спагетти-автоматизация • Зависимости между задачами • Трекинг компонентов • Сложные конфигурации • Дупликация • Сложность поддержки • Ошибки 22
23. #jenkins_msk @oleg_nenashev, @jenkins_ru Что изменилось? ◦Облачные технологии ◦SaaS ◦Контейнеризация ◦Configuration-as-Code 23
24. #jenkins_msk @oleg_nenashev, @jenkins_ru CI/CD стал проще! 24
25. #jenkins_msk @oleg_nenashev, @jenkins_ru [X] as code – зачем оно нужно? Хранение [X] вместе с проектом Отслеживание изменений Тестирование [X] вместе с проектом 25 [X] – Configuration, Documentation, Pipeline… Everything!
26. #jenkins_msk @oleg_nenashev, @jenkins_ru Configuration as Code в Jenkins Задачи Системные конфигурации 26
28. #jenkins_msk @oleg_nenashev, @jenkins_ru Системные конфигурации… as Code Внешние тулы Jenkins CLI and REST API python-jenkins jenkins-client (java) Configuration Management Ansible, Chef, … Docker, Docker Compose ... Решения в проекте Jenkins Groovy Boot Hooks System Config DSL (R.I.P.) Groovy Plugin, Scriptler Plugin SCM Sync Configuration • Много решений с Groovy • Вызов Groovy-скриптов через CLI 28
29. #jenkins_msk @oleg_nenashev, @jenkins_ru Новый плагин: Jenkins Configuration-as-Code Альфа версии – с февраля Конфигурация через YAML https://github.com/jenkinsci/confi guration-as-code-plugin 29
30. jenkins: systemMessage: "JCasC Demo" numExecutors: 1 scmCheckoutRetryCount: 4 mode: NORMAL securityRealm: local: allowsSignup: false users: - id: demoAdmin password: ${adminpw} jenkins.yaml
31. #jenkins_msk @oleg_nenashev, @jenkins_ru Фичи Экспорт конфигураций CLI и REST API для конфигураций в YAML Поддержка многих плагинов “из коробки” 31
32. #jenkins_msk @oleg_nenashev, @jenkins_ru https://github.com/oleg-nenashev/demo- jenkins-config-as-code/tree/casc-plugin 32 https://github.com/jenkinsci/configuration-as-code-plugin
33. #jenkins_msk @oleg_nenashev, @jenkins_ru 33 Задачи Jenkins as Code Job DSL Pipeline (бывш. Workflow) По-умолчанию предлагается в Jenkins 2.0 Jenkins Job Builder Groovy Groovy YAML Ещё несколько плагинов…
34. #jenkins_msk @oleg_nenashev, @jenkins_ru 34 Automation as Code Job DSL Pipeline (бывш. Workflow) По-умолчанию предлагается в Jenkins 2.0 Jenkins Job Builder Groovy Groovy YAML Ещё несколько десятков плагинов…
35. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins Pipeline 35
36. Документация Примеры Средства разработки Экосистема Jenkins Pipeline Плагины: Публичные библиотеки Branch- Source, BlueOcean, ... 89 – явная поддержка в коде 44 – плагины для Pipeline
37. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins Pipeline - это… 1. Groovy DSL для описания задач ◦ Хранится в SCM (Jenkinsfile) ◦ Или: определяется в настройках задачи node("linux && java9") { git url:"http://github.com/myorg/myproject.git" sh "make all" } http://bit.ly/pipeline-tutorial 37
38. #jenkins_msk @oleg_nenashev, @jenkins_ru 38
39. #jenkins_msk @oleg_nenashev, @jenkins_ru 39 Pipeline. Шаги • Интеграции с плагинами • Системные шаги • Дополнительные библиотеки
40. #jenkins_msk @oleg_nenashev, @jenkins_ru ◦Пользователь настраивает шаг сборки в UI ◦Jenkins генерирует код для Pipeline 40 Генератор шаблонов в UI
41. #jenkins_msk @oleg_nenashev, @jenkins_ru Основные возможности Независимость от агента и рабочей директории Параллелизация Устойчивость к рестарту мастера Устойчивость к разрывам сети Sandbox 41
42. #jenkins_msk @oleg_nenashev, @jenkins_ru Sandbox в Pipeline ◦Script Security Plugin ◦Ограниченный доступ к низкоуровневым операциям (файлы, системные вызовы, …) ◦Ограниченный доступ к API Jenkins ◦Белый список вызовов 42
43. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins Pipeline - это… 1. Groovy DSL для описания задач 2. Тип задачи Pipeline Multi-Branch Pipeline Organization Folder • GitHub • BitBucket* • … 43
44. #jenkins_msk @oleg_nenashev, @jenkins_ru 44 Pipeline Описания задач можно хранить в… • Настройках задачи • SCM => Jenkinsfile http://bit.ly/pipeline-tutorial
45. #jenkins_msk @oleg_nenashev, @jenkins_ru Пример def imageName = 'jenkinsciinfra/ircbot’ node('docker') { checkout scm def imageTag = findTag() stage('Build ircbot’) { withMavenEnv (["BUILD_NUMBER=${env.BUILD_NUMBER}:${commit}"]) { sh 'mvn clean package verify' }} stage ('Build & Deploy container’) { def img = docker.build("${imageName}:${imageTag}”) img.push() } } https://github.com/jenkins-infra/ircbot Docker Registry Server Jenkins SCM Puppet 45
46. #jenkins_msk @oleg_nenashev, @jenkins_ru ◦В конфигурации задачи – ссылка на репозиторий ◦Git/GitHub, BitBucket, … ◦Jenkins берёт настройки из Jenkinsfile 46 Multi-Branch Pipeline
47. #jenkins_msk @oleg_nenashev, @jenkins_ru Multi-Branch Pipeline ◦Multi-Branch – это папка, а не одна задача ◦Для веток и pull request - ОТДЕЛЬНЫЕ задачи ◦ Свои сборки ◦ Своя история ◦ Автоматическая очистка при мердже/удалении ◦Organization Folders – в GitHub/BitBucket 47
48. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins Pipeline - это… 1. Groovy DSL для описания задач 2. Тип задачи 3. Declarative Pipeline 48
49. #jenkins_msk @oleg_nenashev, @jenkins_ru Синтаксический сахар над Pipeline • “pipeline { }” closure • Используется тот же движок • DSL внутри DSL 49 Declarative Pipeline https://github.com/jenkinsci/pipeline- model-definition-plugin/wiki
50. #jenkins_msk @oleg_nenashev, @jenkins_ru Синтаксический сахар над Pipeline Секции для типовых задач • Простая настройка • Больше статического анализа • Меньше гибкость L 50 Declarative Pipeline https://github.com/jenkinsci/pipeline- model-definition-plugin/wiki
51. 51 pipeline { agent label:"generic-linux" tools { maven "Maven 3.3.9" jdk "Oracle JDK 8u40" } stages { stage("build") { steps { sh 'mvn clean install -Dmaven.test.failure.ignore=true' } } } post { always { junit "path/to/xml" } failure { mail to:"me@ema.il", subject:"FAILURE:${currentBuild.name}", …} } } Пример. Декларативный Pipeline
52. #jenkins_msk @oleg_nenashev, @jenkins_ru Declarative Pipeline Scripted Pipeline и библиотеки Простые случаи Другое Что использовать? 52
53. #jenkins_msk @oleg_nenashev, @jenkins_ru BlueOcean Новый UI/UX для Pipeline… и не только https://jenkins.io/doc/book/blueocean 53
56. BlueOcean Pipeline Editor Plugin https://jenkins.io/doc/book/blueocean/pipeline-editor/ Конфигурирование из браузера
57. #jenkins_msk @oleg_nenashev, @jenkins_ru Я - автоматизатор. Я не хочу писать плагины. Я хочу команды в Pipeline. 57
58. #jenkins_msk @oleg_nenashev, @jenkins_ru Переиспользование кода без плагинов 2015 • load() – загрузка из workspace def pipeline node('slave') { pipeline = load 'pipeline.groovy' pipeline.functionA() } pipeline.functionB() 58
59. #jenkins_msk @oleg_nenashev, @jenkins_ru Переиспользование кода без плагинов 2015 • load() – загрузка из workspace Начало 2016 • Global Pipeline Library • Pipeline Remote Loader Plugin def helloworld = fileLoader.fromGit( 'examples/fileLoader/helloworld', 'https://github.com/jenkinsci/workflow- remote-loader-plugin.git', 'master', credentialsID, ’linux && jumphost') helloworld.printHello() 59
60. #jenkins_msk @oleg_nenashev, @jenkins_ru Переиспользование кода без плагинов 2015 • load() – загрузка из workspace Начало 2016 • Global Pipeline Library • Pipeline Remote Loader Plugin Конец 2016 • Pipeline Shared Libraries • Управление библиотеками • Поддержка @Grab – можно включать обычные библиотеки Структура: 60
61. #jenkins_msk @oleg_nenashev, @jenkins_ru Pipeline Shared Libraries ◦Библиотеки лежат в SCM ◦Версионирование ◦Области видимости ◦ Весь Jenkins ◦ Folder, Job 61
62. #jenkins_msk @oleg_nenashev, @jenkins_ru Что делать пользователям? 1. Взять компоненты из фреймворка 62
63. #jenkins_msk @oleg_nenashev, @jenkins_ru Что делать пользователям? 1. Взять компоненты из фреймворка 2. Собрать свой велосипед Pipeline Просто добавь клея! 63
64. #jenkins_msk @oleg_nenashev, @jenkins_ru Объявление Библиотеки [1/2] Глобальные настройки, папки my-imaginary-lib 64
65. #jenkins_msk @oleg_nenashev, @jenkins_ru Объявление Библиотеки [2/2] https://github.com/oleg-nenashev/my-imaginary-lib 65
66. #jenkins_msk @oleg_nenashev, @jenkins_ru Пример. Импорт 66
67. #jenkins_msk @oleg_nenashev, @jenkins_ru Итого. Pipeline 67
68. Почему Jenkins Pipeline? ”Легко” использовать • Blue Ocean • Declarative • Multi-branch • Интеграции 68
69. Почему Jenkins Pipeline? “Легко” использовать “Легко” разрабатывать • … as Code • Snippet Generator • Документация • Pipeline Editor pipeline { agent label:"linux" tools { maven ”M3" } stages { stage("build") { steps { sh 'mvn clean verify' } } } post { always { junit ”target/…/*.xml" } } } 69
70. Почему Jenkins Pipeline? “Легко” использовать “Легко” разрабатывать “Легко” переиспользовать • Библиотеки # Jenkinsfile buildPlugin() 70
71. #jenkins_msk @oleg_nenashev, @jenkins_ru … упрощает описание простых и сложных job’ов … снижает затраты на поддержку системы … - язык программирования, нужно учить … требует средств разработки, их мало Pipeline… 71
72. #jenkins_msk @oleg_nenashev, @jenkins_ru “Легко”? Что не так? Обсудим после доклада Виктора… 72 http://bit.ly/jenkins-pipeline-user-side
73. #jenkins_msk @oleg_nenashev, @jenkins_ru А что нового в Jenkins? 73
74. #jenkins_msk @oleg_nenashev, @jenkins_ru
75. #jenkins_msk @oleg_nenashev, @jenkins_ru http://jenkins-x.io/ Jenkins X https://github.com/rawlingsj/jenkins-x-presentations 75
76. http://jenkins-x.io/
77. #jenkins_msk @oleg_nenashev, @jenkins_ru 77
78. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins X из коробки ◦Свой CLI ◦Jenkins-мастер ◦Пул агентов (Kubernetes plugin) ◦Шаблоны CI/CD Pipeline (Spring и пр.) ◦Nexus, chartmuseum, monocular ◦Окружения: ◦ Локальное окружение для разработки ◦ Staging ◦ Интеграция с Production ◦Интеграция с IDE 78
79. #jenkins_msk @oleg_nenashev, @jenkins_ru Что читать? https://jenkins-x.io/getting-started/ https://jenkins-x.io/contribute/roadmap/ https://github.com/rawlingsj/jenkins-x-presentations 79
80. #jenkins_msk @oleg_nenashev, @jenkins_ru Jenkins Essentials 80 https://jenkins.io/blog/2018/06/26/jenkins-essentials-at-eclipsecon-france/
81. #jenkins_msk @oleg_nenashev, @jenkins_ru https://jenkins.io/blog/2018/06/26/jenkins-essentials-at-eclipsecon-france/ 81
82. #jenkins_msk @oleg_nenashev, @jenkins_ru ◦ Простота использования ◦ Работает “из коробки” ◦ Не фреймворк, Ограниченный набор стэков ◦ Документация ◦ Cloud Native: AWS, Docker ◦ Автоматический апгрейд (и откат) ◦ Сбор и репортинг ошибок ◦ CD для компонентов Основы Jenkins Essentials 82
83. #jenkins_msk @oleg_nenashev, @jenkins_ru Ссылки ◦https://github.com/jenkins-infra/evergreen ◦https://jenkins.io/blog/2018/06/26/jenkins- essentials-at-eclipsecon-france/ ◦https://github.com/jenkinsci/jep/ ◦https://jenkins.io/blog/2018/07/10/jenkins- essentials-on-aws/ 83
84. #jenkins_msk @oleg_nenashev, @jenkins_ru Итого != 84
85. #jenkins_msk @oleg_nenashev, @jenkins_ru Итого ◦Jenkins – это не CRON с web-интерфейсом ◦Jenkins в 2018 – это не Jenkins в 2012 ◦Проект Jenkins набирает обороты 85
86. #jenkins_msk @oleg_nenashev, @jenkins_ru Что пробовать? ◦Jenkins Pipeline ◦Библиотеки Pipeline ◦Configuration-as-Code Plugin ◦Jenkins X, если у Вас Kubernetes 86
87. #jenkins_msk @oleg_nenashev, @jenkins_ru https://jenkins.io/participate/ 87
88. #jenkins_msk @oleg_nenashev, @jenkins_ru Русскоязычное сообщество Jenkins Митапы: ◦Москва, СПб, Минск ◦Ярославль Gitter: #jenkinsci-ru/public YouTube: http://bit.ly/jenkins-ru-youtube Facebook: http://bit.ly/jenkins-ru-facebook Twitter: @jenkins_ru Москва: Здесь может быть Ваше лого 88
89. #jenkins_msk @oleg_nenashev, @jenkins_ru Митап в Ярославле 89 https://www.meetup.com/Yaroslavl-Jenkins-Meetup/
90. #jenkins_msk @oleg_nenashev, @jenkins_ru ВОПРОСЫ? Offline: • https://gitter.im/jenkinsci-ru/public E-mail: onenashev@cloudbees.com GitHub: oleg-nenashev Twitter: @oleg_nenashev