Перестаньте использовать crond

DevOpsDaysMoscow, 07-12-2019, Дмитрий Наговицын

Transcript

1. Stop using crond Приключения старого демона в современном мире
2. Что мы знаем о crond?
3. Недостатки crond (том первый) • Unix-way уже не подходит – часто задачи не атомарны и очень разные • Чтобы его использовать надо быть сисадмином: • Иметь доступ к системе (удаленный или локальный) • Иметь учетную запись в системе • Иметь доступ к чтению логов • Иногда иметь права запускать ваши задачи • Уметь читать и писать вот такое: for user in $(cut -f1 -d: /etc/passwd); do echo $user; crontab -u $user -l; done (с) stackoverflow.com
4. Недостатки crond (том второй) • Проблемы с обработкой ошибок: нет встроенных инструментов – set +e и || наше все • По умолчанию нотификация только на почту (локальный mail- server) • Если у нас IaC, то скорее всего мы храним скрипты джоб в инфраструктурном коде
5. А что мы хотим взамен? • Централизованность • Историю доступную всем • Гибкие права на запуск • Интерфейс/графики/отчеты • Доступность и понятность для всех членов команды
6. Какие альтернативы? • Конечно CI\CD система - есть у всех - удовлетворяет большинству требований выше • Специализированные решения (например rundeck) • SystemD timers https://wiki.archlinux.org/index.php/Systemd/Timers • Kubernetes CronJob https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs
7. Rundeck • Имеет разбиение по проектам • Поддерживает пользовательские формы • Имеется плагин для нотификаций (в т.ч. для Telegram) • Позволяет делать выпадающие списки на основе результата запроса • Обладает RESTful API • Интегрируется с Service Discovery (Consul)
11. Почему Consul? • Service Discovery с поддержкой тэгов • Множество способов зарегистрировать сервис: - curl - есть библиотеки для большинства языков - для сервисов на Docker есть registrator (см. ссылки) - наш метод - регистрация через SystemD при развертывании сервиса
12. Типовая задача: резервное копирование • Регистрируем сервис mysql/postrgres/что-то еще при старте с соответствующими тэгами • Rundeck берет из Consul список сервисов-тэгов • Запускаем соответствующую задачу из Rundeck для всех инстансов сервиса • При остановке сервиса, он пропадает из Consul и соответственно Rundeck
14. SystemD • Более человекочитаемый и очевидный: [Timer] OnBootSec=15min OnUnitActiveSec=1w • с легкостью мониторится: - https://github.com/prometheus/node_exporter - https://github.com/povilasv/systemd_exporter - https://github.com/influxdata/telegraf - https://github.com/cavaliercoder/zabbix-module-systemd
15. Границы использования crond Допустимо: • задача "системная” и не требует обработки ошибок, логов (i.e. ротация системных логов) • у вас есть нормальный сбор логов и контроль, и вы в нем уверены Недопустимо: • неудачный запуск может повлиять на бизнес (запуск задачи с бизнес логикой) • задачи пишутся-используются совместно с разработкой или другими подразделениями • нужна общедоступная статистика по выполнению
17. Ссылки: https://www.rundeck.com/open-source https://www.consul.io/ https://github.com/bdclark/rundeck-consul https://github.com/gliderlabs/registrator https://landing.google.com/sre/books/ Новости из мира SRE и DevOPS: https://t.me/count0_digest Контакты: https://t.me/count0ru https://linkedin.com/in/dmitrynagovitsin/