«Эвенты Zabbix в ElasticSearch» — Илья Аблеев, Badoo

Руководитель отдела мониторинга в Badoo, инициатор и лидер Zabbix Moscow Meetup.

ElasticSearch для хранения эвентов (не истории!) Zabbix'а в Badoo начали использовать много лет назад. Точнее, сначала мы начали использовать Splunk, и лишь потом подключили Elastic. В докладе я расскажу, какие проблемы мы решаем такой интеграцией, и как это решение может быть полезно любому пользователю: визуализация событий, графики, отчёты, «комплексные запросы — это просто». Пару лет назад на митапе я показывал скриншот, как это выглядит. Настало время рассказать, как это работает.

Выступление на Zabbix Moscow Meetup 2018 в офисе Badoo.

Transcript

1. Илья Аблеев · 23 июня 2018 Эвенты Zabbix в ElasticSearch
2. 2015 2016 2017 2018 ?
3. ?
4. © Boryaspec http://nozacem.lv
7. Эвент – одиночное возникновение того, что заслуживает внимания. Например, изменение состояния триггера. zabbix.com/documentation
9. Плюсы: • эвенты есть • можно ограничить вывод по группе, хосту, триггеру Минусы: • нет комплексной фильтрации • нотификации перестают приходить в почту/смс/итд после удаления eventid • акнолиджи также перестают работать Events (до 3.4)
12. Плюсы: • появилась более сложная фильтрация • проблемный eventid не удаляется, пока не станет OK Минусы (субъективные, не зависит от версии): • табличный вид • постраничная навигация • (cубъективно!!!) долго открывается страница эвентов Events Problems (начиная с 3.4)
15. Кол-во триггеров Кол-во эвентов (1d) Кол-во эвентов (30d) zabbix1 929K ~26K ~450K zabbix2 40K ~1.7K ~38K zabbix3 125K ~250 ~35K zabbixnet 21K 500 ~10K Zabbix в Badoo – цифры
16. Немного теории https://www.zabbix.com/documentation/3.0/manual/api/reference/event/object
19. 1 2 4 3
20. Важно помнить • эвенты приходится удалять (1 млн строк за 30 дней) • при удалении – теряется история • эвенты удаляются (айдишки меняются) при: - пересоздании триггера (напр. LLD) - пересоздании хоста (напр. дискавери) - перепривязки шаблона
21. 1. Хранить долго 2. Делать выборку быстро 3. Строить сложные запросы простым способом (любому сотруднику) Наши требования к истории событий
22. Эвенты – логи
23. Первая версия – Splunk Нагляднее, чем просто число или таблица, правда?
24. Первая версия – Splunk • Не у каждого есть, не каждый купит, а значит доклад потеряет ценность :) • Специфично используем внутри компании, пришлось искать альтернативы
25. Вторая версия – ElasticSearch (+Kibana) Всё ещё нагляднее, чем список.
27. !!!
30. Техническая реализация
31. 1. Временная таблица в базе (где и работает Zabbix server) 2. Скрипт по экшену записывает эвенты в таблицу в читабельном виде 3. Перекладываем из таблицы в ElasticSearch по крону (последовательно) … и в продакшен
32. 1 2 3 4
34. Поделимся? Конечно. https://github.com/ableev/Zabbix-Events-to-ElasticSearch Кто хочет попробовать – пишите :)
35. Спасибо! Habr: Badoo https://www.meetup.com/Zabbix-Moscow-Meetup/ Me: @ableev (everywhere)