Slide 1
Slide 1 text
Илья Аблеев · 23 июня 2018
Эвенты Zabbix в
ElasticSearch
Slide 2
Slide 2 text
2015 2016
2017 2018
?
Slide 3
Slide 3 text
?
Slide 4
Slide 4 text
© Boryaspec
http://nozacem.lv
Slide 5
Slide 5 text
No content
Slide 6
Slide 6 text
No content
Slide 7
Slide 7 text
Эвент – одиночное
возникновение того, что
заслуживает внимания.
Например, изменение состояния
триггера.
zabbix.com/documentation
Slide 8
Slide 8 text
No content
Slide 9
Slide 9 text
Плюсы:
• эвенты есть
• можно ограничить вывод по группе, хосту, триггеру
Минусы:
• нет комплексной фильтрации
• нотификации перестают приходить в почту/смс/итд после удаления eventid
• акнолиджи также перестают работать
Events (до 3.4)
Slide 10
Slide 10 text
No content
Slide 11
Slide 11 text
No content
Slide 12
Slide 12 text
Плюсы:
• появилась более сложная фильтрация
• проблемный eventid не удаляется, пока не станет OK
Минусы (субъективные, не зависит от версии):
• табличный вид
• постраничная навигация
• (cубъективно!!!) долго открывается страница эвентов
Events Problems (начиная с 3.4)
Slide 13
Slide 13 text
No content
Slide 14
Slide 14 text
No content
Slide 15
Slide 15 text
Кол-во триггеров Кол-во эвентов (1d)
Кол-во эвентов
(30d)
zabbix1 929K ~26K ~450K
zabbix2 40K ~1.7K ~38K
zabbix3 125K ~250 ~35K
zabbixnet 21K 500 ~10K
Zabbix в Badoo – цифры
Slide 16
Slide 16 text
Немного теории
https://www.zabbix.com/documentation/3.0/manual/api/reference/event/object
Slide 17
Slide 17 text
No content
Slide 18
Slide 18 text
No content
Slide 19
Slide 19 text
1 2 4
3
Slide 20
Slide 20 text
Важно помнить
• эвенты приходится удалять (1 млн строк за 30 дней)
• при удалении – теряется история
• эвенты удаляются (айдишки меняются) при:
- пересоздании триггера (напр. LLD)
- пересоздании хоста (напр. дискавери)
- перепривязки шаблона
Slide 21
Slide 21 text
1. Хранить долго
2. Делать выборку быстро
3. Строить сложные запросы простым способом (любому сотруднику)
Наши требования к истории событий
Slide 22
Slide 22 text
Эвенты – логи
Slide 23
Slide 23 text
Первая версия – Splunk
Нагляднее, чем просто число или таблица, правда?
Slide 24
Slide 24 text
Первая версия – Splunk
• Не у каждого есть, не каждый купит, а значит доклад потеряет ценность :)
• Специфично используем внутри компании, пришлось искать альтернативы
Slide 25
Slide 25 text
Вторая версия – ElasticSearch (+Kibana)
Всё ещё нагляднее, чем список.
Slide 26
Slide 26 text
No content
Slide 27
Slide 27 text
!!!
Slide 28
Slide 28 text
No content
Slide 29
Slide 29 text
No content
Slide 30
Slide 30 text
Техническая реализация
Slide 31
Slide 31 text
1. Временная таблица в базе (где и работает Zabbix server)
2. Скрипт по экшену записывает эвенты в таблицу в читабельном виде
3. Перекладываем из таблицы в ElasticSearch по крону (последовательно)
… и в продакшен
Slide 32
Slide 32 text
1
2
3
4
Slide 33
Slide 33 text
No content
Slide 34
Slide 34 text
Поделимся? Конечно.
https://github.com/ableev/Zabbix-Events-to-ElasticSearch
Кто хочет попробовать – пишите :)
Slide 35
Slide 35 text
Спасибо!
Habr: Badoo
https://www.meetup.com/Zabbix-Moscow-Meetup/
Me: @ableev (everywhere)