Upgrade to Pro — share decks privately, control downloads, hide ads and more …

«Эвенты Zabbix в ElasticSearch» — Илья Аблеев, Badoo

De18318c9ff86ea93435effe50a43c4b?s=47 Badoo Tech
June 26, 2018
8.9k

«Эвенты Zabbix в ElasticSearch» — Илья Аблеев, Badoo

Руководитель отдела мониторинга в Badoo, инициатор и лидер Zabbix Moscow Meetup.

ElasticSearch для хранения эвентов (не истории!) Zabbix'а в Badoo начали использовать много лет назад. Точнее, сначала мы начали использовать Splunk, и лишь потом подключили Elastic. В докладе я расскажу, какие проблемы мы решаем такой интеграцией, и как это решение может быть полезно любому пользователю: визуализация событий, графики, отчёты, «комплексные запросы — это просто». Пару лет назад на митапе я показывал скриншот, как это выглядит. Настало время рассказать, как это работает.

Выступление на Zabbix Moscow Meetup 2018 в офисе Badoo.

De18318c9ff86ea93435effe50a43c4b?s=128

Badoo Tech

June 26, 2018
Tweet

More Decks by Badoo Tech

Transcript

  1. Илья Аблеев · 23 июня 2018 Эвенты Zabbix в ElasticSearch

  2. 2015 2016 2017 2018 ?

  3. ?

  4. © Boryaspec http://nozacem.lv

  5. None
  6. None
  7. Эвент – одиночное возникновение того, что заслуживает внимания. Например, изменение

    состояния триггера. zabbix.com/documentation
  8. None
  9. Плюсы: • эвенты есть • можно ограничить вывод по группе,

    хосту, триггеру Минусы: • нет комплексной фильтрации • нотификации перестают приходить в почту/смс/итд после удаления eventid • акнолиджи также перестают работать Events (до 3.4)
  10. None
  11. None
  12. Плюсы: • появилась более сложная фильтрация • проблемный eventid не

    удаляется, пока не станет OK Минусы (субъективные, не зависит от версии): • табличный вид • постраничная навигация • (cубъективно!!!) долго открывается страница эвентов Events Problems (начиная с 3.4)
  13. None
  14. None
  15. Кол-во триггеров Кол-во эвентов (1d) Кол-во эвентов (30d) zabbix1 929K

    ~26K ~450K zabbix2 40K ~1.7K ~38K zabbix3 125K ~250 ~35K zabbixnet 21K 500 ~10K Zabbix в Badoo – цифры
  16. Немного теории https://www.zabbix.com/documentation/3.0/manual/api/reference/event/object

  17. None
  18. None
  19. 1 2 4 3

  20. Важно помнить • эвенты приходится удалять (1 млн строк за

    30 дней) • при удалении – теряется история • эвенты удаляются (айдишки меняются) при: - пересоздании триггера (напр. LLD) - пересоздании хоста (напр. дискавери) - перепривязки шаблона
  21. 1. Хранить долго 2. Делать выборку быстро 3. Строить сложные

    запросы простым способом (любому сотруднику) Наши требования к истории событий
  22. Эвенты – логи

  23. Первая версия – Splunk Нагляднее, чем просто число или таблица,

    правда?
  24. Первая версия – Splunk • Не у каждого есть, не

    каждый купит, а значит доклад потеряет ценность :) • Специфично используем внутри компании, пришлось искать альтернативы
  25. Вторая версия – ElasticSearch (+Kibana) Всё ещё нагляднее, чем список.

  26. None
  27. !!!

  28. None
  29. None
  30. Техническая реализация

  31. 1. Временная таблица в базе (где и работает Zabbix server)

    2. Скрипт по экшену записывает эвенты в таблицу в читабельном виде 3. Перекладываем из таблицы в ElasticSearch по крону (последовательно) … и в продакшен
  32. 1 2 3 4

  33. None
  34. Поделимся? Конечно. https://github.com/ableev/Zabbix-Events-to-ElasticSearch Кто хочет попробовать – пишите :)

  35. Спасибо! Habr: Badoo https://www.meetup.com/Zabbix-Moscow-Meetup/ Me: @ableev (everywhere)