«Prometheus. Python. NMAP» Как перестать обновлять хосты в мониторинге раз в полгода 

Что есть сейчас: • 20 «железных» серверов • ~70 виртуалок • ~20 сетевых железок • Десяток вланов и подсетей 

• Zabbix • Хосты добавляются вручную • Да, агенты тоже • Несколько человек в отделе и все постоянно что-то делают Боль 

Хочется • Избавиться от ручного добавления хостов в систему мониторинга • Накатывать агентов автоматически • Знать что происходит в сети без необходимости ходить по кабинетам • Monitoring As Code 

No content

Сервисы, которые мы мониторим • SNMP ifMib (трафик, pps, errors, discards, utilization) • Asterisk (состояние транков, статус сервиса asterisk, кастомные проверки: записались ли данные о звонках в БД CRM) • «Железные» показатели. (CPU, RAM, место на разделах) • Состояние RAID-контроллеров • ICMP доступность • Доступность доменов по HTTP(проверка возвращения кода 200) • Состояние задач бэкапов 

Как это выглядит: 

Алерты 

Несколько слов о Prometheus • Создан хранить оперативные данные • Удобен для автоматического управления • Действительно быстро работает • PromQL универсален • Не предусмотрена авторизация • Простая и понятная логика экспортеров 

Несколько слов об alerta • Множество готовых интеграций (Zabbix, Nagios, Prometheus etc.) • Возможность добавлять собственные плагины (роутинг, оповещения) • Грабли: virtualenv 

Что ещё можно сделать • Эскалация оповещений • Autofix • You tell me =)