Тревоги без шума: как настроить оповещения
Как настроить оповещения мониторинга, чтобы их читали: пороги, уровни важности, группировка, адресаты, тихие часы, пересмотр. Почему сотни тревог хуже никаких.
Администратору приходило около двухсот оповещений в день: кратковременные скачки нагрузки, повторы, предупреждения о мелочах. Он перестал их читать. Сообщение о том, что копия базы не создалась, утонуло среди остальных.
Мониторинг полезен, только если тревоги читают. Слишком много оповещений так же опасно, как их отсутствие. Ниже как настроить.
Правила
| Правило | Как выглядит |
|---|---|
| Уровни важности | Авария сразу, предупреждение в сводке |
| Пороги с запасом | Тревога, если проблема длится несколько минут |
| Без повторов | Одно сообщение о начале и одно о решении |
| Нужный адресат | Сообщение тому, кто будет действовать |
| Текст с действием | Что случилось и что сделать |
Как навести порядок
Шаг 1
Выгрузить тревоги за месяц
Сколько и каких.
Шаг 2
Найти шум
Тревоги, на которые никто не реагировал.
Шаг 3
Поднять пороги
Или перевести в предупреждения.
Шаг 4
Сводка
Предупреждения раз в день.
Шаг 5
Пересмотр раз в месяц
Новый шум убирается сразу.
Хорошая тревога будит только тогда, когда без человека не обойтись.
Что делать, когда тревога пришла, в статье пришла тревога мониторинга: что делать.
Сколько стоит
| Услуга | Цена |
|---|---|
| Мониторинг Zabbix: серверы, сайты, сертификаты, оповещения в Telegram | от 15 000 ₽ |
| Мониторинг доступности сайта | 5 000 ₽ |
Как мы делаем
Составляем список того, что важно контролировать, ставим мониторинг, настраиваем пороги и оповещения в Telegram ответственным, учим реагировать на тревоги. Подробности на странице мониторинга и оповещений.
Частые вопросы
Сколько тревог в день нормально?
Аварийных единицы или ноль. Если десятки, нужна настройка.
Куда отправлять тревоги?
В Telegram ответственному, аварии ещё и замене.
Что делать с повторяющимися тревогами?
Найти причину и исправить или поднять порог.
Как понять, что настройка удалась?
Каждую тревогу читают и по каждой есть действие.
Коротко
- Слишком много тревог так же опасно, как их отсутствие.
- Уровни важности, пороги с запасом, без повторов.
- Сообщение тому, кто действует, с понятным текстом.
- Раз в месяц убирайте шум.
Как контролировать данные без ручных проверок, в статье уведомления об изменениях в данных.