Пришла тревога мониторинга: что делать по шагам
Что делать, когда мониторинг прислал тревогу: кто отвечает, как оценить важность, порядок проверки, когда эскалировать и как не превратить оповещения в шум.
Два часа ночи, в рабочем чате сообщение: «Сервер 1С недоступен». Его видят пятеро. Каждый думает, что разберётся кто-то другой. Утром выясняется, что сервер завис из-за обновления, перезагрузка заняла бы пять минут, но офис начал день без 1С, и полдня ушло на восстановление.
Мониторинг полезен ровно настолько, насколько полезна реакция на его сообщения. Без порядка действий тревога превращается в уведомление, которое все видят и никто не берёт. Ниже простой регламент для небольшой компании и способы сделать так, чтобы оповещениям доверяли.
Уровни важности
| Уровень | Пример | Реакция |
|---|---|---|
| Авария | Сервер 1С или сайт недоступен, копирование не прошло | Сразу, в любое время суток |
| Высокий | Диск заполнен на 90 %, сертификат истекает через 3 дня | В течение рабочего дня |
| Предупреждение | Диск заполнен на 80 %, растёт нагрузка | Плановая задача на неделю |
| Информация | Копирование прошло успешно | Не требует действий, видно в отчёте |
Если на сообщение не нужно реагировать, оно не должно звучать как тревога. Иначе через месяц не будут читать и настоящие.
Порядок действий при тревоге
Шаг 1
Взять
Ответственный отвечает в чате «беру». Остальные знают, что тревогой занимаются.
Шаг 2
Оценить масштаб
Что именно не работает и для кого: один сервис или всё, только офис или и клиенты.
Шаг 3
Проверить очевидное
Питание, сеть, место на диске, последние изменения и обновления.
Шаг 4
Восстановить работу
Сначала вернуть сервис (перезапуск, переключение на резерв), разбираться в причинах потом.
Шаг 5
Эскалировать, если не получается
Через заранее известное время (например, 30 минут) звонок следующему по списку или подрядчику.
Шаг 6
Сообщить пользователям
Коротко: что не работает и когда ожидается восстановление.
Шаг 7
Записать
Что случилось, что сделали, сколько стояли и что изменить, чтобы не повторилось.
Как сделать оповещения, которым доверяют
- Один ответственный на время. График дежурства, даже если это два человека по неделям.
- Разные каналы для разной важности. Аварии в отдельный чат со звуком, предупреждения в общий.
- Подтверждение и повтор. Если тревогу не взяли за 15 минут, повтор и сообщение следующему.
- Без ложных тревог. Короткие однократные сбои подтверждаются повторной проверкой до отправки.
- Сообщение о восстановлении. Видно, что проблема ушла, и сколько она длилась.
- Инструкция в сообщении. Ссылка на короткую инструкцию: что проверить первым.
Пример: ночная тревога по регламенту
Условная компания с дежурным по неделям. 02:00, тревога «сервер 1С недоступен» в чат аварий со звуком. Дежурный берёт её в 02:05, видит, что сервер завис после обновления, перезапускает, в 02:15 приходит сообщение о восстановлении. Утром в журнал записано: отложить автоматические обновления на выходные и включить проверку после перезагрузки. Офис начинает день как обычно.
Сколько стоит
| Позиция | Цена | Что входит |
|---|---|---|
| Мониторинг Zabbix | от 15 000 ₽ | Серверы, сайты, диски и сертификаты с оповещениями в Telegram |
| Мониторинг сайта | 5 000 ₽ | Оповещение, если сайт недоступен |
| Базовое сопровождение | от 10 000 ₽ в месяц | Реакция на тревоги и обслуживание |
Что включить в мониторинг, разобрано в статье «Мониторинг сайта и серверов». Как оценить, сколько можно простоять, в материале «RPO и RTO простыми словами». Про самую предсказуемую аварию в статье «Диск заполнился, сервер встал».
Как мы делаем
Настраиваем мониторинг с уровнями важности, отдельными чатами, повторами и сообщениями о восстановлении, пишем короткие инструкции к типовым тревогам и регламент на одну страницу. Можем взять реакцию на себя в рамках сопровождения. Подробности на странице мониторинга, смета в калькуляторе.
Частые вопросы
У нас нет администратора. Кто будет реагировать?
Либо ответственный сотрудник по инструкции для простых случаев, либо подрядчик по договору сопровождения.
Сколько тревог в норме?
Аварий единицы в месяц или меньше. Если тревог десятки, пороги настроены неправильно.
Нужно ли реагировать ночью?
На аварии систем, без которых утром не начнётся работа, да. Остальное ждёт утра.
Где хранить инструкции?
В базе знаний компании, со ссылкой из сообщения тревоги.
Коротко
- Тревога без ответственного превращается в сообщение, которое никто не берёт.
- Порядок: взять, оценить, проверить очевидное, восстановить, эскалировать, сообщить, записать.
- Уровни важности, разные каналы, повторы и отсутствие ложных тревог сохраняют доверие к оповещениям.
- Мониторинг Zabbix от 15 000 ₽, сопровождение от 10 000 ₽ в месяц.
Следующий шаг: посчитайте мониторинг в калькуляторе или посмотрите все услуги на rktsocial.com.