Высокая загрузка zabbix escalator process

[rogger]

Добрый день, коллеги

Столкнулся с тем, что пару дней назад выросла нагрузка escalator process. Сейчас она составялет 100% и не снижается. За последние пару дней добавил несколько хостов, но по идее не должно так сильно это влиять.
Настроил конфигурационный файл по паре рекомендаций, расширив объемы кеша и количества процессов.

В логах только подобные сообщения

 18828:20150519:094149.152 slow query: 0.308349 sec, "update escalations set nextcheck=1432017768 where escalationid=38721"
 18828:20150519:094246.856 slow query: 0.280484 sec, "update escalations set nextcheck=1432017826 where escalationid=32711"

[ableev]

Подключитесь к базе zabbix, попробуйте выполнить такой запрос:

SELECT COUNT(e.escalationid), a.actionid, t.description FROM escalations e
JOIN actions a ON e.actionid = a.actionid
JOIN triggers t ON e.triggerid = t.triggerid
GROUP BY a.actionid, t.description
ORDER BY 1 DESC;

Смысл в чём – у вас есть какие-то нотификации, которые "застряли" в очереди.
Не отключали ничего во время проблем? Или, может, удалили неаккуаратно что-то?

Посмотрите на escalationid из лога в таблице escalations, в этой таблице есть поле actionid, по нему можете посмотреть, к какому экшену в таблице actions относится эскалация. Возможно, у вас какое-то космической условие отправки уведомлений настроено.

[rogger]

Действительно, так и есть.

...
75 rows in set (0.00 sec)

Ссылаются на разные action, которые нужны для отправки email и SMS.
А можно ли как это эту очередь удалить.

Да и еще момент, нажимаю кнопку Administration\Queue - получаю сообщение "ERROR: Cannot display item queue. Connection timeout of 3 seconds exceeded when connecting to Zabbix server "10.219.140.206"."

Правильно я понимаю, что это как раз из-за большой очереди?

[ableev]

Это другая очередь.
Вы хотите посмотреть очередь на проверку айтемов.

У вас же проблема с очередью эскалаций.
Ну удалить можно, да, прямо оттуда, delete + where, главное – не ошибиться.
Другое дело, если вы удалите не искоренив причину – в следующий раз будет то же самое.
Так что я вам рекомендую сперва причину отыскать, поправить, а уже затем чистить очередь.

[rogger]

О, то, что нужно. Спасибо.
Удаление спасло.

Смысл в чём – у вас есть какие-то нотификации, которые "застряли" в очереди.
Не отключали ничего во время проблем? Или, может, удалили неаккуаратно что-то?

Действительно, так и было.
Только вот, помогите, пожалуйста, еще с таким вопросом.
А вобще - что это за очередь? Предположу, что в таблицу escalations попадают некие действия, которые не смогли выполнится? И висят в этой очереди по следующего запуска?

[ableev]

Эта очередь – очередь эскалаций.
Если вы настроили повторные оповещения – нотификации будут копиться в этой очереди и повторяться через нужный промежуток времени.

[rogger]

Спасибо за инфу.
Но очередь все-таки пополняется.
Проблема в том, что я не до конца понимаю, откуда туда попадают нотификации. И не совсем понимаю, как лечить.
Можете еще раз объяснить, в каком случае пополняется таблица escalations и как перевести время в колонке nextcheck?
Судя по actionid (3) это отправка сообщения по электронной почте.

mysql> select * from escalations; 
+--------------+----------+-----------+---------+-----------+------------+----------+--------+--------+
| escalationid | actionid | triggerid | eventid | r_eventid | nextcheck  | esc_step | status | itemid |
+--------------+----------+-----------+---------+-----------+------------+----------+--------+--------+
|        42603 |        3 |     15978 |  278962 |      NULL | 1432213355 |        1 |      2 |   NULL |
|        42604 |        3 |     15979 |  278963 |      NULL | 1432213357 |        1 |      2 |   NULL |
|        42605 |        3 |     15980 |  278964 |      NULL | 1432213361 |        1 |      2 |   NULL |
|        42727 |        3 |     25877 |  279124 |      NULL | 1432213372 |        1 |      2 |   NULL |
|        42784 |        3 |     16821 |  279773 |      NULL | 1432213338 |        1 |      2 |   NULL |
...

[ableev]

Вот и посмотрите в веб интерфейсе, в списке экшенов,
Какие у вас условия отправки (есть ли повторные уведомления, как часто?).

В эту очередь попадают нотификации, которые участвуют в повторных уведомлениях.

[rogger]

Ааа, теперь понял, спасибо
А повторными будут считаться уведомления, которые отправляются на разные адреса? Или только те, что отправляются на один адрес?

[ableev]

Только те, которые будут повторяться.
Вы можете поставить повторение адресатам всем, а можете одному, прямо в настройках экшена.

[rogger]

Спасибо большое, идею понял. Пока вопросов нет.