Странное поведение PollersUnreachable

[novoselov.ai]

Добрый день!

Давно массовых обвалов оборудования небыло - вот случилось. Отвалилось 205 узлов.



падало в 11,05 и 11,30 видно что после восстановления график Unreachable Pollers process показывает нагрузку еще долгое время.

При этом база перегружается запросами

update ids set nextid=nextid+4 where nodeid=0 and table_name='events' and field_name='eventid'	
update ids set nextid=nextid+1 where nodeid=0 and table_name='events' and field_name='eventid'

Конфиг

Timeout=20
UnreachablePeriod=40
UnreachableDelay=20
UnavailableDelay=120

Прошлый раз останавливал сервер очищал таблицу ids, и всё вроде заработало.

Что делать?

P.S.

База Postgresql.
Ваккумм базы производится ночью.
Выключен автоваккуум... с ним ситуация еще хуже.

Видимо придется партицирование снова вводить, либо триггерами
обслуживание таблицы делать в таких случаях.

[novoselov.ai]

Поставил StartPollersUnreachable=1 (было 10)

Стало лучше, если не считать постоянной загрузки в 30-80% PollersUnreachable (в случае массовых отключений устройств).
Такое впечатление, что если запущено несколько пуллеров PollersUnreachable, они между собой создают взаимные блокировки запросами на таблицу ids.

[OKyHb]

У нас такие же сложности на mysql - zabbix 2.0.6 - sql блокировки при unreachable

Стабильно проявляется при ~5 минутной недоступности >300 коммутаторов.

Сегодняшний пример - в 4:20 обновили прошивку агрегирующем свиче. В 10 утра надоело это наблюдать, рестартанул zabbix-server.



Разбираться с проблемными запросами скила не хватает, поэтому, наверно, попробуем вернуться на 2.0.5.

[boe]

У себя тоже видел такое, при недоступности узлов повышается загрузка unreachable poller, и чем больше узлов падает - тем выше загрузка.
Если не ошибаюсь, то это было и до обновления до 2.0.6, потому не уверен что откат версии до 2.0.5 поможет.

[OKyHb]

Так в том-то и дело, что хосты становятся доступными уже через 10 минут, а PollersUnreachable не отпускает значительно дольше.

[novoselov.ai]

Попробуйте StartPollersUnreachable=1, если поможет - надо разработчикам сообщить.

[OKyHb]

Как-то даже стрёмно пробовать StartPollersUnreachable=1. Сейчас у нас стоит 24, и наблюдается такая картина (нормальный день без проблем):



Даже без аварий/техработ постоянно что-то лежит - там или света нет, или проблемы с доступом, или переделывают что-то...

[OKyHb]

Сейчас используем 2.0.9 - и проблема всё ещё актуальна. PollersUnreachable залипает, и в базе куча запросов вида:

+--------+-----------------+-----------+--------+---------+-------+-----------------------------+------------------------------------------------------------------------------------------------------+-----------+---------------+
| Id     | User            | Host      | db     | Command | Time  | State                       | Info                                                                                                 | Rows_sent | Rows_examined |
+--------+-----------------+-----------+--------+---------+-------+-----------------------------+------------------------------------------------------------------------------------------------------+-----------+---------------+
| 248754 | zabbix          | localhost | zabbix | Query   |     0 | updating                    | update ids set nextid=nextid+1 where nodeid=0 and table_name='events' and field_name='eventid'       |         0 |             0 |
| 248755 | zabbix          | localhost | zabbix | Query   |     0 | updating                    | update ids set nextid=nextid+1 where nodeid=0 and table_name='events' and field_name='eventid'       |         0 |             0 |

Помогает "service zabbix-server restart", но это реально напрягает.

Что можно проверить при проявлении проблемы?