Сервер долго нагоняет данные от прокси

[hard]

Схема: 1 zabbix-server и 2 zabbix-proxy в разных ДЦ база на PostgresSQL
Загрузка: new values per second ~ 800


Довольно часто возникает ситуация когда теряется связь между каким-либо прокси и сервером (на срок от 10-20 мин), в результсяте на прокси копятся поступающие значения от агентов. После восстановления связности, он начинает отправлять их zabbix-серверу и тут начинается непонятное.
Если отставание небольшое (около 5 мин) сервер успешно нагоняет все данные и работа продолжается. Начиная с отставания в 10 мин сервер достаточно быстро нагоняет данные до -5 мин от текущего времени и все, на этом он почему то останавливается и дальше данные так и идут с отставанием в 5 мин. Приходиться останавливать прокси и чистить таблицу в базе данных чтобы пошли свежие значения.

Загрузка CPU в режиме "нагона" значений около 80-90% в рабочем режиме около 45%, база на дисковой полке и затыка с дисками точно нет. Памяти 32 Gb и почти вся отдана базе данных.
Значения StartDBSyncers=32 - на Proxy и StartDBSyncers=64 на сервере
Судя по графикам загрузка процессов busy history syncer processes не более 20%
Большая загрузка (под 100%) процессов

• busy timer processes
• escalator processes
• alerter processes

Не уверен что это связано с ними.
Буду благодарен если подскажете куда копать и в чем может быть причина столь долгого нагона значений Zabbix-сервером.

[hard]

Неужели ни у кого нет даже мыслей что-может быть и как исправить ?
Есть новые данные, добавил сбор статистики по количеству элементов в очереди на отправку с прокси на сервер.
График в момент пропажи связи и далее. в 17:06 пропала связь с сервером в 17:15 - восстановилась, до 17:20 очередь на отправку уменьшается и все - дальше до 17:30 почему то очередь меньше 100К падать не желает. В 17.30 я остановил zabbix proxy на 4 мин и после включения оставшиеся данные успешно были переданы на сервер.
Без остановки или ручной очистки таблиц в базе данные на прокси, очередь никак не хочет уменьшаться.

[Jimson]

Собрать проксю с отладкой и сделать тестовую проксю, вообщем лабу надо собирать. Мало кто использует прокси по серьезному или использует ее в географически разнесенных конфигурациях. У меня около 30 проксей, но конективити между проксями и сервером не пропадает.

[hard]

А сколько у вас максимум nvps на проксях, у меня есть второй прокси в том же ДЦ, что и сервер - на нем нагрузка около 300 nvps и описанных проблем на нем нет.
На проблемном (который в другом ДЦ) нагрузка около 500 nvps, но система на обоих не нагружена совсем (утилизация cpu 15%, памяти тоже свободной достаточно).

[Jimson]

У меня на проксях мизерная, до 50 v/s, нагрузка, я их использую для мониторинга "внутренностей" MPLS-VRF. И живут они у меня все на одном хосте, под vimage jails.

[hard]

Удалось решить проблему только немного поправив код zabbix_proxy.
Параметры HousekeepingFrequency, ProxyLocalBuffer и ProxyOfflineBuffer задаются изначально только в часах, что было много, переделали на задание их в секундах и при значении 3 мин стало все ок.
Да, если обрыв связи между ДЦ больше 3 мин, то данные теряются, но зато после восстановления, данные сразу нагоняются и все триггеры гаснут.

[Bock]

Рекомендую почитать: https://support.zabbix.com/browse/ZBX-6249
Мы сейчас используем 2.0.8 + патч из этого бага.
Вообще стало красиво.

[hard]

Рекомендую почитать: https://support.zabbix.com/browse/zbx-6249
Мы сейчас используем 2.0.8 + патч из этого бага.
Вообще стало красиво.

Пробовали на 2.0.6 + этот патч, не помогло. При большой очереди на прокси, все равно все затыкалось (может конечно как то криво применили или версия нужна 2.0.8). Как выйдет 2.0.9 еще раз проверю.