Очередь на прокси

[rahs]

Здравствуйте

Zabbix 2.2.7, один сервер, два прокси, база mysql 5.5.40. Сервер останавливался на время переноса базы (настраивал партиционирование). После запуска обнаружилась огромная очередь на обоих прокси, которая продолжает увеличиваться. Прокси с сервера видны, загрузка минимальная и на прокси, и на сервере, база данных тоже почти не нагружена, в логах ошибок нет. Поиграл с настройками, попробовал пассивный и активный режим прокси - результат нулевой.

Возможно, что-то важное упустил, но что, сообразить не могу. Буду благодарен за помощь.

[Jimson]

Было обсуждение этой проблемы в пределах пары месяцев назад. На сколько я помню это глюк статистики прокси, на самом деле она данные отослала. Но в любом случае никто не мешает просто перезапустить прокси, данные она все равно держит в локальной базе (mysql/sqlite/etc), не должно ничего потеряться.

[sersad]

rahs в версии 2.2 и выше есть очень критичная зависимость по синхронизации времени между сервером и прокси.
Поднимайте на сервере sntp, и синхронизируйте вермя на прокси по серверу, и делайте это регулярно.
Если время отличается даже на секунду, то будет расти очередь. В англоязычной ветке форума, данный момент был рассмотрен.

[rahs]

Было обсуждение этой проблемы в пределах пары месяцев назад. На сколько я помню это глюк статистики прокси, на самом деле она данные отослала. Но в любом случае никто не мешает просто перезапустить прокси, данные она все равно держит в локальной базе (mysql/sqlite/etc), не должно ничего потеряться.

Нет, не глюк статистки. Судя по графикам хостов, которые через прокси мониторятся, данные сервер получает очень медленно. То есть, сейчас синхронизируется история, а актуальные данные стоят в очереди. И как на этот процесс повлиять, совершенно непонятно

И сервер, и прокси перезапускал

[rahs]

rahs в версии 2.2 и выше есть очень критичная зависимость по синхронизации времени между сервером и прокси.
Поднимайте на сервере sntp, и синхронизируйте вермя на прокси по серверу, и делайте это регулярно.
Если время отличается даже на секунду, то будет расти очередь. В англоязычной ветке форума, данный момент был рассмотрен.

Время синхронизировал в первую очередь

[sersad]

конфиг файл прокси можно?
У меня была подобная проблема
Все решилось кое какими настройками и обновлением на 2.4.2
Так же есть итемы для мониторинга прокси и мониторинг самого прокси сервера нужно осуществлять только ЧЕРЕЗ ПРОКСИ, иначе итемы состояния сервера будут от сервера, а не от прокси.

[rahs]

конфиг файл прокси можно?
У меня была подобная проблема
Все решилось кое какими настройками и обновлением на 2.4.2

ProxyMode=0
Server=172.18.128.119
Hostname=zabbix-proxy-01
LogFile=/var/log/zabbix-proxy/zabbix_proxy.log
PidFile=/var/run/zabbix/zabbix_proxy.pid
ProxyLocalBuffer=1
ProxyOfflineBuffer=144
ConfigFrequency=300
DataSenderFrequency=1
StartPollers=50
StartPollersUnreachable=50
StartTrappers=5
StartPingers=10
StartDiscoverers=10
StartHTTPPollers=5
StartVMwareCollectors=10
VMwareCacheSize=64M
EnableSNMPBulkRequests=0
StartSNMPTrapper=1
CacheSize=128M
StartDBSyncers=50
HistoryCacheSize=128M
HistoryTextCacheSize=256M
Timeout=30
FpingLocation=/usr/bin/fping
Fping6Location=/usr/bin/fping6

Так же есть итемы для мониторинга прокси и мониторинг самого прокси сервера нужно осуществлять только ЧЕРЕЗ ПРОКСИ, иначе итемы состояния сервера будут от сервера, а не от прокси.

Вот за это спасибо, не подозревал даже

[rahs]

Вот еще, это с первого прокси:

mysql> select * from ids; 
+--------+--------------------+---------------------+-----------+
| nodeid | table_name         | field_name          | nextid    |
+--------+--------------------+---------------------+-----------+
|      0 | proxy_autoreg_host | autoreg_host_lastid |      8681 |
|      0 | proxy_history      | history_lastid      | 181612362 |
+--------+--------------------+---------------------+-----------+
2 rows in set (0.28 sec)

mysql> SELECT max(id) from proxy_history;
+-----------+
| max(id)   |
+-----------+
| 202632621 |
+-----------+
1 row in set (0.00 sec)

mysql>

Разрыв между nextid и max(id) все время увеличивается

[sersad]

rahs, создайте итем контролирующий очередь не синхронизированных элементов, через забикс агента на прокси дергайте для mysql

/usr/local/etc/zabbix_agentd.conf
UserParameter=zabbix.proxy.items.sync.remaining,echo "SELECT ((SELECT MAX(proxy_history.id) FROM proxy_history)-nextid) FROM ids WHERE field_name='history_lastid';;" |  mysql -N -h 127.0.0.1 -A -uЛОГИН -pПАРОЛЬ ИМЯ_БД_ПРОКСИ | awk '{print $$2}'

дальше добавьте элемент
Имя zabbix.proxy.items.sync.remaining
Тип Zabbix агент
Ключ zabbix.proxy.items.sync.remaining
Тип информации Числовой (с плавающей точкой)
ну и график по нему


На zabbix сервере я добавил DBSyncers до 16

cat /usr/local/etc/zabbix_server.conf

### Option: StartDBSyncers
#	Number of pre-forked instances of DB Syncers
#
# Mandatory: no
# Range: 1-100
# Default:
StartDBSyncers=16

StartTrappers на прокси может стоит увеличить? Но тут я не уверен
HeartbeatFrequency=60 еще у меня включен

[rahs]

Пришлось действовать решительно - перевел большую часть узлов с прокси на основной сервер. Потерял по ним часть истории, зато все остальное синхронизировалось очень быстро, буквально за несколько минут.

В общем, есть какая-то проблема с синхронизацией истории между прокси и основным сервером. Остается вопрос, как теперь это оформить в виде багрепорта.

[rahs]

Нашел похожую проблему

https://www.zabbix.com/forum/showthread.php?t=41352

Только вот у меня проблем с дисками нет

[sersad]

подобные графики по своим прокси и серверу можете дать?

На графиках видно как растет очередь до 11 числа, но это моя ошибка, на сервере iptables не пропускал sntp запросы от прокси. После синхронизации времени все стало хорошо.