После обновления на 7.0.1 проблемы с утечками

[Kolmik]

Обновил Zabbix сервер с версии 7.0LTS до версии 7.0.1
zabbix-proxy с 7.0LTS до 7.0.3

После этого один из проксей периодически зависает и начинают падать триггеры о недоступности хостов, которые подключены к нему.
На некоторых хостах останавливается zabbix-agent в процессе этой проблемы.

В логах Zabbix-Proxy куча сообщений:
1310:20240821:093552.339 cannot send history syncer notification
1310:20240821:093552.373 cannot write to IPC socket: Broken pipe

В логах агента:
30472:20240820:230917.880 Starting Zabbix Agent [rca-1c-215]. Zabbix 7.0.1 (revision 0543fbe4af6).
30472:20240820:230917.881 **** Enabled features ****
30472:20240820:230917.881 IPv6 support: YES
30472:20240820:230917.881 TLS support: NO
30472:20240820:230917.882 **************************
30472:20240820:230917.882 using configuration file: C:\Program Files\Zabbix Agent\zabbix_agentd.conf
30472:20240820:230918.746 agent #0 started [main process]
40576:20240820:230918.747 agent #1 started [collector]
12752:20240820:230918.747 agent #2 started[listener #1]
43388:20240820:230918.748 agent #3 started[listener #2]
49632:20240820:230918.748 agent #5 started[listener #4]
2888:20240820:230918.748 agent #4 started[listener #3]
10568:20240820:230918.749 agent #6 started[listener #5]
31816:20240820:230918.749 agent #7 started[listener #6]
60796:20240820:230918.750 agent #8 started[listener #7]
61028:20240820:230918.750 agent #9 started[listener #8]
41856:20240820:230918.750 agent #10 started[listener #9]
53940:20240820:230918.751 agent #11 started[listener #10]
51624:20240820:230918.751 agent #12 started [active checks #1]
51624:20240821:025810.984 Unhandled exception c0000005 detected at 0x00000001400141DA. Crashing ...
51624:20240821:025810.984 ====== Fatal information: ======
51624:20240821:025810.984 Program counter: 0x400141da
51624:20240821:025810.984 === Registers: ===
51624:20240821:025810.985 r8 = 0 = 0 = 0
51624:20240821:025810.985 r9 = 0 = 0 = 0
51624:20240821:025810.985 r10 = 0 = 0 = 0
51624:20240821:025810.986 r11 = 41db7f0 = 69056496 = 69056496
51624:20240821:025810.986 r12 = 0 = 0 = 0
51624:20240821:025810.986 r13 = 0 = 0 = 0
51624:20240821:025810.986 r14 = 0 = 0 = 0
51624:20240821:025810.987 r15 = ffffffff = 4294967295 = 4294967295
51624:20240821:025810.987 rdi = 41ddc50 = 69065808 = 69065808
51624:20240821:025810.987 rsi = 1400b7010 = 5369458704 = 5369458704
51624:20240821:025810.988 rbp = 41dcc08 = 69061640 = 69061640
51624:20240821:025810.988 rbx = 0 = 0 = 0
51624:20240821:025810.988 rdx = 0 = 0 = 0
51624:20240821:025810.988 rax = 0 = 0 = 0
51624:20240821:025810.989 rcx = 41dcc08 = 69061640 = 69061640
51624:20240821:025810.989 rsp = 41dc2c0 = 69059264 = 69059264
51624:20240821:025810.989 efl = 10246 = 66118 = 66118
51624:20240821:025810.990 csgsfs = 332b5300 = 858477312 = 858477312
51624:20240821:025810.990 === Backtrace: ===
51624:20240821:025811.043 8: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x400141da]
51624:20240821:025811.043 7: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x4001446b]
51624:20240821:025811.044 6: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40014625]
51624:20240821:025811.044 5: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x4003789a]
51624:20240821:025811.044 4: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40033fe9]
51624:20240821:025811.045 3: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40017177]
51624:20240821:025811.045 2: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40098f98]
51624:20240821:025811.045 1: C:\Windows\System32\KERNEL32.DLL(BaseThreadInitThu nk+0x14) [0xe2747974]
51624:20240821:025811.046 0: C:\Windows\SYSTEM32\ntdll.dll(RtlUserThreadStart+0 x21) [0xe4a0a371]
51624:20240821:025811.048 ================================
20912:20240821:071214.163 Starting Zabbix Agent [rca-1c-215]. Zabbix 7.0.1 (revision 0543fbe4af6).
20912:20240821:071214.164 **** Enabled features ****
20912:20240821:071214.164 IPv6 support: YES
20912:20240821:071214.164 TLS support: NO
20912:20240821:071214.164 **************************
20912:20240821:071214.165 using configuration file: C:\Program Files\Zabbix Agent\zabbix_agentd.conf
20912:20240821:071215.079 agent #0 started [main process]
17616:20240821:071215.079 agent #1 started [collector]
50728:20240821:071215.080 agent #2 started[listener #1]
20512:20240821:071215.080 agent #3 started[listener #2]
6504:20240821:071215.081 agent #4 started[listener #3]
41440:20240821:071215.081 agent #5 started[listener #4]
60100:20240821:071215.081 agent #6 started[listener #5]
9524:20240821:071215.082 agent #7 started[listener #6]
23316:20240821:071215.082 agent #8 started[listener #7]
31684:20240821:071215.082 agent #9 started[listener #8]
45644:20240821:071215.083 agent #10 started[listener #9]
21428:20240821:071215.083 agent #11 started[listener #10]
3604:20240821:071215.084 agent #12 started [active checks #1]
3604:20240821:090533.637 unable to receive from [ap-przb-prx1]:10051: read timeout
3604:20240821:090533.638 Active check configuration update started to fail
3604:20240821:090538.874 Active check configuration update from [ap-przb-prx1:10051] is working again
3604:20240821:091454.315 Unhandled exception c0000005 detected at 0x00000001400141DA. Crashing ...
3604:20240821:091454.315 ====== Fatal information: ======
3604:20240821:091454.316 Program counter: 0x400141da
3604:20240821:091454.316 === Registers: ===
3604:20240821:091454.316 r8 = 0 = 0 = 0
3604:20240821:091454.317 r9 = 0 = 0 = 0
3604:20240821:091454.317 r10 = 0 = 0 = 0
3604:20240821:091454.317 r11 = 41eb7f0 = 69122032 = 69122032
3604:20240821:091454.317 r12 = 0 = 0 = 0
3604:20240821:091454.318 r13 = 0 = 0 = 0
3604:20240821:091454.318 r14 = 0 = 0 = 0
3604:20240821:091454.318 r15 = ffffffff = 4294967295 = 4294967295
3604:20240821:091454.319 rdi = 41edc50 = 69131344 = 69131344
3604:20240821:091454.319 rsi = 1400b7010 = 5369458704 = 5369458704
3604:20240821:091454.319 rbp = 41ecc08 = 69127176 = 69127176
3604:20240821:091454.320 rbx = 0 = 0 = 0
3604:20240821:091454.320 rdx = 0 = 0 = 0
3604:20240821:091454.320 rax = 0 = 0 = 0
3604:20240821:091454.321 rcx = 41ecc08 = 69127176 = 69127176
3604:20240821:091454.321 rsp = 41ec2c0 = 69124800 = 69124800
3604:20240821:091454.321 efl = 10246 = 66118 = 66118
3604:20240821:091454.321 csgsfs = 332b5300 = 858477312 = 858477312
3604:20240821:091454.322 === Backtrace: ===
3604:20240821:091454.377 8: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x400141da]
3604:20240821:091454.377 7: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x4001446b]
3604:20240821:091454.377 6: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40014625]
3604:20240821:091454.378 5: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x4003789a]
3604:20240821:091454.378 4: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40033fe9]
3604:20240821:091454.378 3: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40017177]
3604:20240821:091454.379 2: C:\Program Files\Zabbix Agent\zabbix_agentd.exe() [0x40098f98]
3604:20240821:091454.379 1: C:\Windows\System32\KERNEL32.DLL(BaseThreadInitThu nk+0x14) [0xe2747974]
3604:20240821:091454.379 0: C:\Windows\SYSTEM32\ntdll.dll(RtlUserThreadStart+0 x21) [0xe4a0a371]
3604:20240821:091454.382 ================================

[Kolmik]

Ещё информация из htop - по CPU всё в потолок.

[teddy]

Обновил Zabbix сервер с версии 7.0LTS до версии 7.0.1
zabbix-proxy с 7.0LTS до 7.0.3

IMHO именно тут и ошибка. сервер и прокси разных версий - это уже путь к ошибкам. даже если отличия минорные. сервер еще может быть версии выше, но не наоборот.
Точно также агенты могут быть версии НЕ выше сервера\прокси к которому подключаются. Иначе стабильной работы не ждите

[Kolmik]

IMHO именно тут и ошибка. сервер и прокси разных версий - это уже путь к ошибкам. даже если отличия минорные. сервер еще может быть версии выше, но не наоборот.
Точно также агенты могут быть версии НЕ выше сервера\прокси к которому подключаются. Иначе стабильной работы не ждите

Поставил 7.0.1 на прокси, ситуация не изменилась.

[Kos]

Я не уверен, что падения агентов и зависания прокси-серверов связаны между собой (хотя это и не исключено). Мне кажется, это разные проблемы, которые нужно расследовать независимо.

Я бы обновил сервер и прокси до релиза 7.0.3 (в каждом минорном релизе довольно большое количество исправлений найденных ошибок). Смотрел бы, повлияло это на проблемы с прокси-серверами или нет.
Затем обновил бы на одной-двух машинах агента до той же версии 7.0.3 и смотрел бы - продолжают падать обновлённые агенты или нет.

На агенте сваливается процесс "active checks". А агенты только на платформе Windows, других нет? Если есть - они так же падают? Просто на платформах, отличных от Windows, можно после запуска агента отдельно повысить уровень логирования только для отдельного процесса (на Windows так сделать нельзя, можно только менять DebugLevel в конфиге для всех процессов агента сразу, из-за чего в логе потом трудно разобраться).

Судя по картинке, на прокси-сервере основную нагрузку на процессор создают процессы "http agent poler", "agent poller" и "snmp poller". Это всё новые типы процессов, которые в версии 7.0.х стали асинхронными (т.е. работают, организуя много потоков и делая множество запросов параллельно, по умолчанию - до тысячи на процесс). Каждый новый запрос по сети открывает новый file handle; из-за этого для Zabbix сервера и прокси должен быть увеличен системный параметр, регулирующий ограничение на количество одновременно открытых файлов на процесс (по умолчанию в большинстве Linux-ов он имеет значение 1024). Если Zabbix сервер или прокси запускается как systemd unit, то нужно убедиться, что в unit-файле выставлен параметр "LimitNOFILE=" со значением хотя бы 4096 (если это не так, то такой параметр добавить или подкорректировать, затем перечитать обновлённую конфигурацию - "systemctl daemon-reload" и перезапустить процесс сервера или прокси).

Ещё любопытно, который из процессов на прокси сервере пишет в лог сообщение "cannot write to IPC socket: Broken pipe". В данном случае процесс 1310 - это кто? (при старте процесса они пишут своё имя в лог).

[Kolmik]

Я не уверен, что падения агентов и зависания прокси-серверов связаны между собой (хотя это и не исключено). Мне кажется, это разные проблемы, которые нужно расследовать независимо.

Я бы обновил сервер и прокси до релиза 7.0.3 (в каждом минорном релизе довольно большое количество исправлений найденных ошибок). Смотрел бы, повлияло это на проблемы с прокси-серверами или нет.
Затем обновил бы на одной-двух машинах агента до той же версии 7.0.3 и смотрел бы - продолжают падать обновлённые агенты или нет.

На агенте сваливается процесс "active checks". А агенты только на платформе Windows, других нет? Если есть - они так же падают? Просто на платформах, отличных от Windows, можно после запуска агента отдельно повысить уровень логирования только для отдельного процесса (на Windows так сделать нельзя, можно только менять DebugLevel в конфиге для всех процессов агента сразу, из-за чего в логе потом трудно разобраться).

Судя по картинке, на прокси-сервере основную нагрузку на процессор создают процессы "http agent poler", "agent poller" и "snmp poller". Это всё новые типы процессов, которые в версии 7.0.х стали асинхронными (т.е. работают, организуя много потоков и делая множество запросов параллельно, по умолчанию - до тысячи на процесс). Каждый новый запрос по сети открывает новый file handle; из-за этого для Zabbix сервера и прокси должен быть увеличен системный параметр, регулирующий ограничение на количество одновременно открытых файлов на процесс (по умолчанию в большинстве Linux-ов он имеет значение 1024). Если Zabbix сервер или прокси запускается как systemd unit, то нужно убедиться, что в unit-файле выставлен параметр "LimitNOFILE=" со значением хотя бы 4096 (если это не так, то такой параметр добавить или подкорректировать, затем перечитать обновлённую конфигурацию - "systemctl daemon-reload" и перезапустить процесс сервера или прокси).

Ещё любопытно, который из процессов на прокси сервере пишет в лог сообщение "cannot write to IPC socket: Broken pipe". В данном случае процесс 1310 - это кто? (при старте процесса они пишут своё имя в лог).

1. По поводу обновления почему-то на официальной странице https://www.zabbix.com/ru/download?z...debian&os_vers ion=12&components=server_frontend_agent&db=pgsql&w s=apache
По этому гайду прокси обновляются до релиза 7.0.3, а сервер только до 7.0.1, релиз 7.0.3 не нашёл.
2. По поводу процесса Active checks - только Windows и походу только темплейт "Windows by Zabbix agent active"
Official Windows template. Requires agent of Zabbix 6.4 and newer.
You can discuss this template or leave feedback on our forum https://www.zabbix.com/forum/zabbix-...te-for-windows
Generated by official Zabbix template tool "Templator" 2.0.0

На остальное чуть позже отвечу.

[Kos]

1. По поводу обновления почему-то на официальной странице https://www.zabbix.com/ru/download?z...debian&os_vers ion=12&components=server_frontend_agent&db=pgsql&w s=apache
По этому гайду прокси обновляются до релиза 7.0.3, а сервер только до 7.0.1, релиз 7.0.3 не нашёл.
2. По поводу процесса Active checks - только Windows и походу только темплейт "Windows by Zabbix agent active"
Official Windows template. Requires agent of Zabbix 6.4 and newer.
You can discuss this template or leave feedback on our forum https://www.zabbix.com/forum/zabbix-...te-for-windows
Generated by official Zabbix template tool "Templator" 2.0.0

На остальное чуть позже отвечу.

1. По этому гайду идёт начальная установка, обновление описано в другом месте (ссылка). Только что проверил - в репозитории версия 7.0.3 для Debian 12 есть.

2. Понятно, спасибо.