После обновления 5.2->5.4 zabbix server падает через несколько минут работы

[Victor Sklyarov]

После обновления 5.2->5.4 zabbix server падает через несколько минут работы

zabbix_server [20216]: ERROR [file and function: <variant.c,variant_compare_dbl>, revision:5059e20a75, line:572] Something impossible has just happened.
20216:20210601:132404.296 === Backtrace: ===
20216:20210601:132404.298 13: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](zbx_backtrace+0x35) [0x567995]
20216:20210601:132404.298 12: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](zbx_variant_compare+0x39b) [0x583d1b]
20216:20210601:132404.298 11: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history]() [0x558e2e]
20216:20210601:132404.298 10: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history]() [0x55c240]
20216:20210601:132404.298 9: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history]() [0x5425cb]
20216:20210601:132404.298 8: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](evaluate_expressions+0x28e) [0x54b17e]
20216:20210601:132404.298 7: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history]() [0x512402]
20216:20210601:132404.298 6: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](dbsyncer_thread+0x17c) [0x45027c]
20216:20210601:132404.298 5: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](zbx_thread_start+0x27) [0x572b07]
20216:20210601:132404.298 4: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](MAIN_ZABBIX_ENTRY+0x9e8) [0x444ce8]
20216:20210601:132404.298 3: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](daemon_start+0x1b1) [0x567791]
20216:20210601:132404.298 2: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](main+0x5d7) [0x43d287]
20216:20210601:132404.298 1: /lib64/libc.so.6(__libc_start_main+0xea) [0x7f3b96b5e34a]
20216:20210601:132404.298 0: /usr/local/sbin/zabbix_server: history syncer #3 [processed 0 values, 0 triggers in 0.001630 sec, syncing history](_start+0x2a) [0x443d1a]
20092:20210601:132404.316 One child process died (PID:20216,exitcode/signal:1). Exiting ...
zabbix_server [20092]: Error waiting for process with PID 20216: [10] No child processes
20092:20210601:132404.594 syncing history data...
zabbix_server [20092]: ERROR [file and function: <variant.c,variant_compare_dbl>, revision:5059e20a75, line:572] Something impossible has just happened.
20092:20210601:132404.609 === Backtrace: ===
20092:20210601:132404.610 15: /usr/local/sbin/zabbix_server(zbx_backtrace+0x35) [0x567995]
20092:20210601:132404.610 14: /usr/local/sbin/zabbix_server(zbx_variant_compare+0x39b) [0x583d1b]
20092:20210601:132404.610 13: /usr/local/sbin/zabbix_server() [0x558e2e]
20092:20210601:132404.610 12: /usr/local/sbin/zabbix_server() [0x55c240]
20092:20210601:132404.610 11: /usr/local/sbin/zabbix_server() [0x5425cb]
20092:20210601:132404.610 10: /usr/local/sbin/zabbix_server(evaluate_expressions+0x28e) [0x54b17e]
20092:20210601:132404.610 9: /usr/local/sbin/zabbix_server() [0x512402]
20092:20210601:132404.610 8: /usr/local/sbin/zabbix_server(free_database_cache+0x110) [0x516130]
20092:20210601:132404.610 7: /usr/local/sbin/zabbix_server(zbx_on_exit+0x93) [0x444273]
20092:20210601:132404.611 6: /lib64/libpthread.so.0(+0x132d0) [0x7f3b981332d0]
20092:20210601:132404.611 5: /lib64/libpthread.so.0(__wait+0x20) [0x7f3b98132ae0]
20092:20210601:132404.611 4: /usr/local/sbin/zabbix_server(MAIN_ZABBIX_ENTRY+0xb7b) [0x444e7b]
20092:20210601:132404.611 3: /usr/local/sbin/zabbix_server(daemon_start+0x1b1) [0x567791]
20092:20210601:132404.611 2: /usr/local/sbin/zabbix_server(main+0x5d7) [0x43d287]
20092:20210601:132404.611 1: /lib64/libc.so.6(__libc_start_main+0xea) [0x7f3b96b5e34a]
20092:20210601:132404.611 0: /usr/local/sbin/zabbix_server(_start+0x2a) [0x443d1a]

В логах mysql :
2021-06-01 13:24:04 5179 [Warning] Aborted connection 5179 to db: 'zabbix' user: 'zabbix' host: 'localhost' (Got an error reading communication packets)

[Victor Sklyarov]

Спасибо. Откатываюсь назад, поскольку совершенно непонятно какие элементы данных могут вызвать эту ситуацию. -There were several issues with templates,

[Victor Sklyarov]

Создаётся стойкое впечатление, что zabbix, как девочку, обрызгивают одеколончиком, только чтобы скрыть, что дама давно в бане не была. Не довели одну ветку, презентовали новую и несмотря на то, что она по существу не рабочая (см выше), уже говорят о 6.0 Неужели никто не сталкивался, что в 5.2 нельзя включить SNMP обнаружение? При каждом новом цикле к узлу добавляется ещё один SNMP интерфейс, который стандартными средствами удалить нельзя. Это как? Мы поигрались, надоела игрушка, вот вам новая? Ситуация с национальными кодировками в опросе через HTTP агент вообще аховая, всё рушится, стоит получить кириллицу. Может с китайским у них лучше? Советы разработчиков включить предобработку вызывают стойкое удивление, всё рушится до момента, когда можно включить предобработку. Да и вообще HTTP агент это профанация, в большинстве случаев бесполезная, поскольку 90 % сайтов динамически строят страницы, вот и получите с них что-то. Но разработчики-то галочку поставили, есть такая возможность читать статику. А сколько ещё можно рюшечек подшить в погоне за привлекательностью, а от неработающих (или переставших работать в новых версиях) алгоритмов просто можно отмахнуться.

[Kos]

Создаётся стойкое впечатление, что [...дальше много эмоций...]

Скажите, по каким из перечисленных проблем Вы обращались в техподдержку или открывали баг-репорт?
Какова была реакция?

Вот у меня общее впечателение противоположное: продукт развивается, постепенно появляются новые "плюшки" и исправляются ошибки.
Возможно, какие-то вещи исправляются не настолько быстро, как мне бы того хотелось, но это относится к вещам, которые некритичны. Хотя иногда и обидно, особенно за это недоразумение; но, видно, конкретно оно недостаточно актуально для большинства остальных пользователей (только 27 проголосовавших за 7 лет).
С момента нашего перехода на версию 5.0 (мы работаем только на LTS-версиях) я обращался в техподдержку 11 раз, нерешённой на данный момент остаётся только одна проблема (и то относящаяся не к самому продукту, а к работе сайта share.zabbix.com).
Из моих баг-репортов (созданных либо лично мной, либо инженерами техподдержки с моих слов), описывающих реальные ошибки, которые происходили у нас (главным образом, ещё в тестовой среде - до внедрения новых версий в продакт) исправлены вообще все (даже косметические).

и вообще HTTP агент это профанация, в большинстве случаев бесполезная

Мы пользуемся агентом HTTP для контроля работоспособности наших веб-сервисов, очень удобная вещь. Его бы ещё консолидировать с веб-проверками (в которых можно делать многошаговые сценарии) - было бы вообще прекрасно. В версии 5.2 это можно решать через script items, но он требует навыков написания на языке JavaScript (в отличие от HTTP агента).
Насчёт работы с кодировками - согласен, больше похоже на баг; однако за соответствующий тикет на данный момент я вижу 0 (прописью: ноль) проголосовавших (что показывает его уровень актуальности). Проголосовал сам, отписался в том тикете.

[Victor Sklyarov]

Обращался ещё в версии 4.4 https://support.zabbix.com/browse/ZBX-17126 https://support.zabbix.com/browse/ZBX-18762 Ответ Владышева в 2021 году: Currently Zabbix does not support character encoding other than UTF-8 for item web.page.get[]. А workaround to solve this problem is to do the conversion with JS in preprocessing steps. We cannot consider this a bug. Therefore, I am moving this ticket to the ZBXNEXT project. И далее: А workaround to solve this problem is to do the conversion with JS in preprocessing steps. Причём совет-то ровно ничего не значит, поскольку: It seems that the error is occurred still before the preprocessing steps В предобработку приходит ошибка, а не считаный текст. А уж сломать обнаружение SNMP, которое работало во всех версиях с 2по 4.4, это нужно постараться. Не верю, что у меня одного проблема. И как прикажете убирать дубли интерфейсов? Писать на АPI - найти дубли, отсоединить шаблон, удалить интерфейсы, присоединить шаблон? Не кажется ли вам, что слишком вольно разработчики ломают системы тысяч пользователей? Или это просто попытка заработать на поддержке? Сами сломали, сами поправили.

[Kos]

Примерно понятно.

Один раз (с LLD принтера) не смогли объясниться с техподдержкой. Для меня тоже неясно, зачем в той задаче было требовался JSONPath; данные по SNMP приходят, и преобразовать их в нужный вид с помощью препроцессинга вполне было можно.

Другой раз (с HTTP агентом) запрос был закрыт как дубликат другого (уже существующего), причём я про этот другой и писал (и давал на него ссылку) - это именно в нём на данный момент единственный голос (оставленный мной 3 часа назад).
То, что Вы меня же и цитируете, конечно, лестно но мысль о том, что в данном случае предобработка не помогает (поскольку ошибка возникает раньше) нужно было попытаться донести до разработчиков раньше и напрямую, а не сейчас и через меня - глядишь, и приоритет данной проблемы был бы повыше.

Про третий случай (SNMP обнаружение) ничего сказать не могу: я с этим действительно не сталкивался. Видимо, речь идёт о сетевом обнаружении (а не об LLD) - у нас оно не используется.
Думаю, что если бы проблема и вправду затрагивала бы тысячи пользователей, то её бы таки заметили.

Кстати, упоминавшаяся в ZBX-19420 проблема уже исправлена (между прочим, через два с половиной часа после того, как был создан баг-репорт!), исправление будет включено в ближайший релиз (5.4.1).

[Victor Sklyarov]

Голосование бесполезно, поскольку тикет на эту проблему создавался трижды и все три раза был закрыт без решения. SNMP сетевое обнаружение работало до последней версии 4.4. Может вы и не используете, а у меня несколько тысяч узлов заведено таким образом. Это принтеры и ИБП, и мозгов им не добавишь, чтобы они сами регистрировались. И что теперь делать с утерянной функциональностью, непонятно. По видимому это беда всех open source проектов, принимайте всё as is. Включение исправления в ближайший релиз, это хорошо, но сколько ещё граблей будет в 5.4? Широко разрекламированный релиз оказался пшиком, упал не на каких-то сложных вещах, а на стандартных шаблонах. Потеряно двое суток работы, чтобы только выяснить, что релиз нерабочий. Как же его тестировали? Поэтому пока не будет релиза 5.4.6 и выше, нечего и соваться в обновления.

[Kos]

Голосование бесполезно

Глядя на дальнейшие планы, я вижу, что изрядная часть планируемого функционала обозначена метокй "Top voted!". То есть количество проголосовавших за разработку той или иной "фичи" явно учитывается при планировании дальнейшего развития продукта. Повторюсь, за ZBXNEXT-6420 на данный момент - 1 (прописью: один!) голос, и тот - мой неделю назад.

исправление будет включено в ближайший релиз (5.4.1)

Этот релиз вышел позавчера. Release Notes перечисляют множество исправленных ошибок - включая и упоминавшийся ZBX-19420. Ну и некоторые другие достаточно существенные - такие как memory leak и возможный deadlock.

Ошибки исправляются по мере их обнаружения. Понятно, что у каждого своя конфигурация, и какие-то ошибки могут проявляться только в каких-то конкретных случаях.

Ну а уж когда переходить на новую версию - это каждый для себя решает сам. Обычно, всё-таки, прежде чем внедрять новые версии (в особенности - релиз ".0"), их проверяют на тестовой среде, прежде чем запускать в прод.

[cyber]

https://support.zabbix.com/browse/ZBX-19420

...