Зависание zabbix 5 сервера.

[SevenSticks]

Добрый день.

Недавно стрельнула проблема, локализовать причины которой так и не удалось.
Ни с того ни с сего завис zabbix сервер, перестали сниматься даже его, заббиксовые метрики, на графиках провал и восстановление после рестарта сервера.
В логах пусто.
База PgSQL 1.5ТБ
Может кто-то сталкивался?
Спасибо!

[SevenSticks]

Если нужна какая-то дополнительная информация, с радостью предоставлю.

[Diesel315]

Просто мысли вслух...
Сейчас проблема наблюдается? Если вы пытаетесь найти причину единичного сбоя в прошлом, то это как правило бесполезно... Все расследования надо проводить по горячим следам с использованием всех возможных логов и не только Zabbix.
Пытаться найти причину проблемы в прошлом по истечении времени, как правило бесперспективно...

Считайте просто данное событие недоразумением... Если повторится, то максимально изучать все логи... Если начнет проблема прогрессировать, то включать режимы debug...

[SevenSticks]

Спасибо за совет, проблема повторилась спустя два дня, при чем снова ночью.
На сервере весьма ограничено дисковое пространство и так как заббикс у нас не маленький, есть предположение что включение дебага может утилизировать оставшееся место.
Тогда вообще все встанет.

[Diesel315]

Ну а по другому никак... Гадать можно долго, условно от нехватки памяти (ОЗУ+SWAP), до тормозов дисковой подсистемы в моменте...
Поднимите еще один zabbix сервер и натравите его только на этот, снимайте все возможные показатели с высокой частотой съёма, может и найдете проблему...
Я бы грешил либо на память, либо на дисковую подсистему... ну еще бы изучал пристально логи БД, может и БД чюдит...

[SevenSticks]

Есть второй заббикс, попробуем с него замониторить, ибо не понятно что творится с хардварной частью первого, так как он перестает снимать метрики со своей машины в момент проблемы.
Так же, буду ждать нового воспроизведения, вернусь с диагностическими данными.
Спасибо!

[Semiadmin]

Если есть второй заббикс, то им можно замониторить и внутренние заббикс-процессы первого (то, что на скриншоте).

[SevenSticks]

Хорошая идея, спасибо!
Так и сделаю.

[SevenSticks]

В общем настроил я мониторинг на втором заббикс сервере, он у нас третьей версии.
Между пятым и третьим заббиксом, получаются расхождения на графиках.

Третий почему-то считает что пуллеров утилизируется больше)

[Diesel315]

Попробуйте уровнять версии. У вас второй продакшн? Если да, то почему старой версии?
Если есть какие-то причины и не хотите менять версию, то просто поднимите новую ВМ (хоть на своем рабочем месте, если память оперативная позволяет)...

[SevenSticks]

У нас третий заббикс не целевой, мы с него переехали на пятый, этот еще не выведен из эксплуатации просто.
Попробую выкрутится, может действительно подниму у себя сервер, спасибо!

[Semiadmin]

С третьим заббиксом ничего, конечно, не получится. И сейчас он у вас, думаю, показывает свои собственные внутренние метрики, а не метрики целевого сервера. Поднимайте zabbix 5.* или 6.0 и воспользуйтесь вот этой инструкцией и стандартным шаблоном "Remote Zabbix server health"

[SevenSticks]

Коллеги, всем большое спасибо, проблема самоустранилась =)