SNMP getbulk на 2.2.3

[OKyHb]

Приветствую.

После реализации ZBXNEXT-98 наблюдаем интересную картину с загрузкой "poller processes". На примере одного zabbix-proxy 2.2.3, с такой нагрузкой:

• Host count - 1302
• Required performance (vps) - 341.96

Оборудование, которое мониторится - L2 коммутаторы. В шаблонах практически все айтемы - это snmp v2 счётчики с интервалом опроса в 5 минут. Единственная особенность - на этих коммутаторах используется довольно много функционала, который может грузить их cpu.

И получаем такую картину:


Хотя на версии 2.2.2 было относительно стабильно (интервал до ~10.04.2014):


Пилообразное изменение загрузки поллера - это я вручную делал рестарт zabbix-proxy, когда загрузка поллера начинала упираться в 100%.

У кого массово используется snmp - как впечатление? Нет ли подобных проблем?

[OKyHb]

На всякий случай уточню.
Есть ещё один сервер zabbix-proxy 2.2.3 (к-во хостов - 1983, быстродействие - 282.28 vps). Через него мониторятся другие коммутаторы (длинки, на которых у нас используется меньше функционала, и которые меньше загружены).

И там загрузка поллера выглядит лучше (на unreacheable не обращайте внимание - были тех.работы/изменения в сети):


С 2.2.2 до 2.2.3 обновляли практически одновременно.
И StartPollers на первом сервере 8, на этом - 5.

[Jimson]

Масштабы графиков в первом посте соотносятся примерно 10 минут к 24 часам, естественно что на большем масштабе оно будет "плавно". При этом график версии 2.2.3 дает такую же среднюю ~60%

p.s. смысл держать 60% загрузки пулеров, что экономится? увеличьте кол-во пулеров раза в два хотя бы.

[OKyHb]

p.s. смысл держать 60% загрузки пулеров, что экономится? увеличьте кол-во пулеров раза в два хотя бы.

Та на сервере как обычно, куча других сервисов кроме zabbix-proxy (и кеширующий dns, и astresk). Но да, к-во поллеров увеличил с 8 до 16. Посмотрим, как будет.

Хотя всё-таки огорчает такая динамика. Пробовал посмотреть на примере одного свича (~200 айтемов). Запустил tcpdump c записью в файл. Zabbix 2.2.3 начал с одиночных запросов, но за несколько итераций к-во запросов уменьшилось до 2 объемных snmpget. В какой-то момент свич не ответил на один из snmpget (мож cpu загружен был, или где-то потери - черт его знает). Zabbix перезапросил эти oid'ы, и дальше уже использовал 3 snmpget запроса. Через время свич опять не ответил на один snmpget за Timeout интервал - zabbix опять перезапросил айтемы и уменьшил размер snmpget.

И так через ~8 часов работы zabbix опять скатился к полностью одиночным snmpget для этого свича. И, походу, больше увеличивать размер snmpget для этого свича не пытался.

Думаю, в нашем случае классно работал бы вариант как в кактусе - когда можно задать фиксированный размер snmpget запросов. Без всяких интеллектуальных алгоритмов. Но я так понимаю, такой возможности нет и пока не предвидится?

[OKyHb]

Решили попробовать 2.2.4 на основном сервере.

Раньше на нём стояло "StartPoller=64". Учитывая опыт с прокси, сразу поставили 256. Обновили, запустили - не тянет (загрузка поллеров в 100%, оборудование нормально не опрашиваются, на графиках провалы). Подняли до 400 (из-за max_connections=512 в mysql) - всё так же плохо.
В 22:15 откатил на старую версию.



Если на прокси со старта поллеров хватало, и только потом загрузка росла, то тут, походу, и StartPoller=1000 в результате не хватит.

Огорчают такие результаты. У нас сеть хоть и не банковский энерпрайз, построенный полностью на juniper/cisco, но ~6к длинков/китайских свичей - это ж обычный набор для ISP. Как тогда их мониторить?

[Zentarim]

Решили попробовать 2.2.4 на основном сервере.

Раньше на нём стояло "StartPoller=64". Учитывая опыт с прокси, сразу поставили 256. Обновили, запустили - не тянет (загрузка поллеров в 100%, оборудование нормально не опрашиваются, на графиках провалы). Подняли до 400 (из-за max_connections=512 в mysql) - всё так же плохо.
В 22:15 откатил на старую версию.



Если на прокси со старта поллеров хватало, и только потом загрузка росла, то тут, походу, и StartPoller=1000 в результате не хватит.

Огорчают такие результаты. У нас сеть хоть и не банковский энерпрайз, построенный полностью на juniper/cisco, но ~6к длинков/китайских свичей - это ж обычный набор для ISP. Как тогда их мониторить?

А, кстати, какая версия zabbix у вас стоит сейчас?

[OKyHb]

Основной zabbix-server - 2.2.2. Вчерашняя попытка обновить его до 2.2.4 оказалась неудачной
Есть ещё пару zabbix-proxy с версией 2.2.2, и 3 шт. proxy c 2.2.4.

Как-то неоднозначно работает этот новый интеллектуальный snmp алгоритм на нашей сети. Я б уже и 2.2.4 без него поставил, но патч же есть только под 2.2.3?

[Zentarim]

Основной zabbix-server - 2.2.2. Вчерашняя попытка обновить его до 2.2.4 оказалась неудачной
Есть ещё пару zabbix-proxy с версией 2.2.2, и 3 шт. Proxy c 2.2.4.

Как-то неоднозначно работает этот новый интеллектуальный snmp алгоритм на нашей сети. Я б уже и 2.2.4 без него поставил, но патч же есть только под 2.2.3?

Патч маленький, если в 2.2.4 ничего не меняли в том месте - то может и подойдет. А так - нестабильные версии какие-то получились. Что 2.2.3 что и 2.2.4. На 2.2.3 почему-то еще огромную очередь snmp запросов показывает, хотя по факту ее нет.

Тоже думаю откатиться до 2.2.2 и сидеть ждать, пока допилят до вменяемого состояния

[oscar]

Офтоп. Есть у кого нить опыт отката. В плане версий базы никаких траблов не происходит?