Низкая производительность после перехо&a

[nik]

Краткая вводная:
Заббикс 1.8.12 + postgres был переведен на 2.0.2 + oracle следующим методом:
Cначала обновили версию 1.8.12 + постгрес на 2.0.2, затем создали пустую бд оракл и потаблично с постгресса перенесли данные в пустую оракловую базу.
Все завелось и работает:

Но наблюдается "нехватка производительности"

1. Оракл на отдельной машине где все очень быстро и круто.
2. Заббикс на машине 24Core и 24Гб RAM, нагрузка на процессор и диски минимальна.
3. Количество узлов сети = 1407
4. Количество элементов данных = 92577
5. Количество триггеров = 44724
6. Большинство данных (90%) идут через прокси. Количество прокси = 120 шт.
7. В "Мониторинг-Очередь" наблюдается постоянные значения по всем колонкам (5сек, 10сек, 30сек, 1мин, более10мин) в диапазоне от 10 до 60. Т.е. как я понимаю данные не успевают прокачиваться.

Вот счетчики:

1. Required performance of Zabbix server, new values per second = 589
2. Values processed by Zabbix server per second = 398
3. Zabbix queue = 16783

Если меняю значение StartDBSyncers или StartTrappers на 20 и более - тут же на БД возникает жуткая нагрузка: постоянные обращения к табличке ids, ожидания и блокировки. В итоге производительность падает катастрофичкески - до 50 vps.

Вопрос - куда копать?

Вот конфиг заббикса:

NodeID=2
ListenPort=10052
LogFile=/var/log/zabbix_server.log
LogFileSize=100
DebugLevel=3
DBHost=<IP>
DBName=ORCL
DBUser=zabbix
DBPassword=<PASS>
DBPort=1521
StartPollers=10
StartPollersUnreachable=4
StartTrappers=19
StartPingers=15
StartSNMPTrapper=0
HousekeepingFrequency=1
MaxHousekeeperDelete=1000
DisableHousekeeping=1
SenderFrequency=120
CacheSize=1G
CacheUpdateFrequency=3600
StartDBSyncers=19
HistoryCacheSize=1G
TrendCacheSize=1G
HistoryTextCacheSize=1G
NodeNoEvents=1
NodeNoHistory=1
Timeout=30
TrapperTimeout=300
UnreachablePeriod=300
UnavailableDelay=180
UnreachableDelay=120
AlertScriptsPath=/usr/local/share/zabbix/alertscripts
ExternalScripts=/usr/local/share/zabbix/externalscripts

[zalex_ua]

Попробуйте уменьшить StartDBSyncers=19 до дефолтных 4.
Подымать это значение нужно тогда когда это действительно нужно, когда большой nvps. При ваших значениях 4 синкеров должно хватать.

А оптимизацию каку либо делали для серера Oracle ?

[nik]

Попробуйте уменьшить startdbsyncers=19 до дефолтных 4.
Подымать это значение нужно тогда когда это действительно нужно, когда большой nvps. При ваших значениях 4 синкеров должно хватать.

Пробовали различные значения. При любых вариантах от 4 до 19 оракловая БД ведет себя одинаково, но стоит перевалить за 20 - начинается вообще другой вид нагрузки на БД.

А оптимизацию каку либо делали для серера oracle ?

Да, у нас есть специалисты которые этим занимаются.

[nik]

Вот счетчики заббикса:

Amount of unsupported items                       8043     3
Required performance of Zabbix server, new vps    589.08   0
Values processed by Zabbix server per second      407.92   -9.02
Zabbix trend write cache, % free                  99.69	   0
Zabbix history write cache, % free                96.27	   +0.01
Zabbix text write cache, % free                   99.99	   0
Zabbix busy alerter processes, in %               78.68 %  +78.67*%
Zabbix busy configuration syncer processes, in %  0 %	   0
Zabbix busy db watchdog processes, in %	          2.15 %   +0.81*%
Zabbix busy discoverer processes, in %	          0 %      0
Zabbix busy escalator processes, in %	          100 %    0
Zabbix busy history syncer processes, in %	  24.8 %   -0.08*%
Zabbix busy housekeeper processes, in %	          100 %	   0
Zabbix busy http poller processes, in %	          0.14 %   +0.01*%
Zabbix busy icmp pinger processes, in %	          79.3 %   -3.78*%
Zabbix busy node watcher processes, in %          0 %      0
Zabbix busy poller processes, in %	          74.73 %  +6.01*%
Zabbix busy proxy poller processes, in %	  0 %      0
Zabbix busy self-monitoring processes, in %	  0 %      0
Zabbix busy timer processes, in %	          11.17 %  -0.37*%
Zabbix busy trapper processes, in %	          39.86 %  +0.6*%
Zabbix busy unreachable poller processes, in %	  4.58 %   -31.07*%
Zabbix busy discoverer processes, in %	          0.02 %   +0.01*%
Zabbix busy poller processes, in %	          73.76 %  +3.94*%
Zabbix configuration cache, % free	          97.07    0
Zabbix queue                                      17318    -10851
Zabbix queue over 10m                             5189     -212

[zalex_ua]

Тут еще подметили что 20 траперов на 120 проксей может оказаться маловато.
Нужно хотя бы трапперов столько же как и проксей.

[nik]

Нужно хотя бы трапперов столько же как и проксей.

Как только увеличиваю количество траперов >= 20, тут же база начинает жутко тормозить.

Сейчас стоит 120 траперов:

Required performance of Zabbix server, new values per second = 589.16
Values processed by Zabbix server per second = 9.68

Порядка 100 сессий обращается к базе одновременно с запросом
update ids set nextid=nextid+1 where nodeid=2 and table_name='events' and field_name='eventid'
что вызывает жуткие тормоза и блокировки на уровне буфера (ожидания buffer busy waits) и дисковой системы(100% нагрузка).

[dotneft]

хммм.... так у вас еще и ноды есть?

[nik]

хммм.... так у вас еще и ноды есть?

Да, досталось такое наследие от предыдущего владельца этих серверов..
Но этот функционал сейчас не используется.

[nik]

Ни у кого никаких идей нет?

[dotneft]

Отказаться от housekeeper. Оракл с ним плохо дружит. использовать партиционирование.

Показать top запросов в БД.

[nik]

Отказаться от housekeeper. Оракл с ним плохо дружит. использовать партиционирование.

Housekeeper отключен.

[nik]

Насчет топа запросов - DBA предоставил вот такой вот отчет (ссылка на файл awr_report_961_1016.html)