при [ре]старте 2.2.3 час база потребляет все iops

[pupkin.ivan]

При старте/рестарте сервиса катастрофически на час полностью прогружается база. Из-за этого это время всё дико тормозит. По show processlist; видно что в процессах большое количество долгих и странных запросов вида "select clock,ns,value from history_uint where itemid=369
38 and clock<=1398576617 order by clock desc". Странные они тем, что благодаря "<=" выбираются и сортируются ВСЕ СТАРЫЕ значения ранее какой-то даты. И это делается для каждого item по-отдельности. База в этот момент выбирает все IOPS с дисков. Что и где крутить?

|
| 170679 | zabbix | localhost | zabbix | Query | 646 | Sorting result | select clock,ns,value from history_uint where itemid=369
38 and clock<=1398576617 order by clock desc |
| 170680 | zabbix | localhost | zabbix | Sleep | 127 | | NULL
|
| 170681 | zabbix | localhost | zabbix | Sleep | 48 | | NULL
|
| 170682 | zabbix | localhost | zabbix | Sleep | 49 | | NULL
|
| 170683 | zabbix | localhost | zabbix | Sleep | 353 | | NULL
|
| 170684 | zabbix | localhost | zabbix | Sleep | 15 | | NULL
|
| 170685 | zabbix | localhost | zabbix | Query | 657 | Sorting result | select clock,ns,value from history_uint where itemid=367
30 and clock<=1398576607 order by clock desc |
| 170686 | zabbix | localhost | zabbix | Query | 645 | Sorting result | select clock,ns,value from history_uint where itemid=369
06 and clock<=1398576620 order by clock desc |

[pupkin.ivan]

порылся по указанным в долгих запросах itemid и обнаружил что у меня для порядка 30 хостов с февраля нет данных по большинству item'ов и именно на этих item всё становилось плохо, т.к. база уже 300 гигов. Отключил узлы и нагрузка на базу практически полностью пропала: 76 IOPS vs 1200IOPS

[aib]

После рестарта сервера самый злой процесс HouseKeeping начинает потреблять все ресурсы сервера и базы с целью удаления старых данных.

К сожалению, отсрочить его приход нельзя.

Так что - скорее всего - именно Housekeeping убивает вашу базу..

Проверьте график Zabbix internal process busy %, особенно параметр Zabbix busy housekeeping processes, in %

[pupkin.ivan]

в данном случае баг именно в item-ах, на которые давно не приходили данные (4 месяца). При старте заббикс основной набор данных прожёвывает быстро а на каждый вышеуказанный генерит по отдельному запросу, который вытаскивает ВСЕ значения в базе, ранее некоей даты. Это баг, т.к. запрос формируется без диапазона дат "от" и "до". Таких item-ов в моём случае оказалось много и эти запросы мучали базу по часу, блокируя нормальную её работу. Отключение узлов, содержащих эти айтемы привело к 2 минутам с момента рестарта на выход базы в боевой устоявшийся режим работы. При этом в момент рестарта всё шустрее некуда.