Housekeeper работает не так как ожидается.

[mschedrin]

Запуск housekeeper настроен на каждый час. Все items настроены на хранение данных 1 сутки.
Однако, в таблице history_uint встречаются записи двух-трехдневной давности. В логах заббикса видно, что housekeeper отрабатывает каждый час. Не понимаю почему история не чистится?

За неделю таблица разрастается до 50-100 миллионов записей и mysql встает раком

[dima_dm]

Пробовали увеличивать запуск housekeeper до 12 часов или 24 часов? Возможно, у вас процесс не успевает обработать все item за 1 час.

[mschedrin]

До вчерашнего дня стояло 24 часа и ситуация была такая же. Специально чтобы разобраться что происходит я поставил интервал в один час. Ничего и не изменилось.

[dima_dm]

Оптимизацию MySQL делали?

http://www.zabbix.com/forum/showthread.php?t=19215

и
перестроить индексы и провести оптимизацию всех таблиц командой
OPTIMIZE TABLE
А сколько у вас Item всего и Требуемое быстродействие сервера, новые значения в секунду?

[mschedrin]

Оптимизацию делал. Да и вопрос в другом - почему housekeeper не работает, а не почему база тормозит.
Number of items (monitored/disabled/not supported) 139220 137903 / 1268 / 49
Required server performance, new values per second 308.17

Таблицу оптимизировал, даже очищал в ноль. За неделю нарастает новая, hosekeeper её не чистит. Или чистит но не полностью.

[dima_dm]

А таблицы у вас в отдельных файлах? Я думаю, что housekeeper не успевает просмотреть все Item и очистить историю, отсюда и проблемы. Т.е. нужно капать в сторону оптимизации MySQL.
Посмотреть item-ы, возможно стоит увеличить интервалы опроса.

[mschedrin]

Спасибо за советы. Я, похоже, понял в чем было дело. Исправил, теперь подождем работы housekeeper.

Вообще таблица в 50 миллионов записей это нормально? У кого-нибудь поиск по такой таблице хорошо работает?

[dima_dm]

Вообще таблица в 50 миллионов записей это нормально? У кого-нибудь поиск по такой таблице хорошо работает?

Смотря в какой таблице, все зависит от сложности запросов, которые выполняются по таблице.
У меня, например, в таблице history_uint 50 миллионов записей, работает хорошо.

[mschedrin]

Да, я именно про history_uint и у меня после 50 миллионов начинает очень сильно расти очередь в заббикс, когда я таблицу очищаю - очередь рассасывается. Подозреваю что какие-то запросы(наверное insert) очень сильно начинают тормозить процесс опроса. А сколько ваш серевер требует "Required server performance, new values per second"?

[dima_dm]

ДА сколько ваш серевер требует "Required server performance, new values per second"?

Сейчас у меня
Требуемое быстродействие сервера, новые значения в секунду 82.74
Но MySQL сервер (на выделенном сервере HP DL360G5 CPU E5430 2.66GHz mem 8Gb Raid10 на 4-х SAS 10K rpm дисках) у меня сейчас совсем не нагружен, так что с легкостью выдержит увеличение нагрузки.
P.S. В прошлом году мы делали нагрузочный тест на SunFire V210, Zabbix и MySQL на одном сервере, больше 300 новых значений в секунду получить не смогли. MySQL в связке с Zabbix нужно много памяти и производительная дисковая подсистема.
Многие неправильно понимают понятие очередь в Zabbix, здесь написано что это такое

http://www.zabbix.com/forum/showthread.php?t=19167

[mschedrin]

А у меня zabbix и mysql живут на одном сервере Intel(R) Core(TM)2 Quad CPU Q6600 @ 2.40GHz. Без всяких raid на обычном SATA HDD 7200rpm

Имхо, все проблемы производительности как раз кроются в огромной таблице history_uint. Если ее регулярно очищать, то никаких проблем не будет.

[dima_dm]

Имхо, все проблемы производительности как раз кроются в огромной таблице history_uint. Если ее регулярно очищать, то никаких проблем не будет.

Просто так таблицу history_uint очищать нельзя. Это не причина, а следствие низкой производительности дисковой подсистемы и скорее всего, недостком оперативной памяти. Посмотрите статистику использования swap.
Как я уже писал, увеличение интервалов опроса item (типа uint) позволит существенно снизить нагрузку и количество записей в таблице history_uint. Trends вычисляются по интервалу 1 час, и смотрите какие интервалы опроса можно увеличить.

[mschedrin]

К сожалению интервалы опроса увеличить нельзя. Я согласен, что эта проблема связана с медленной дисковой подсистемой.

[mschedrin]

Housekeeper я починил. Дело было в моих кривых руках. Прошу прощения за беспокойство и спасибо за помощь.

[dima_dm]

housekeeper я починил. Дело было в моих кривых руках. Прошу прощения за беспокойство и спасибо за помощь.

Вы бы написали для истории, в чем конкретно была проблема.