Большой размер ibdata1

[genakir]

Доброго времени суток.
Файл ibdata1 постоянно увеличивается в размере. На сегодня составляет 47, 5 ГБ. В неделю идёт прирост на 3 ГБ.
Свободное место Zabbix Appliance заканчивается, поэтому решил проконсультироваться какие образом можно уменьшить размер данного файла?

[turboon]

Вот здесь есть хорошее описание - от чего зависит размер БД.

https://www.zabbix.com/documentation/ru/2.0/manual/installation/requirements

Ну а если кратко, то размер БД зависит от:
1. Частоты обновления элементов данных
2. Глубины хранения исторических данных
3. Количества элементов данных

Еще можно проверить, работает ли Housekeeper.

Да и еще на форуме есть много советов, что делать с большими БД - начиная от разделения таблиц по отдельным файлам, заканчивая тюнингом mysql.

[genakir]

1. Администрирование - Общие. Изменил количество дней на 30.
Не хранить действия старше, чем (дней) 30,
Не хранить события старше, чем (дней) 30.
2. /etc/zabbix/zabbix_server.conf
# MaxHousekeeperDelete=500
DisableHousekeeping=1
т.е. получается, что у меня Housekeeper отключён?

[ableev]

Получается, что так.
То есть евенты и хистори у вас не чистится.
Еще я бы вам рекомендовал задуматься над дефолтными значениями хранения истории данных.
Много где по умочанию выбрано 7 или 30 дней. Некоторые ставят 90, т.к. это предлагается автоматически при создании айтема. Зачастую (если у вас очень много метрик) история больше пары дней не нужна, хватает только трендов (усредненные значения).

[genakir]

Получается, что так.
То есть евенты и хистори у вас не чистится.
Еще я бы вам рекомендовал задуматься над дефолтными значениями хранения истории данных.
Много где по умочанию выбрано 7 или 30 дней. Некоторые ставят 90, т.к. это предлагается автоматически при создании айтема. Зачастую (если у вас очень много метрик) история больше пары дней не нужна, хватает только трендов (усредненные значения).

Только что установил DisableHousekeeping=0 Как быстро можно наблюдать результат? Я имею в виду, начнёт ли уменьшаться в размере файл ibdata1?
Для всех шаблонов я изменил История = 30 дней, Динамика = 60 дней. Уменьшать?

[ableev]

Только что установил DisableHousekeeping=0 Как быстро можно наблюдать результат? Я имею в виду, начнёт ли уменьшаться в размере файл ibdata1?

В течение часа поглядите в лог сервера, должна появиться такая запись:

housekeeper deleted: 3490963 records from history and trends

(у вас, конечно, свои значения)

Для всех шаблонов я изменил История = 30 дней, Динамика = 60 дней. Уменьшать?

30 дней - они вам для чего? Вот возьмем график из стандартного шаблона заббикса по свободному месту на разделе (! график, не просто историю по айтему), откроем неделю - данные построятся из трендов. Вывод - не нужно даже и недели хранить по данному айтему. Это занимает бесполезное место. Тренды усредняют, и если у вас место линейно кончается где-то - это всё равно будет видно. Так можно каждый айтем проанализировать.
Если же используете заббикс только для уведомлений - рекомендую вообще один день поставить везде и не париться. А если понадобиться где-то больше - сделаете больше. Но это совет из личного опыта.

[genakir]

В течение часа поглядите в лог сервера, должна появиться такая запись:

Если появится похожая запись, то файл ibdata1 уменьшится в размере?

После перезагрузки сервера процесс housekeeper взорвался до 100%, а hystory syncer process до 15-20%.

30 дней - они вам для чего? Вот возьмем график из стандартного шаблона заббикса по свободному месту на разделе (! график, не просто историю по айтему), откроем неделю - данные построятся из трендов. Вывод - не нужно даже и недели хранить по данному айтему. Это занимает бесполезное место. Тренды усредняют, и если у вас место линейно кончается где-то - это всё равно будет видно. Так можно каждый айтем проанализировать.

Можно смело уменьшать до 7 дней? Графики больше чем за 7 дней всё равно будут продолжать строиться?

[ableev]

Если появится похожая запись, то файл ibdata1 уменьшится в размере?

Нет, она означает, что старые записи начали удаляться.

Можно смело уменьшать до 7 дней? Графики больше чем за 7 дней всё равно будут продолжать строиться?

Графики за 7 дней будут строиться, даже если вы оставите 1 день.
Тренды (динамика) должна быть установлена в такое значение, сколько вы хотите видеть на графиках.
История - такое, с которым вы хотите оперировать (функции триггеров, анализ сырых данных, и тд).

[genakir]

Нет, она означает, что старые записи начали удаляться.

Получается, что файл ibdata1 уже не уменьшится в размере?

[ableev]

Получается, что файл ibdata1 уже не уменьшится в размере?

Не уверен. Вот тут описывают способ: http://stackoverflow.com/questions/3...-file-in-mysql

В принципе, если у вас не используется хост ни для чего, кроме заббикса - сделать это очень просто и быстро.

[genakir]

Не уверен. Вот тут описывают способ: http://stackoverflow.com/questions/3...-file-in-mysql

В принципе, если у вас не используется хост ни для чего, кроме заббикса - сделать это очень просто и быстро.

Буду пробовать. Спасибо большое.

[OKyHb]

Тоже столкнулись с такой фигней. Что-то ковыряли в mysql, и после наших запросов стал постоянно расти ibdata1. Опомнились только тогда, когда он вырос до 15GB.

Рестартанули mysqld - и расти перестал. А вот уменьшить - очень проблематично. На тот момент база заббикса занимала уже 180GB (партиции trends_uint - по 30GB за месяц). Всё-таки попробовал пересоздать базу через mysqldump. И пришёл к выводу, что для базы такого размера так, видимо, лучше не делать.

На текущий момент так всё и оставили - ibdata1 на 15GB, и больше не растёт.

Ссылки, которые показались мне полезными, когда пытался с этим разобраться:

• Why is the ibdata1 file continuously growing in MySQL?

• SHRINKING INNODB SYSTEM TABLESPACE FILE IBDATA1 POC