высокая нагрузка на диск

[moydedushkarembo]

Проблема неделю назад эаббикс жалуется на высокую загрузку на диск на чтение.
База при этом стала быстрее обычного расти.
при этом количество хостов значительно не меняли.
вопрос - в чем может быть проблема?

[moydedushkarembo]

могу предположить что это "кривой" элемент данных, который пишет очень часто данные о себе, но как найти такой элемент?

[viktorkho]

как найти такой элемент?

Откройте элементы данных любого узла сети, раскройте фильтр.
В поле фильтра "Узел сети" удалите значение (поле должно быть пустым), нажмите кнопку "Фильтр" и получите список всех айтемов.
Тут же в фильтре (в самой нижней строчке в 2.2.4) обновится список всех интервалов.

[Zentarim]

Проблема неделю назад эаббикс жалуется на высокую загрузку на диск на чтение.
База при этом стала быстрее обычного расти.
при этом количество хостов значительно не меняли.
вопрос - в чем может быть проблема?

могу предположить что это "кривой" элемент данных, который пишет очень часто данные о себе, но как найти такой элемент?

Ничего не перепутали?

[yukra]

1) atop -d, iotop и прочие sar'ы с iostat'ами должны вам рассказать кто именно кушает диск. (может действительно мускуль начал что то странное писать, а может это php складывает 3 милианд сессий в одну директорию).
2) Посмотрите не залезли ли Вы в свап.
3) 99% это проблема не в заббиксе (но возможно в его конфигурации).
4) Проверьте Ваши рейды\диски (может у Вас raid5 1 диск вылетел, ввиду чего уменьшилась производительность массива, или одиночный диск собрался помирать ввиду чего идут постоянные ремапы и reread'ы блоков).
5) А помимо триггера (я даже почти готов поспорить что это "Disk I/O is overloaded on {HOST.NAME}" из дефолтного шаблона "Template OS Linux") еще какие-нить проблемы наблюдаются?

Зы колво хостов - ни о чем не говорить, хоть какое то условное значение имеет лишь метрика "Требуемое быстродействие сервера, новые значения в секунду" с дашборда.
Зыы Вы хоть график приложите что бы тема совсем скучной не было.

[moydedushkarembo]

1) топ говорит, что в топе стабильно mysql
2)
3) спасибо!
4) насколько помню там raid10, все диски целые
5) конечно еще
Zabbix housekeeper processes more than 75% busy
Zabbix unreachable poller processes more than 75% busy
Zabbix history syncer processes more than 75% busy

пс требуемое быстродействие 329.11

Кстати заметил, что когда хаускипер падает в 0, очередь диска успокаивается тоже...

[Zentarim]

Поднимите количество поллеров так, чтобы они перестали вылезать за триггеры.
Скорее всего у вас не успевает отработать удаление старых данных. Также не успевают отработать DB syncer. Поскольку они все время работают, то и диск постоянно загружен.

Да, и помните, что при подъеме количества поллеров ситуация не изменится мгновенно. Должно пройти какое-то время, пока все данные будут записаны. В идеале вообще надо поотключать 90% сбора элементов данных, дать время серверу привести базу в порядок, а дальше (следя за загрузкой поллеров) включать элементы данных.

Могу еще посоветовать перенести innodb_log на отдельный диск, для разнесения нагрузки.

[Zentarim]

Также посмотрите вывод

mysql -e "show full processlist"

или воспользуйтесь утилитой mytop

Если там преобладают запросы вида "Delete from *", значит у вас не успевает работать Housekeeping.

[moydedushkarembo]

так и сделал - увеличил количество полеров
но еще изменил периодичность запуска хаускипера и ограничил его 15000 записями ( теперь думаю, что зря)




За Delete from и отключение сбора - спасибо, попробую!

[Zentarim]

Утряслось, я так понимаю?

[moydedushkarembo]

угу, главное чтоб я причину - полечил, а не последствия...

[Zentarim]

Кстати если не секрет - где и на что меняли число поллеров?

[moydedushkarembo]

так не секрет конечно..
zabbix_server.conf

unreacheblepoller +20
httppoller +5
poller +10

это вытекало из стандартного графика графика zabbix server:zabbix data gathering process busy