Проблема с последними данными после пере
Добрый день.
Возникла странная проблема, пока не могу раскопать в чем причина.
Если коротко: проморгали рост базы Заббикса из-за отключенного housekeeper'a до 100+ Gb. Самые большие таблицы - history и history_uint (55 и 57 Gb соответственно).
Когда это обнаружилось - вдобавок выяснилось, что mysql поднят без параметра innodb_file_per_table, и даже после очистки таблиц OPTIMIZE место не освободит.
Было принято решение перетащить базу на новый mysql сервер с включенным innodb_file_per_table, что и было сделано напрямую (mysqldump -uroot -ppwd zabbix| mysql -uroot -ppwd--host=mysql-02 -C zabbix)
Естественно, при всех работах с базой сервер заббикса был остановлен.
За ночь база переехала, утром в zabbix_server.conf поменял путь к БД на новый сервер, и обнаружилась проблема: не приходят последние данные.
В логе Заббикса пусто - коннект к базе есть, объекты мониторятся и периодически теряют/восстанавливают связь, уходят в "обслуживание" и выходят, хаускипер работает и чистит потихоньку (стоит интервал в 1 час и 3000 лимит на удаление); объекты, триггеры и прочее - все на месте, добавляются и удаляются.
На новом mysql сервере show full processlist; показывает работу хаускипера и редкие инсерты insert into history (itemid,clock,ns,value) values (30038,1435815998,742992851,4.996824), (31118,1435815998,754607094,81.062772),
бла-бла-бла
Процесс zabbix_server не грузит проц (0,5% с короткими пиками до 20-30%); mysql примерно также + нагрузка на диск при работе хаускипера 30-50Mb/s, когда хаускипер не запущен - 20-50K/s.
Вроде бы все хорошо, но все последние события, которые я вижу на вебморде датированы вчерашним вечером (т.е. которые произошли до остановки сервера заббикса). В графиках - тоже самое, пустота на отрезке последних 12 часов (более старая инфа - на месте).
Если я запускаю скрипт на ПК, который мониторится Заббиксом (отправка значения через jabber_sender, этот скрипт должен заставить сработать триггер) ничего не происходит, т.е. отправка отрабатывает - а на сервере Заббикса событие не появляется/не изменяется.
Просьба подсказать, в каком направлении копать, если кто-то сталкивался с похожей проблемой, или просто знает, что происходит.
Заранее спасибо.
Дополнение: сейчас сработал триггер, который отправляет емейл - отправилось.
Возникла странная проблема, пока не могу раскопать в чем причина.
Если коротко: проморгали рост базы Заббикса из-за отключенного housekeeper'a до 100+ Gb. Самые большие таблицы - history и history_uint (55 и 57 Gb соответственно).
Когда это обнаружилось - вдобавок выяснилось, что mysql поднят без параметра innodb_file_per_table, и даже после очистки таблиц OPTIMIZE место не освободит.
Было принято решение перетащить базу на новый mysql сервер с включенным innodb_file_per_table, что и было сделано напрямую (mysqldump -uroot -ppwd zabbix| mysql -uroot -ppwd--host=mysql-02 -C zabbix)
Естественно, при всех работах с базой сервер заббикса был остановлен.
За ночь база переехала, утром в zabbix_server.conf поменял путь к БД на новый сервер, и обнаружилась проблема: не приходят последние данные.
В логе Заббикса пусто - коннект к базе есть, объекты мониторятся и периодически теряют/восстанавливают связь, уходят в "обслуживание" и выходят, хаускипер работает и чистит потихоньку (стоит интервал в 1 час и 3000 лимит на удаление); объекты, триггеры и прочее - все на месте, добавляются и удаляются.
На новом mysql сервере show full processlist; показывает работу хаускипера и редкие инсерты insert into history (itemid,clock,ns,value) values (30038,1435815998,742992851,4.996824), (31118,1435815998,754607094,81.062772),
бла-бла-бла
Процесс zabbix_server не грузит проц (0,5% с короткими пиками до 20-30%); mysql примерно также + нагрузка на диск при работе хаускипера 30-50Mb/s, когда хаускипер не запущен - 20-50K/s.
Вроде бы все хорошо, но все последние события, которые я вижу на вебморде датированы вчерашним вечером (т.е. которые произошли до остановки сервера заббикса). В графиках - тоже самое, пустота на отрезке последних 12 часов (более старая инфа - на месте).
Если я запускаю скрипт на ПК, который мониторится Заббиксом (отправка значения через jabber_sender, этот скрипт должен заставить сработать триггер) ничего не происходит, т.е. отправка отрабатывает - а на сервере Заббикса событие не появляется/не изменяется.
Просьба подсказать, в каком направлении копать, если кто-то сталкивался с похожей проблемой, или просто знает, что происходит.
Заранее спасибо.
Дополнение: сейчас сработал триггер, который отправляет емейл - отправилось.
Совсем забыл про то, что у фронтенда Заббикса отдельная конфигурация коннекта к базе, и вот ее-то я и не поправил.
Comment