Zabbix agent on linux_host is unreachable for 5 minutes
Доброго времени суток товарищи, помогите пожалуйста разобраться в проблеме:
Висит алерт Zabbix agent on linux_host is unreachable for 5 minutes.
Хотя сам агент доступен, пинг агента возвращ 1:
В разделе [Настройка-Узлы сети-inux_host-Узел сети] кнопка [Активировано ZBX] зеленого цвета, данные с хоста снимаються, графики рисует и т.д
Логи агентов не информативны-данные то идут по запросу. Элемент данных Agent ping-дэфолт, триггер
Далее, в логах заббикса имею след:
В вэбке заббикса наблюдаю:
В CLI MySQL также вижу активные незавершенные транзакции со сроком до 100 сек, и очередь не начатых. Удаление транзакций безрезультатно.
При этом zabbix обрабатывает события с огромной задержкой, имеют место фризы и тормоза вэбки.
Перезапуск zabbix-server позволяет пролететь транзакциям-события отрабатываються, триггеры срабатыват, через некоторое время все снова повторяеться-пришлось временно подпереть этим костылем.
Проблема появилась после апдейта до 3.0.4 сервера и агентов. Также сам zabbix крутится в lxc, перед апдейтом перенесли на новую машину.
История и динамика измененний хранятся не более 20 дней. На текущий момент размер БД 18 Гб с историей.
Конфиг сервера\агентов и MySQL не менялся, сервер не перегружен. Приведу в конфигах, значения, которые мной менялись.
Конфиг агнетов не привожу-думаю бессмысленно, сервера:
my.cnf тюнил так:
На чем стоит:
Дисковая система:
Висит алерт Zabbix agent on linux_host is unreachable for 5 minutes.
Хотя сам агент доступен, пинг агента возвращ 1:
Code:
username@zabbix:/$ zabbix_get -s 192.168.1.100 -p 10050 -k agent.ping 1
Логи агентов не информативны-данные то идут по запросу. Элемент данных Agent ping-дэфолт, триггер
Code:
{Template App Zabbix Agent:agent.ping.nodata(5m)}=1
Code:
12474:20160825:143706.330 slow query: 4.800225 sec, "insert into history_text 12471:20160825:143724.260 slow query: 54.320339 sec, "insert into history_uint
Code:
Error in query [INSERT INTO functions (itemid,triggerid,function,parameter,functionid) VALUES ('594217','183869','nodata','5m','480331')] [Lock wait timeout exceeded; try restarting transaction]
Не удалось раскрыть выражение "{linux_host:agent.ping.nodata(5m)}=1". Ошибка при выполнении SQL запроса "INSERT INTO functions (itemid,triggerid,function,parameter,functionid) VALUES ('594217','183869','nodata','5m','480331')".
При этом zabbix обрабатывает события с огромной задержкой, имеют место фризы и тормоза вэбки.
Перезапуск zabbix-server позволяет пролететь транзакциям-события отрабатываються, триггеры срабатыват, через некоторое время все снова повторяеться-пришлось временно подпереть этим костылем.
Проблема появилась после апдейта до 3.0.4 сервера и агентов. Также сам zabbix крутится в lxc, перед апдейтом перенесли на новую машину.
История и динамика измененний хранятся не более 20 дней. На текущий момент размер БД 18 Гб с историей.
Конфиг сервера\агентов и MySQL не менялся, сервер не перегружен. Приведу в конфигах, значения, которые мной менялись.
Конфиг агнетов не привожу-думаю бессмысленно, сервера:
Code:
DBUser=username DBPassword=password StartPollersUnreachable=30 StartPollers=110 StartIPMIPollers=5StartTrappers=10 StartPingers=30 StartDiscoverers=25 StartHTTPPollers=4 StartTimers=15 MaxHousekeeperDelete=2000 SenderFrequency=15 CacheSize=384M HistoryCacheSize=128M Timeout=8 (Timeout на агентах крутил в обе стороны от значения на сервере)
Code:
innodb_buffer_pool_size = 8192M innodb_flush_method = O_DIRECT innodb_read_io_threads = 8 innodb_write_io_threads = 8 #innodb_log_file_size = 512M innodb_flush_log_at_trx_commit = 0 innodb_file_per_table thread_cache_size = 16 query_cache_size = 256M query_cache_limit = 128M join_buffer_size= 128M innodb_buffer_pool_instances = 6 max_connections = 400
Code:
2х Xeon X5460 3.16ГГц 20 Гб ОЗУ, 12 Гб для заббикса выделено
Code:
[SIZE="2"]NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 465.8G 0 disk
├─sda1 8:1 0 243M 0 part
│ └─md0 9:0 0 242.8M 0 raid1 /boot
├─sda2 8:2 0 1K 0 part
├─sda5 8:5 0 9.3G 0 part [SWAP]
└─sda6 8:6 0 456.2G 0 part
└─md1 9:1 0 456.1G 0 raid1
├─vg_main-lv_root (dm-0) 252:0 0 46.6G 0 lvm /
├─vg_main-lv_var (dm-1) 252:1 0 239G 0 lvm /var
└─vg_main-mysql (dm-2) 252:2 0 170.5G 0 lvm
sdb 8:16 0 465.8G 0 disk
├─sdb1 8:17 0 243M 0 part
│ └─md0 9:0 0 242.8M 0 raid1 /boot
├─sdb2 8:18 0 1K 0 part
├─sdb5 8:21 0 9.3G 0 part [SWAP]
└─sdb6 8:22 0 456.2G 0 part
└─md1 9:1 0 456.1G 0 raid1
├─vg_main-lv_root (dm-0) 252:0 0 46.6G 0 lvm /
├─vg_main-lv_var (dm-1) 252:1 0 239G 0 lvm /var
└─vg_main-mysql (dm-2) 252:2 0 170.5G 0 lvm [/SIZE]
Comment