Элементы данных более 800 zabbix тормозит

[Zerocool56]

Не стоит хранить БД на виртуальном носителе - лишняя прослойка почти всегда даёт ощутимое замедление. Стоит отдавать машине физический раздел / диск. Оптимально - отдать raid-массив, монопольно.
Каков сейчас размер БД?

Если установлено на hyper-v (microsoft) и ядро собрано с поддержкой интеграции, то почти никакого проседания нет (в районе статистической погрешности)

Если же нету, то да, тормоза реальные будут по диску
Проверить скорость можно
dd if=/dev/zero of=/tmp/test bs=1M count=1000 - скорость записи на диск
hdparm -tT /dev/sda1 - покажет скорость чтения с диска
+ Можно посмотреть в программе top (скриншот)
Там есть параметр wa в процентах, он означает, сколько времени процессора уходит на ожидание ввода/вывода
Если значение большое - то явно проблемы с подсистемой дисковой

По мускулю, если не меняли настройки, то он больше 600 метров у вас не откушает, а при больших запросах это нереально мало и долго будет выполнять их.
Советую затюнить mysql, в зависимости от количества оперативки (в debian в комплекте поставки есть файл my-innodb-heavy-4g.cnf, это неплохо подтюненый вариант при системах больше 4 гигов операты)

[Sergeylo]

При всём уважении, не надо дезинформировать население.
Hyper-v вменяемо пригоден для виртуализации zabbix только при статичном виртуальном диске (в динамическом диске дико проседает IO) и выключенной опции динамического выделения памяти (отрубается дисковый кеш в памяти). Поддержка hyper-v сейчас идёт в ядрах всех актуальных дистрибутивов.
Также уточняйте, что hdparm нужно гонять при отсутствии нагрузки вообще. Пожалуйста, всегда уточняйте такие штуки, чтобы не оказаться в виноватых.
В остальном - нареканий нет, информативно.

[Zerocool56]

по hdparm - да, согласен, моя погрешность

По поводу статических/динамических дисков - вообще общий совет от Microsoft - не использовать динамические диски на production системах, а только в тестовых вариантах

По выключению динамического выделения памяти ничего не могу сказать, вполне возможно
Не использую его, так что могу ошибаться, если вы уверены, то, думаю, стОит верить.

[neogan]

StartDBSyncers=50

Рекомендую понизить до дефолта.(до 4)

Присоединяюсь к предыдущим постам.
Опишите дисковую подсистему(RAID(hardware,software),SATA или SAS или SSD)?

[igoreha311]

dd if=/dev/zero of=/tmp/test bs=1M count=1000

1000+0 records in
1000+0 records out
1048576000 bytes (1.0 GB) copied, 10.2382 s, 102 MB/s

hdparm -tT /dev/sda1

/dev/sda1:
Timing cached reads: 15720 MB in 2.00 seconds = 7867.04 MB/sec
Timing buffered disk reads: 142 MB in 3.77 seconds = 37.63 MB/sec

Насчет дисковой подсистемы пока затрудняюсь ответить - ответственный не я.

Сделал

StartDBSyncers=10

Используется VMware ESXi 5.

[magomed]

Параметры mysql
# The following options will be passed to all MySQL clients
[client]
port = 3306
socket = /var/lib/mysql/mysql.sock

[mysqld]
datadir=/var/lib/mysql
port = 3306
socket = /var/lib/mysql/mysql.sock
max_allowed_packet = 50M
max_connections=1000
# Try number of CPU's*2 for thread_concurrency
# thread_concurrency = 4
default-storage-engine = innodb

query_cache_size = 256M
thread_cache_size = 64
query_cache_limit = 16M
join_buffer_size = 64M
table_cache = 1024

sql-mode=

character-set-server=cp1251
collation-server=cp1251_general_ci

slow_query_log = 1
slow_query_log_file = /var/lib/mysql/slowquery.log
long_query_time = 5

#InnoDB
innodb_file_per_table
innodb_data_home_dir = /var/lib/mysql
innodb_data_file_path = ibdata1:2000M;ibdata2:10M:autoextend
innodb_log_group_home_dir = /var/lib/mysql
innodb_buffer_pool_size = 15G
innodb_additional_mem_pool_size = 256M
innodb_log_file_size = 256M
innodb_log_files_in_group = 2
innodb_log_buffer_size = 32M
innodb_flush_log_at_trx_commit = 2
innodb_flush_method = O_DIRECT
innodb_lock_wait_timeout = 600

[mysqldump]
quick
max_allowed_packet = 200M

[mysql]
no-auto-rehash
# Remove the next comment character if you are not familiar with SQL
#safe-updates

[mysqlhotcopy]
interactive-timeout

дисковое пронстранство - под var отдано 2 тб объема
hdparm -tT /dev/sda9

/dev/sda9:
Timing cached reads: 13976 MB in 2.00 seconds = 6997.93 MB/sec
Timing buffered disk reads: 792 MB in 3.00 seconds = 263.62 MB/sec
на данный момент база занимает около 80 gb

[Sergeylo]

Довольно забавная картинка вырисовывается - база данных 80 гигабайт (!!!) при всего 800 элементах данных?
Мне кажется, стоит в какое-то время, когда мониторинг не критичен, закомментировать директиву zabbix-server'а - MaxHousekeeperDelete, и перезапустить сервер.
Есть подозрение, что HK просто не может вычистить все старые значения, и базу раздувает.
Для сравнения - у меня сейчас ~3.5 тыс. элементов и база в пределах 3Гб.
Если мониторинг критичен в принципе - можно понемногу увеличивать значение MaxHousekeeperDelete, по моим наблюдениям, оптимальные значения заканчиваются в районе 300, хотя и индивидуально.
Также удостоверьтесь, что в элементах данных нет зашкаливающе больших значений срока хранения истории.

[magomed]

Довольно забавная картинка вырисовывается - база данных 80 гигабайт (!!!) при всего 800 элементах данных?
Мне кажется, стоит в какое-то время, когда мониторинг не критичен, закомментировать директиву zabbix-server'а - maxhousekeeperdelete, и перезапустить сервер.
Есть подозрение, что hk просто не может вычистить все старые значения, и базу раздувает.
Для сравнения - у меня сейчас ~3.5 тыс. элементов и база в пределах 3Гб.
Если мониторинг критичен в принципе - можно понемногу увеличивать значение maxhousekeeperdelete, по моим наблюдениям, оптимальные значения заканчиваются в районе 300, хотя и индивидуально.
Также удостоверьтесь, что в элементах данных нет зашкаливающе больших значений срока хранения истории.

Нет Нет.. у меня элементов данных 55 тыс

[magomed]

из них раньше были активны 47 тыс.. щас в последний месяц оставили только 5 тыс.. но карта чуть быстрее начал грузиться оптайм около 15 секунд.. а если включить все как и раньше то на обновление уходит около полторы двух минут

[StreSS.t]

Я тоже недавно боролся с оптимизацией
Мои текущие настройки

http://www.kolobaev.org/content/zabbix-%D0%B8-%D0%B5%D0%B3%D0%BE-%D0%BF%D1%80%D0%BE%D0%B8%D0%B7%D0%B2%D0%BE%D0%B4%D0%B8%D1%82%D0%B5%D0%BB%D1%8C%D0%BD%D0%BE%D1%81%D1%82%D1%8C

Сейчас уже: Требуемое быстродействие сервера, новые значения в секунду 292.24.

ЗЫ сделано портицирование и при выборе графика за 1 год он создается за 2-3 секунды (раньше было 50-360 сек)
ЗЫ можно в 3-4 раза увеличить нагрузку на него.

[Jimson]

Я тоже недавно боролся с оптимизацией
Мои текущие настройки

"Size of the Key Buffer, used to cache index blocks for MyISAM tables." - вы для схемы "mysql" с 10 записями в таблице users выделили key buffer в гигабайт?

[StreSS.t]

"Size of the Key Buffer, used to cache index blocks for MyISAM tables." - вы для схемы "mysql" с 10 записями в таблице users выделили key buffer в гигабайт?

Это ошметки от старого конфига, если я правильно помню то key_buffer_size с innodb не работает.

[Jimson]

Правильно помните, но вы не отключали MyISAM, и буфер у вас аллокируется. Более того, схема "mysql" в MyISAM. Вообще то это просто намек на то что размещенное в вашем "дневничке" не имеет ничего общего с тюнингом.

[StreSS.t]

Дневник я для себя веду. Вы правы, покопался в доках для MySQL там указанно что оно только для той части что Вы описал. Уменьшил до 100МБ (памяти 8Гб, не жалко пока).

Попробую довести до 600 значений в секунду посмотрю как оно будет реагировать.

[StreSS.t]

Zabbix сервер запущен Да localhost:10051
Количество узлов сети (под наблюдением/без наблюдения/шаблоны) 507 453 / 22 / 32
Количество элементов данных (активных/деактивированых/не поддерживаются) 69778 54823 / 49 / 14906
Количество триггеров (активированных/деактивированных)[проблема/неизвестно/ок] 4418 4413 / 5 [96 / 0 / 4317]
Количество пользователей (в сети) 11 2
Требуемое быстродействие сервера, новые значения в секунду 884.57 -