Ad Widget

Collapse

Высокая очередь к zabbix серверу, как победить ?

Collapse
X
Collapse
 
  • Page of 1
  • Time
  • Show
Clear All
new posts
Previous template Next
  • a.tihonov
    Junior Member
    • Oct 2012
    • 24
    #1

    Высокая очередь к zabbix серверу, как победить ?

    Всем доброго времени суток.

    Наблюдаю следующую картину -

    1) Основной сервер SPB
    2) Прокси MSK

    Срабатывает триггер что очередь большая к заббикс серверу, по картинкам видно.
    Пробовал базу настроить, пробовал в самом заббикс сервере и прокси значения менять, ничего не помогает, очередь громадная... Подскажите как лечить, не знаю уже что и думать.

    Всего сейчас мониторится около 40 хостов, планируется около 160, на с такими очередями врятли это реально.

    Cервер основной

    1) 10 раид на SATA
    2) 2 процессора Xeon - два ядра
    3) 12 оперативной памяти
    4) Операционка Centos 6.3


    Сервер прокси
    1) 10 раид скази
    2) 2 процессора Xeon - одно ядро
    3) 10 ОЗУ
    4) OS Centos 6.3

    ------------------------------------------------------

    Конфиг основного (SPB)

    Code:
    NodeID=0
ListenPort=10051
LogFile=/var/log/zabbix-server/zabbix_server.log
LogFileSize=512
DebugLevel=3
PidFile=/var/run/zabbix-server/zabbix_server.pid
DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=dbpass
DBSocket=/var/lib/mysql/mysql.sock
DBPort=3306
StartPollers=128
StartIPMIPollers=5
StartPollersUnreachable=5
StartTrappers=20
StartPingers=20
StartDiscoverers=20
SNMPTrapperFile=/var/log/zabbix-server/zabbix_traps.tmp
StartSNMPTrapper=1
ListenIP=0.0.0.0
HousekeepingFrequency=1
CacheSize=512M
StartDBSyncers=64
HistoryCacheSize=512M
TrendCacheSize=512M
HistoryTextCacheSize=512M
Timeout=30
ExternalScripts=/etc/zabbix/scripts/
StartProxyPollers=5
ProxyConfigFrequency=3600
ProxyDataFrequency=1
    mysql (SPB)

    Code:
    [client]
port = 3306
socket = /var/lib/mysql/mysql.sock
default-character-set=utf8

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
tmpdir=/mytmp
max_connections = 400
query_cache_size=128M
join_buffer_size=1M
table_cache=256
query_cache_limit=1M
innodb_buffer_pool_size=4G
thread_cache_size = 16
tmp_table_size=512M
max_heap_table_size=512M
init_connect='SET collation_connection = utf8_general_ci'
init_connect='SET NAMES utf8'
default-character-set=utf8
character-set-server = utf8
collation-server = utf8_general_ci
innodb_flush_method=O_DIRECT
innodb_flush_log_at_trx_commit=2
innodb_file_per_table
symbolic-links=0

[mysql]
default-character-set=utf8

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
    Прокси MSK

    Code:
    Server=172.16.0.12
ServerPort=10051
Hostname=Zabbix_MSK
ListenPort=10051
LogFile=/var/log/zabbix-proxy/zabbix_proxy.log
LogFileSize=1
DebugLevel=3
PidFile=/var/run/zabbix-proxy/zabbix_proxy.pid
DBHost=localhost
DBName=zabbix
DBUser=zabbix
DBPassword=zabbix
DBSocket=/var/lib/mysql/mysql.sock
DBPort=3306
StartPollers=50
StartIPMIPollers=10
StartPollersUnreachable=5
StartTrappers=20
StartPingers=10
StartDiscoverers=10
SNMPTrapperFile=/var/log/zabbix-proxy/zabbix_traps.tmp
StartSNMPTrapper=1
ListenIP=0.0.0.0
HousekeepingFrequency=1
CacheSize=128M
StartDBSyncers=64
HistoryCacheSize=128M
HistoryTextCacheSize=16M
Timeout=30
    mysql прокси MSK

    Code:
    [client]
port = 3306
socket = /var/lib/mysql/mysql.sock
default-character-set = utf8

[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
max_connections = 300
query_cache_size=128M
join_buffer_size=1M
thread_cache_size=12
table_cache=128
query_cache_limit=1M
innodb_buffer_pool_size=512M
tmp_table_size=256M
max_heap_table_size=256M
init_connect='SET collation_connection = utf8_general_ci'
init_connect='SET NAMES utf8'
init_connect='SET character_set_system = utf8'
default-character-set=utf8
character-set-server = utf8
collation-server = utf8_general_ci
innodb_flush_method=O_DIRECT
innodb_flush_log_at_trx_commit=2
innodb_file_per_table
symbolic-links=0

[mysql]
default-character-set=utf8


[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
    Last edited by a.tihonov; 24-08-2014, 19:55.
    Tags: None
    • bga83
      Senior Member
      • Sep 2011
      • 268
      #2
      Я бы посоветовал, для начала настроить мониторинг загруженности zabbix-процессов, чтобы попробовать понять чем именно вызвана очередь.

      С http://www.zabbix.com/documentation/...types/internal посмотреть проверки zabbix[process,<type>,<mode>,<state>]

        Comment

        • a.tihonov
          Junior Member
          • Oct 2012
          • 24
          #3
          Слева прокси, справа основной сервер.
          Эти значения не меняются, какие значения в сервере не ставь, пробовал разные, смотрел на изменения.
          Ну кроме кешей разве что.

          Code:
          Values processed by Zabbix server per second	41.4	41.41
Version of zabbix_agent(d) running	2.0.3	2.0.3
Zabbix history write cache, % free	100	100
Zabbix text write cache, % free	100	100
Zabbix trend write cache, % free	99.96	99.96
Zabbix busy alerter processes, in %	0 %	0 %
Zabbix busy configuration syncer processes, in %	0.07 %	0.08 %
Zabbix busy db watchdog processes, in %	0 %	0 %
Zabbix busy discoverer processes, in %	0 %	0 %
Zabbix busy escalator processes, in %	0 %	0 %
Zabbix busy history syncer processes, in %	0.03 %	0.04 %
Zabbix busy housekeeper processes, in %	0 %	0 %
Zabbix busy http poller processes, in %	0.03 %	0.02 %
Zabbix busy icmp pinger processes, in %	1.36 %	1.36 %
Zabbix busy ipmi poller processes, in %	0 %	0 %
Zabbix busy poller processes, in %	0.94 %	0.94 %
Zabbix busy proxy poller processes, in %	0 %	0 %
Zabbix busy self-monitoring processes, in %	0 %	0 %
Zabbix busy snmp trapper processes, in %	0 %	0 %
Zabbix busy timer processes, in %	0.02 %	0.02 %
Zabbix busy trapper processes, in %	0.02 %	0.02 %
Zabbix busy unreachable poller processes, in %	0.006777 %	0.74 %
Zabbix configuration cache, % free	99.74	99.74
Zabbix Dabase Size	13.98 Мb	2.69 Гb
Zabbix queue	236	265
Zabbix queue over 10m	122	87

            Comment

            • a.tihonov
              Junior Member
              • Oct 2012
              • 24
              #4
              Сегодня начал более детально разбираться.
              Очередь висит по snmpv2 агенту, вся моя очередь в поле более 10 минут.
              Что делать ума не приложу, конфиги привел к стандартному виду (кешы, пуллеры. и т.д.)

                Comment

                • dima_dm
                  Senior Member
                  • Dec 2009
                  • 2697
                  #5
                  на закладке
                  Администрирование->Очередь
                  Можно выбрать детали, и увидеть по каким item нет данных. Может просто хосты не отвечают.
                  Очередь – это виртуальное отображение, которое показывает на сколько просрочен интервал обновления Items.
                  Т.е. число Item, для которых вовремя (по интервалу обновления) не пришли новые данные.

                    Comment

                    • a.tihonov
                      Junior Member
                      • Oct 2012
                      • 24
                      #6
                      Originally posted by dima_dm
                      на закладке
                      Администрирование->Очередь
                      Можно выбрать детали, и увидеть по каким item нет данных. Может просто хосты не отвечают.
                      Очередь – это виртуальное отображение, которое показывает на сколько просрочен интервал обновления Items.
                      Т.е. число Item, для которых вовремя (по интервалу обновления) не пришли новые данные.

                      Спасибо, там и смотрел. Я то думал что это значит очередь записи в БД.
                      Cisco SF300 крайне тормозное устройство, думаю они и порождают эту очередь. В логе как раз про неё регулярные записи.

                        Comment

                        Previous template Next
                        Working...