Delay no Zabbix

[RafaelMoreno]

Senhores,

Alguem está sofrendo problemas de delay, alguns servidores caem, e aparecem depois de 11 até 30 minutos depois, com o status de 30 minutos de downtime.

[RafaelMoreno]

Estou recebendo tbm diariamente este erro

1166:20100629:141310.779 History buffer is full. Sleeping for 1 second.

[exkg]

Oi,

Aumenta o tamnaho do buffer do history ... a tua instalacao parece estar crescendo ... crescendo ...

[]s,
Luciano

[RafaelMoreno]

Delay continua não sei mais o que fazer!

[Alexei]

1166:20100629:141310.779 History buffer is full. Sleeping for 1 second.

It is a clear indicator of performance problems on the database side. The MySQL database is unable to write historical data fast enough.

[exkg]

Oi Rafael,

Mas qual eh o tamanho do teu buffer para o history ? Qual eh a taxa de gravacao dos teus discos ? Tuh tens monitoramento de IO do teu ZABBIX server ?


[]s,
Luciano

[RafaelMoreno]

Oi Rafael,

Mas qual eh o tamanho do teu buffer para o history ? Qual eh a taxa de gravacao dos teus discos ? Tuh tens monitoramento de IO do teu ZABBIX server ?


[]s,
Luciano

Luciano,

Meu servidor de aplicação é um:
2950 com 2 processadores Intel(R) Xeon(TM) CPU 3.00GHz QuadCore, Discos SAS de 15k, 4 Gb de RAM
Meu servidor de BD é um:
1955 (BladeServer) com HD's SAS de 15k, 16 Gb de RAM

Os servidores são somente para o Zabbix, nada mais roda alem disso.

Minha rede é Dell PowerConnect 6248 com 4 Switchs em Stack todos Gigabit!

Ontem coloquei meu Buffer para 256Mb o atraso das informações era de 5 Horas. abaixei o buffer para 1Mb o atraso é de 1 minuto e meio, porem os graficos ficam todos picotados.

Me ajudem!

[exkg]

Com isso entendo estamos partindo da premissa que o teu ambiente nao eh o gargalo correto ?

Algumas respostas temos que tentar encontrar:

- as filas passaram a acumular de um momento para ao outro ?
- qual o evento tuh relaciona com o inicio desse gargalo ?
- os logs do teu MySQL mostram algo ?
- tuh usa alguma ferramenta do tipo innotop ou algo parecido ? Caso positivo consegue visualizar se as queries de insert no history ficam em lock e/ou demoram para executar ?
- o teu top (recomento o atop) mostra algo relacionado aos possiveis gargalos ?
- qual o teu numero de pollers ativos ?


[]s,
Luciano

[RafaelMoreno]

Com isso entendo estamos partindo da premissa que o teu ambiente nao eh o gargalo correto ?

Algumas respostas temos que tentar encontrar:

- as filas passaram a acumular de um momento para ao outro ?
- qual o evento tuh relaciona com o inicio desse gargalo ?
- os logs do teu MySQL mostram algo ?
- tuh usa alguma ferramenta do tipo innotop ou algo parecido ? Caso positivo consegue visualizar se as queries de insert no history ficam em lock e/ou demoram para executar ?
- o teu top (recomento o atop) mostra algo relacionado aos possiveis gargalos ?
- qual o teu numero de pollers ativos ?


[]s,
Luciano

Luciano,

Segue meus arquivos de conf e prints de top e tudo mais

Config Zabbix:

#NodeID=0
StartPollers=255
StartIPMIPollers=0
StartPollersUnreachable=255
StartTrappers=255
StartPingers=255
StartDiscoverers=255
StartHTTPPollers=255
ListenPort=10051
#ListenIP=200.196.230.68
HousekeepingFrequency=1
SenderFrequency=30
DebugLevel=4
Timeout=5
TrapperTimeout=5
UnreachablePeriod=45
UnavailableDelay=60
PidFile=/var/run/zabbix-server/zabbix_server.pid
LogFile=/var/log/zabbix-server/zabbix_server.log
LogFileSize=500
AlertScriptsPath=/etc/zabbix/alert.d/
ExternalScripts=/etc/zabbix/alert.d/
FpingLocation=/usr/bin/fping
Fping6Location=/usr/bin/fping6
#TmpDir=/tmp
PingerFrequency=60
DBHost=200.196.230.243
DBName=zabbix
DBUser=rafael
DBPassword=rmg25788
#DBSocket=/tmp/mysql.sock
CacheSize=1G
HistoryCacheSize=1M
HistoryTextCacheSize=1M
CacheUpdateFrequency=15
#MaxHousekeeperDelete=0
StartDBSyncers=64

Config MySQL:

[client]
port            = 3306
socket          = /var/run/mysqld/mysqld.sock
[mysqld_safe]
socket          = /var/run/mysqld/mysqld.sock
nice            = 0
[mysqld]
user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306
basedir         = /usr
datadir         = /var/lib/mysql
tmpdir          = /tmp
skip-external-locking
#bind-address            = 127.0.0.1
key_buffer              = 4096M
max_allowed_packet      = 4096M
thread_stack            = 4096K
thread_cache_size       = 4096
myisam-recover         = BACKUP
max_connections        = 70000
table_cache            = 4096
query_cache_limit       = 4096M
query_cache_size        = 4096M
expire_logs_days        = 10
max_binlog_size         = 2000M
[mysqldump]
quick
quote-names
max_allowed_packet      = 4096M
[mysql]
[isamchk]
key_buffer              = 4096M
!includedir /etc/mysql/conf.d/

HTop Servidor de Aplicação


HTop Servidor de MySQL:


Innotop:

[exkg]

Cara .... faz o seguinte: baixa o teu numero de pollers.

O numero de pooles tah muito alto ... tenho instalacoes com 250 itens por segundo e utilizando 15 pollers. Na pratica cada poller eh uma conexao no teu banco, um item coletado, um update nas tabelas IDS, history, etc, etc.

Tenta baixar esse numero para o mais baixo possivel ... algo em torno de 20, 25 e vamos ver o que acontece.

Jah considerou o uso de proxies para as tuas coletas ? Para distribuir essa carga de coletas ? Creio que alterar os pollers jah ajude ...
Alias ... baixa todos os coletores ... TRAPPERS, PINGERS, etc, etc .... 255 eh muito alto .... o teu ZABBIX server tah empurrando muita coisa para o banco.


[]s,
Luciano

[RafaelMoreno]

Cara .... faz o seguinte: baixa o teu numero de pollers.

O numero de pooles tah muito alto ... tenho instalacoes com 250 itens por segundo e utilizando 15 pollers. Na pratica cada poller eh uma conexao no teu banco, um item coletado, um update nas tabelas IDS, history, etc, etc.

Tenta baixar esse numero para o mais baixo possivel ... algo em torno de 20, 25 e vamos ver o que acontece.

Jah considerou o uso de proxies para as tuas coletas ? Para distribuir essa carga de coletas ? Creio que alterar os pollers jah ajude ...
Alias ... baixa todos os coletores ... TRAPPERS, PINGERS, etc, etc .... 255 eh muito alto .... o teu ZABBIX server tah empurrando muita coisa para o banco.


[]s,
Luciano

Luciano,

Graficos continuam picotando. tanto via SNMP quanto via Agent, sendo que a busca é a cada 120 Segundos!

[RafaelMoreno]

Delays agora são de 15 minutos.

Segue o grafico com os intervalos e com delays..

Fica assim o grafico

[exkg]

As filas continuam do mesmo tamanho ? Alguam reducao ? O innotop ? Tem o mesmo volume de queries no IDS ?


Resumindo: ficou na mesma ou tivemos melhoras ?


[]s,
Luciano

[francisco_fasr]

Faz bastante tempo este topico, porem estou passando pelo mesmo problema, alguma dica para tentar resolver este delay so que no meu caso o delay e no grafana

[Hernandes Martins]

olá meu caro,

Se no zabbix está ok, sugiro verficar as configurações da sua integração.

abraços