Consumo de memória banco de dados

[lfernandosg]

Estou com alto consumo de memória com zabbix 3.0.4 + mysql

root@zabbix3:~# free -m
total used free shared buffers cached
Mem: 12045 11874 170 34 95 114
-/+ buffers/cache: 11664 380
Swap: 5954 2004 3949


Tenho 109 hosts e 4139 ítens. Esse consumo é normal? Ele começa a usar a swap e começa a alertar...tá muito alto.

[Hernandes Martins]

Olá meu caro,

Necessário dar uma olhada em todo ambiente,

Qual a configuração do seu servidor(cpu/disco/memoria)?
É virtual ou Fisico ?
Quanto tempo este Zabbix server existe ?
Consegue printar os gráficos de data gathering ?
Qual o processo que está consumindo mais memória?

[lfernandosg]

Olá meu caro,

Necessário dar uma olhada em todo ambiente,

Qual a configuração do seu servidor(cpu/disco/memoria)?
É virtual ou Fisico ?
Quanto tempo este Zabbix server existe ?
Consegue printar os gráficos de data gathering ?
Qual o processo que está consumindo mais memória?

Vamos lá

Qual a configuração do seu servidor(cpu/disco/memoria)?

Xeon 2.5ghz (8Vcpu), 12GB ddr3 1866mhz, 100GB raid 10 via hardware SAS 6GB/s 15.000 rpc

É virtual ou Fisico ?
virtual vmware ESXI

Quanto tempo este Zabbix server existe ?
8 meses com 5GB de tamanho do banco

Consegue printar os gráficos de data gathering ?
Desculpe, sou novo no zabbix, em qual tela pego?


Qual o processo que está consumindo mais memória?
Mysql(65%):
mysql 20 0 15,124g 7,707g 2964 S 1,3 65,5 109:03.86 mysqld
32081 root 20 0 299916 27736 20124 S 0,0 0,2 0:23.53 apache2
3354 www-data 20 0 304716 25824 15448 S 0,0 0,2 0:00.51 apache2
3152 www-data 20 0 304776 25648 15224 S 0,0 0,2 0:00.62 apache2
4273 www-data 20 0 304776 25648 15224 S 0,0 0,2 0:00.15 apache2
4322 www-data 20 0 304776 25600 15160 S 0,0 0,2 0:00.10 apache2
3662 www-data 20 0 304776 25452 15128 S 0,0 0,2 0:00.38 apache2
3612 www-data 20 0 304776 25228 14904 S 0,0 0,2 0:00.39 apache2
4172 www-data 20 0 304776 25228 14904 S 0,0 0,2 0:00.17 apache2
4122 www-data 20 0 304520 25048 14904 S 0,0 0,2 0:00.18 apache2
4272 www-data 20 0 304708 23824 13560 S 0,0 0,2 0:00.10 apache2
4995 www-data 20 0 304704 23572 13384 S 0,0 0,2 0:00.01 apache2
4996 www-data 20 0 304264 23284 13384 S 0,3 0,2 0:00.01 apache2
4890 grafana 20 0 869632 20272 11860 S 0,0 0,2 2:11.18 grafana-server

[Hernandes Martins]

Olá meu caro,

Verifique os gráficos em
Monitoring>>Graficos>>Zabbix Server>>Datagathering
Monitoring>>Graficos>>Zabbix Server>>Cache....

Qual o valor de NVPS no dashboard?

Outro ponto importante, pesquise por tunning de banco de dados.

https://dev.mysql.com/doc/refman/5.7...ng-innodb.html

Abraços

[lfernandosg]

Olá meu caro,

Verifique os gráficos em
Monitoring>>Graficos>>Zabbix Server>>Datagathering
Monitoring>>Graficos>>Zabbix Server>>Cache....

Qual o valor de NVPS no dashboard?

Outro ponto importante, pesquise por tunning de banco de dados.

https://dev.mysql.com/doc/refman/5.7...ng-innodb.html

Abraços

Bom dia,

Segue o link com os prints:

https://www.odrive.com/s/8d4844fe-515f-4065-a3ee-32fd56497eec-58173b1c

Valor da performance no dashboard:
74.12

[lfernandosg]

Bom dia,

Segue o link com os prints:

https://www.odrive.com/s/8d4844fe-515f-4065-a3ee-32fd56497eec-58173b1c

Valor da performance no dashboard:
74.12

Alguém pode dar um norte para esse problema? Já está topando os 12GB e pegando a swap. Muito alto o consumo.

[Hernandes Martins]

Não fez o tunning de mysql ? o comando top o que apresenta? qual processo está consumindo mais recurso?

[lfernandosg]

Não fez o tunning de mysql ? o comando top o que apresenta? qual processo está consumindo mais recurso?

Fiz sim. Não adiantou.

Segue retorno do comando TOP:

15589 mysql 20 0 14,056g 7,166g 4212 S 0,0 60,9 283:12.25 mysqld
20003 zabbix 20 0 1719588 29812 7648 S 0,0 0,2 2:09.93 zabbix_server
19972 zabbix 20 0 1718712 28816 7472 S 0,0 0,2 2:12.02 zabbix_server
19978 zabbix 20 0 1710344 20332 7308 S 0,0 0,2 2:11.90 zabbix_server
19999 zabbix 20 0 1709940 19752 7136 S 0,0 0,2 2:12.30 zabbix_server
19987 zabbix 20 0 1709516 19464 7184 S 0,0 0,2 2:13.47 zabbix_server
19980 zabbix 20 0 1708976 19068 7344 S 0,0 0,2 2:13.90 zabbix_server


O peso mesmo é o mysql consumindo 60% da memória.

Nesse servidor só toda o zabbix e o grafana.

[Hernandes Martins]

qual a config do mysql ?

[lfernandosg]

qual a config do mysql ?

Segue:

[client]
port = 3306
socket = /var/run/mysqld/mysqld.sock

[mysqld_safe]
socket = /var/run/mysqld/mysqld.sock
nice = 0

[mysqld]

performance_schema="off"
log-slow-queries
long_query_time = 5
log-queries-not-using-indexes


user = mysql
pid-file = /var/run/mysqld/mysqld.pid
socket = /var/run/mysqld/mysqld.sock
port = 3306
basedir = /usr
datadir = /var/lib/mysql
tmpdir = /tmp
lc-messages-dir = /usr/share/mysql
skip-external-locking
bind-address = 127.0.0.1
key_buffer = 16M
max_allowed_packet = 16M
thread_stack = 192K
thread_cache_size = 400
myisam-recover = BACKUP
max_connections = 1500
table_cache = 3000
query_cache_limit = 1M
query_cache_size = 32M
query_cache_type =0

log_error = /var/log/mysql/error.log
slow_query_log_file = /var/log/mysql/mysql-slow.log
slow_query_log = 1

log_queries_not_using_indexes
expire_logs_days = 10
max_binlog_size = 100M


innodb_buffer_pool_size=8G
join_buffer_size=400M
thread_cache_size=210
innodb_buffer_pool_instances=9
innodb_file_per_table
innodb_flush_method=O_DIRECT
innodb_flush_log_at_trx_commit=0
innodb_log_buffer_size=2M
wait_timeout=22800
interactive_timeout=20000
tmp_table_size=50M
max_heap_table_size=50M
wait_timeout=25000
thread_cache_size=150
key_buffer_size=200K

[mysqldump]
quick
quote-names
max_allowed_packet = 16M





[isamchk]
key_buffer = 16M

#settings that relate to the binary log (if enabled)
binlog_cache_size=4K
binlog_stmt_cache_size=4K

[Hernandes Martins]

Por curiosidade,

Quais os intervalos das consultas dos monitoramentos e das suas telas zabbix e grafana?

[lfernandosg]

Por curiosidade,

Quais os intervalos das consultas dos monitoramentos e das suas telas zabbix e grafana?

Grafana 5min. Do zabbix, só alterei o intervalo dos ítens para 1min. Já parei o serviço grafana para testar e depois de dois dias, só diminuiu 200mB de memória.

Usando o script mysqltuner.pl, ele só pede para alterar: join_buffer_size (> 400.0M, or always use indexes with joins) Só que posso colocar qualquer valor que ele vai pedir para aumentar.