Exclusão de dados

[Gabriela W]

Boa tarde

Montei um servidor zabbix para monitorar a rede do provedor que trabalho, não tenho conhecimento aprofundado, fui fazendo e apreendendo, estou com dificuldade no ajuste de limpeza do banco que esta deixando meu zabbix lento, tenho ele rodando na versão 3.4 em um ubuntu server 16, com mysql separado versão mariadb 10.0 e ubuntu server 16, com cerca de 600 hosts.


Tentei colocar a limpeza de dados para ser feita somente a noite, mas não resolveu a lentidão, acredito que foi devido ao tamanho da tabela history_uint ser grande, então fiz o particionamento de tabelas conforme vi no wiki do zabbix, mas agora estou em duvida em questão dos dados, gostaria de manter dados como disponibilidade dos hosts por um longo periodo de tempo, mas outros dados não, o que me vem a duvida com esse particionamento configurado pra tabela history_uint eu perco os eventos quando a partição for deletada?

Nesse caso se eu selecionar no template do host para manter determinado item para mais tempo que o que esta definido no particionamento ele vai manter?


Então minha duvida é o particionamento como esta no manual, apaga tudo? ou ele vai rodar como o housekeeper e deletar somente de acordo com o que coloco pra manter no template?

https://www.zabbix.org/wiki/Docs/howto/mysql_partitioning

Agradeço desde já.

[Jefte]

Sugestão, Não sei como esta seus parametros, mas...
Tente colocar seu HouseKeeper para rodar em pequenos intervalos, por exemplo de 2 em 2 horas, com o MaxHouseKeeperDelete 10000.
Existe parametros também para 'tunnar' seu mysql/mariaDB ( https://github.com/major/MySQLTuner-perl )
Outra questão é, SEU BANCO DE DADOS está separado, por questões de infraestrutura da empresa(Por ter um servidor dedicado somente para banco de dados) virtualizado ou fisico? 600 hosts , qual seu VPS ?

[eduwutzl]

Boa tarde

Montei um servidor zabbix para monitorar a rede do provedor que trabalho, não tenho conhecimento aprofundado, fui fazendo e apreendendo, estou com dificuldade no ajuste de limpeza do banco que esta deixando meu zabbix lento, tenho ele rodando na versão 3.4 em um ubuntu server 16, com mysql separado versão mariadb 10.0 e ubuntu server 16, com cerca de 600 hosts.

Então, o HouseKeeper realmente concorre muito com o restante do Ambiente. Acredito que como boa prática, seria você configurar o zabbix para rodar de hora em hora e deixar o parametro DEFAULT de quantidade de itens que ele irá deletar.

Da uma olhada como é a configuração padrão.

### Option: HousekeepingFrequency
#    How often Zabbix will perform housekeeping procedure (in hours).
#    Housekeeping is removing outdated information from the database.
#    To prevent Housekeeper from being overloaded, no more than 4 times HousekeepingFrequency
#    hours of outdated information are deleted in one housekeeping cycle, for each item.
#    To lower load on server startup housekeeping is postponed for 30 minutes after server start.
#    With HousekeepingFrequency=0 the housekeeper can be only executed using the runtime control option.
#    In this case the period of outdated information deleted in one housekeeping cycle is 4 times the
#    period since the last housekeeping cycle, but not less than 4 hours and not greater than 4 days.
#
# Mandatory: no
# Range: 0-24
# Default:
HousekeepingFrequency=1

### Option: MaxHousekeeperDelete
#    The table "housekeeper" contains "tasks" for housekeeping procedure in the format:
#    [housekeeperid], [tablename], [field], [value].
#    No more than 'MaxHousekeeperDelete' rows (corresponding to [tablename], [field], [value])
#    will be deleted per one task in one housekeeping cycle.
#    SQLite3 does not use this parameter, deletes all corresponding rows without a limit.
#    If set to 0 then no limit is used at all. In this case you must know what you are doing!
#
# Mandatory: no
# Range: 0-1000000
# Default:
MaxHousekeeperDelete=5000

Tentei colocar a limpeza de dados para ser feita somente a noite, mas não resolveu a lentidão, acredito que foi devido ao tamanho da tabela history_uint ser grande, então fiz o particionamento de tabelas conforme vi no wiki do zabbix, mas agora estou em duvida em questão dos dados, gostaria de manter dados como disponibilidade dos hosts por um longo periodo de tempo, mas outros dados não, o que me vem a duvida com esse particionamento configurado pra tabela history_uint eu perco os eventos quando a partição for deletada?

Os dados precisam ser migrados para esta nova tabela. Confesso que ainda não ví o artigo sobre particionamento do banco, mas sinceramente para um zabbix com 600 Hosts, não tem necessidade de o seu VPS estiver beirando os 900 VPS (valores por segundo).

Nesse caso se eu selecionar no template do host para manter determinado item para mais tempo que o que esta definido no particionamento ele vai manter?

Sim, o History e o Trends do Template são os caras que definem o Tempo que ele irá manter os dados na tabela History e na Tabela Trends.
Também tem uma configuração do Zabbix que sobrepõe esta configuração. Então confira se esta ligado a opção em Administration/General/HouseKeeping

Então minha duvida é o particionamento como esta no manual, apaga tudo? ou ele vai rodar como o housekeeper e deletar somente de acordo com o que coloco pra manter no template?

O HouseKeeper é o cara que faz toda a limpeza da base, então afirmo que sim! O HouseKeeper vai apagar / expurgar somente de acordo com o que você configurar nos templates ou em Administration/General/HouseKeeping.

Evita mudar a estrutura do banco até uns 1500VPS. Acima disto.. sim você pode começar a pensar em particionamento de Banco e etc.

Muitas estruturas não conseguem entregar I/O o suficiente para bancos de dados. Em 10 anos de zabbix já passei por esta situação pelo menos umas 5x.

Boa sorte.

[Jefte]

Complementando o que o nosso amigo Eduardo disse !

Muitas estruturas não conseguem entregar I/O o suficiente para bancos de dados. Em 10 anos de zabbix já passei por esta situação pelo menos umas 5x.

Realmente , já tive diversos problemas de I/O com discos padrões SCSI, que tiveram que ser migrados para SSD, por ter uma coleta de dados muito intensa, o disco não dava conta !