Base MySQL Gigante HouseKeeper não funciona?!

[RafaelMoreno]

Senhores,

Estou com um problema Grave, meu HouseKeeper está ativo, na hora de iniciar o servidor ele mostra que trap carregando.

Massssss

Minha base está com mais de 100 Gb, pedi para ele gravar somente 30 dias de informação mas em algumas maquinas está com mais de 3 meses!!!!

Ajudem-me por favor!!!

[exkg]

Oi Rafael,


Nas versoes mais recentes do ZABBIX tem um parametro no conf que diz quantos registros por item o Housekeeper vai limpar em cada ciclo.

Eh importante, tambem, verificar no teu logas execucoes do Housekeeper (de quanto em quanto tempo ele estah rodando.

Tambem eh aconselhavel efetuar um dump/load da tua base (por tabela) jah que ela eh bastante grande e (me parece pelos teus 355 itens por segundo) tem um fluxo grande de dados entrando na base.

Outra alternativa eh executar manualmente a limpeza dos dados antigos.


[]s,
Luciano

[RafaelMoreno]

Oi Rafael,


Nas versoes mais recentes do ZABBIX tem um parametro no conf que diz quantos registros por item o Housekeeper vai limpar em cada ciclo.

Eh importante, tambem, verificar no teu logas execucoes do Housekeeper (de quanto em quanto tempo ele estah rodando.

Tambem eh aconselhavel efetuar um dump/load da tua base (por tabela) jah que ela eh bastante grande e (me parece pelos teus 355 itens por segundo) tem um fluxo grande de dados entrando na base.

Outra alternativa eh executar manualmente a limpeza dos dados antigos.


[]s,
Luciano

Luciano,

HouseKeeping estava habilitado e funcional. mas só estava excluindo cerca de 3500 dados antigos por segundo...

Fiz um trunk das tabelas antigas e comecei a coletar novamente...

A média de dados aqui é de 351.505 por segundo.

Fiz uma maquina dedicada só para BD com 8 processadores e 16 Gb de Ram.

[auro]

Rafael,

Cheque os parâmetros de history e trends dos ítens de seus templates, geralmente vêm configurados para valores altíssimos, gerando muita informação inútil na base.

Aqui utilizamos retenção histórica de 7 dias, e 90 dias para trends.



Espero que ajude.

Abraço!

Auro

[victorhugopa]

Aqui utilizamos retenção histórica de 7 dias, e 90 dias para trends.

Com relação ao trends de 90 dias... Nenhuma informação antes disso é disponível? Querendo ver algo de 4 meses atrás só mostraria o gráfico em branco?

Valeu!

[]'s
Victor Hugo

[auro]

Exatamente.

Os trends não ocupam tanto espaço, (é o history o grande vilão). 3 meses de retenção são suficientes para nosso ambiente.

A regra é seu ambiente que dita, se precisar de mais histórico, terá mais consumo de servidor.

Como já tem um super server para utilizar, acho que não terá problemas de espaço.

Após configurar como necessário, faça um dump / reimport da base, isto diminuirá bastante a utilização de espaço em disco.

Espero que ajude!

Abraço!

Auro

[victorhugopa]

Após configurar como necessário, faça um dump / reimport da base, isto diminuirá bastante a utilização de espaço em disco.

Pessoal, qual seria o motivo para ocorrer essa grande diminuição com um dump/reimport?

[]'s
Victor Hugo

[auro]

É o comportamento esperado com tabelas que usam innodb, alocam espaço em disco que não é liberado nunca mais, a não ser com um reimport.

[]s

Auro

[victorhugopa]

Valeu pela resposta!!

Usando Postgre... espero que não haja esse tipo de coisa e que o HouseKeeping + VACUUM deixe tudo redondo

[]'s,
Victor Hugo

[auro]

Mesmo conceito pro vacuum do postgres.
Praticamente todo banco faz isso, aloca o espaço em disco pra não ficar alocando e gravando, é pra performar.
Abraço!

[victorhugopa]

Mas no caso, com o Vacuum ocorrendo ok não há necessidade de procedimentos como dump/reimport correto?

[]'s

[auro]

Reimport apenas para InnoDB, no MySQL.

[]s

Auro

[alan.silvas]

Tem uma forma manual de limpar os históricos dos últimos 60 dias?

[Hernandes Martins]

Olá meu caro,

Neste caso para limpeza manual dos 60 dias não, o que você consegue fazer neste momento é forçar a execução do processo de limpeza housekeeper manualmente e o tempo em dias será o definido no item.

Abraços;

[alan.silvas]

Olá meu caro,

Neste caso para limpeza manual dos 60 dias não, o que você consegue fazer neste momento é forçar a execução do processo de limpeza housekeeper manualmente e o tempo em dias será o definido no item.

Abraços;

hummmm, bacana.
Qual o procedimento para eu realizar esse procedimento de forma manual?