4. Подготовка таблицы журнала аудита для партиционирования

Обзор

Некоторые базы данных (например, MySQL) требуют, чтобы столбец партиционирования был частью уникального ограничения таблицы (table's unique constraint). Поэтому для партиционирования таблицы auditlog по времени первичный ключ необходимо изменить с auditid на составной ключ auditid + clock.

В этом разделе приведены инструкции по изменению первичного ключа таблицы auditlog.

Партиционирование таблицы auditlog может улучшить, например, процедуру очистки истории в больших инсталляциях.

Хотя очистка истории Zabbix в настоящее время не может использовать преимущества партиционированных таблиц (за исключением TimescaleDB), вы можете отключить очистку истории Zabbix и удалять партиции с помощью скриптов.

Начиная с версии Zabbix 7.0, таблица auditlog для TimescaleDB была преобразована в гипертаблицу, что позволяет администратору удалять данные по частям. Чтобы обновить существующую таблицу auditlog до гипертаблицы, смотрите Обновление схемы TimescaleDB.

MySQL

Важные замечания по перестроению индексов

MySQL автоматически перестраивает индексы для первичного ключа во время операции ALTER TABLE. Однако, чтобы обеспечить оптимальную производительность базы данных, настоятельно рекомендуется также вручную перестроить индексы с помощью оператора OPTIMIZE TABLE.

Перестроение индексов может временно потребовать столько же дополнительного дискового пространства, сколько использует сама таблица. Чтобы получить текущий размер данных и индексов, можно выполнить следующие операторы:

ANALYZE TABLE auditlog;
SHOW TABLE STATUS LIKE 'auditlog';

Если доступное дисковое пространство вызывает беспокойство, следуйте инструкциям Изменение первичного ключа без простоя. Также доступны другие варианты:

• Увеличение параметра MySQL sort_buffer_size [en] может помочь сократить использование дискового пространства при ручном перестроении индексов. Однако изменение этой переменной может повлиять на общее использование памяти базы данных.
• Рассмотрите возможность освобождения места путем удаления потенциально ненужных данных.
• Рассмотрите возможность уменьшения параметра очистки истории Период хранения данных (Data storage period) перед выполнением очистки истории.

Изменение первичного ключа с простоем

1. Удалите текущий первичный ключ таблицы auditlog и добавьте новый первичный ключ.

ALTER TABLE auditlog DROP PRIMARY KEY, ADD PRIMARY KEY (auditid, clock);

2. Перестройте индексы (необязательно, но настоятельно рекомендуется, смотрите Важные примечания по перестроению индексов).

OPTIMIZE TABLE auditlog;

Изменение первичного ключа без простоя

Здесь описан ручной метод изменения первичного ключа. В качестве альтернативы вы можете использовать набор инструментов pt-online-schema-change [en] от Percona. Этот набор инструментов автоматически выполняет следующие действия, а также минимизирует пространство, используемое для изменения таблицы auditlog.

1. Создайте новую таблицу с новым первичным ключом и создайте индексы.

CREATE TABLE `auditlog_new` (
  `auditid`            varchar(25)                               NOT NULL,
  `userid`             bigint unsigned                           NULL,
  `username`           varchar(100)    DEFAULT ''                NOT NULL,
  `clock`              integer         DEFAULT '0'               NOT NULL,
  `ip`                 varchar(39)     DEFAULT ''                NOT NULL,
  `action`             integer         DEFAULT '0'               NOT NULL,
  `resourcetype`       integer         DEFAULT '0'               NOT NULL,
  `resourceid`         bigint unsigned                           NULL,
  `resource_cuid`      varchar(25)                               NULL,
  `resourcename`       varchar(255)    DEFAULT ''                NOT NULL,
  `recordsetid`        varchar(25)                               NOT NULL,
  `details`            longtext                                  NOT NULL,
  PRIMARY KEY (auditid,clock)
) ENGINE=InnoDB;
CREATE INDEX `auditlog_1` ON `auditlog_new` (`userid`,`clock`);
CREATE INDEX `auditlog_2` ON `auditlog_new` (`clock`);
CREATE INDEX `auditlog_3` ON `auditlog_new` (`resourcetype`,`resourceid`);

2. Поменяйте таблицы местами.

RENAME TABLE auditlog TO auditlog_old, auditlog_new TO auditlog;

3. Скопируйте данные из старой таблицы в новую.

INSERT INTO auditlog SELECT * FROM auditlog_old;

Это можно сделать частями (несколько операторов INSERT INTO с условиями WHERE clock по мере необходимости), чтобы избежать чрезмерного использования ресурсов.

4. Удалите старую таблицу.

DROP TABLE auditlog_old;

PostgreSQL

Важные замечания по перестроению индексов

PostgreSQL автоматически перестраивает индексы для первичного ключа во время операции ALTER TABLE. Однако настоятельно рекомендуется также вручную перестроить индексы с помощью оператора REINDEX TABLE CONCURRENTLY, чтобы обеспечить оптимальную производительность базы данных.

Перестроение индексов может временно потребовать до трех раз больше дискового пространства, чем сейчас занимают индексы. Чтобы узнать текущий размер индексов, можно выполнить следующий запрос:

SELECT pg_size_pretty(pg_indexes_size('auditlog'));

Если доступное дисковое пространство вызывает беспокойство, следуйте инструкциям в разделе Изменение первичного ключа без простоя. Также доступны и другие варианты:

• Увеличение параметра PostgreSQL maintenance_work_mem может помочь снизить использование дискового пространства при ручном перестроении индексов. Однако изменение этой переменной может повлиять на общее использование памяти базой данных.
• Если у вас есть другой диск или табличное пространство с большим объемом свободного места, можно изменить расположение временного хранилища для перестроения индекса. Вы можете задать параметр PostgreSQL temp_tablespaces, чтобы указать другое табличное пространство для временных объектов.
• Рассмотрите возможность освобождения места путем удаления потенциально ненужных данных.
• Рассмотрите возможность уменьшения параметра Период хранения данных housekeeper перед запуском housekeeper.

Изменение первичного ключа с простоем

1. Удалите текущий первичный ключ таблицы auditlog и добавьте новый первичный ключ.

ALTER TABLE auditlog DROP CONSTRAINT auditlog_pkey;
ALTER TABLE auditlog ADD PRIMARY KEY (auditid,clock);

2. Перестройте индексы (необязательно, но настоятельно рекомендуется; см. Важные замечания по перестройке индексов).

REINDEX TABLE CONCURRENTLY auditlog;

Изменение первичного ключа без простоя

Здесь описан ручной метод изменения первичного ключа. В качестве альтернативы можно рассмотреть расширение pg_repack для создания новой таблицы, копирования данных и замены таблиц.

1. Создайте новую таблицу с новым первичным ключом и создайте индексы.

CREATE TABLE auditlog_new (
  auditid              varchar(25)                               NOT NULL,
  userid               bigint                                    NULL,
  username             varchar(100)    DEFAULT ''                NOT NULL,
  clock                integer         DEFAULT '0'               NOT NULL,
  ip                   varchar(39)     DEFAULT ''                NOT NULL,
  action               integer         DEFAULT '0'               NOT NULL,
  resourcetype         integer         DEFAULT '0'               NOT NULL,
  resourceid           bigint                                    NULL,
  resource_cuid        varchar(25)                               NULL,
  resourcename         varchar(255)    DEFAULT ''                NOT NULL,
  recordsetid          varchar(25)                               NOT NULL,
  details              text            DEFAULT ''                NOT NULL,
  PRIMARY KEY (auditid,clock)
);
CREATE INDEX auditlog_new_1 ON auditlog_new (userid,clock);
CREATE INDEX auditlog_new_2 ON auditlog_new (clock);
CREATE INDEX auditlog_new_3 ON auditlog_new (resourcetype,resourceid);

2. Поменяйте таблицы местами.

ALTER TABLE auditlog RENAME TO auditlog_old;
ALTER TABLE auditlog_new RENAME TO auditlog;

3. Скопируйте данные из старой таблицы в новую.

INSERT INTO auditlog SELECT * FROM auditlog_old;

Это можно сделать частями (несколько операторов INSERT INTO с условиями WHERE clock по мере необходимости), чтобы избежать чрезмерного использования ресурсов.

4. Удалите старую таблицу.

DROP TABLE auditlog_old;

Смотрите также

• Обновление базы данных для использования первичных ключей