4 監査ログテーブルのパーティション化の準備

概要

一部のデータベース（例えば、MySQL）では、パーティション分割カラムがテーブルの一意制約の一部である必要があります。 そのため、auditlogテーブルを時間でパーティション分割するには、主キーをauditidから複合キーauditid + clockに変更する必要があります。

このセクションでは、auditlogテーブルの主キーを変更する手順について説明します。

auditlogテーブルのパーティショニングは、大規模なセットアップでのハウスキーピングなどを改善できます。 Zabbixのハウスキーピングは現在、（TimescaleDBを除き）パーティショニングされたテーブルを利用できませんが、Zabbixのハウスキーピングを無効にし、スクリプトを使用してパーティションを削除することができます。

Zabbix 7.0以降、TimescaleDB用のauditlogテーブルはハイパーテーブルに変換され、ハウスキーパーがチャンク単位でデータを削除できるようになりました。 既存のauditlogテーブルをハイパーテーブルにアップグレードするには、TimescaleDBスキーマのアップグレードを参照してください。

MySQL

インデックス再構築に関する重要な注意事項

MySQL は、ALTER TABLE 操作中に主キーのインデックスを自動的に再構築します。
ただし、データベースの最適なパフォーマンスを確保するために、OPTIMIZE TABLE ステートメントを使用してインデックスを手動でも再構築することを強く推奨します。

インデックスの再構築では、一時的にテーブル自体と同程度の追加ディスク容量が必要になる場合があります。
データとインデックスの現在のサイズを確認するには、次のステートメントを実行します。

ANALYZE TABLE auditlog;
SHOW TABLE STATUS LIKE 'auditlog';

利用可能なディスク容量が懸念される場合は、ダウンタイムなしで主キーを変更する の手順に従ってください。
他の選択肢もあります。

• sort_buffer_size MySQL パラメータを増やすと、インデックスを手動で再構築する際のディスク使用量を削減できる場合があります。
  ただし、この変数を変更すると、データベース全体のメモリ使用量に影響する可能性があります。
• 不要と思われるデータを削除して、空き容量を確保することを検討してください。
• housekeeper を実行する前に、Data storage period housekeeper パラメータを短くすることを検討してください。

ダウンタイムを伴う主キーの変更

1. 現在の auditlog テーブルの主キーを削除し、新しい主キーを追加します。

ALTER TABLE auditlog DROP PRIMARY KEY, ADD PRIMARY KEY (auditid, clock);

2. インデックスを再構築します（任意ですが、強く推奨します。インデックス再構築に関する重要な注意事項 を参照してください）。

OPTIMIZE TABLE auditlog;

ダウンタイムなしで主キーを変更する

主キーを手動で変更する方法については、ここで説明します。
または、Percona の pt-online-schema-change ツールキットを使用することもできます。
このツールキットは、auditlog テーブルの変更に使用する領域を最小限に抑えながら、以下の処理を自動的に実行します。

1. 新しい主キーを持つ新規テーブルを作成し、インデックスを作成します。

CREATE TABLE `auditlog_new` (
  `auditid`            varchar(25)                               NOT NULL,
  `userid`             bigint unsigned                           NULL,
  `username`           varchar(100)    DEFAULT ''                NOT NULL,
  `clock`              integer         DEFAULT '0'               NOT NULL,
  `ip`                 varchar(39)     DEFAULT ''                NOT NULL,
  `action`             integer         DEFAULT '0'               NOT NULL,
  `resourcetype`       integer         DEFAULT '0'               NOT NULL,
  `resourceid`         bigint unsigned                           NULL,
  `resource_cuid`      varchar(25)                               NULL,
  `resourcename`       varchar(255)    DEFAULT ''                NOT NULL,
  `recordsetid`        varchar(25)                               NOT NULL,
  `details`            longtext                                  NOT NULL,
  PRIMARY KEY (auditid,clock)
) ENGINE=InnoDB;
CREATE INDEX `auditlog_1` ON `auditlog_new` (`userid`,`clock`);
CREATE INDEX `auditlog_2` ON `auditlog_new` (`clock`);
CREATE INDEX `auditlog_3` ON `auditlog_new` (`resourcetype`,`resourceid`);

2. テーブルを入れ替えます。

RENAME TABLE auditlog TO auditlog_old, auditlog_new TO auditlog;

3. 古いテーブルから新しいテーブルへデータをコピーします。

INSERT INTO auditlog SELECT * FROM auditlog_old;

必要に応じて WHERE clock 句を使った複数の INSERT INTO 文に分割し、チャンク単位で実行することで、リソースの過剰な使用を避けることができます。

4. 古いテーブルを削除します。

DROP TABLE auditlog_old;

PostgreSQL

インデックス再構築に関する重要な注意事項

PostgreSQL は、ALTER TABLE 操作中に主キーのインデックスを自動的に再構築します。
ただし、データベースの最適なパフォーマンスを確保するため、REINDEX TABLE CONCURRENTLY ステートメントを使用してインデックスを手動でも再構築することを強く推奨します。

インデックスの再構築では、一時的に現在インデックスで使用されているディスク容量の最大 3 倍が必要になる場合があります。
現在のインデックスサイズを確認するには、次のクエリを実行します。

SELECT pg_size_pretty(pg_indexes_size('auditlog'));

利用可能なディスク容量が懸念される場合は、ダウンタイムなしで主キーを変更する の手順に従ってください。
他の選択肢もあります。

• PostgreSQL パラメーター maintenance_work_mem を増やすと、インデックスを手動で再構築する際のディスク使用量を削減できる場合があります。
  ただし、この変数を変更すると、データベース全体のメモリ使用量に影響する可能性があります。
• より多くの空き容量がある別のディスクまたはテーブルスペースがある場合は、インデックス再構築時の一時ストレージの場所を変更することを検討してください。
  PostgreSQL パラメーター temp_tablespaces を設定して、一時オブジェクト用の別のテーブルスペースを指定できます。
• 不要な可能性のあるデータを削除して、空き容量を確保することを検討してください。
• housekeeper を実行する前に、データ保存期間 housekeeper パラメーターを短くすることを検討してください。

ダウンタイムを伴う主キーの変更

1. 現在の auditlog テーブルの主キーを削除し、新しい主キーを追加します。

ALTER TABLE auditlog DROP CONSTRAINT auditlog_pkey;
ALTER TABLE auditlog ADD PRIMARY KEY (auditid,clock);

2. インデックスを再構築します（任意ですが、強く推奨します。インデックス再構築に関する重要な注意事項を参照してください）。

REINDEX TABLE CONCURRENTLY auditlog;

ダウンタイムなしで主キーを変更する

ここでは、主キーを手動で変更する方法について説明します。
代替案として、新しいテーブルの作成、データのコピー、テーブルの入れ替えを行うために pg_repack 拡張機能を検討できます。

1. 新しい主キーを持つ新しいテーブルを作成し、インデックスを作成します。

CREATE TABLE auditlog_new (
  auditid              varchar(25)                               NOT NULL,
  userid               bigint                                    NULL,
  username             varchar(100)    DEFAULT ''                NOT NULL,
  clock                integer         DEFAULT '0'               NOT NULL,
  ip                   varchar(39)     DEFAULT ''                NOT NULL,
  action               integer         DEFAULT '0'               NOT NULL,
  resourcetype         integer         DEFAULT '0'               NOT NULL,
  resourceid           bigint                                    NULL,
  resource_cuid        varchar(25)                               NULL,
  resourcename         varchar(255)    DEFAULT ''                NOT NULL,
  recordsetid          varchar(25)                               NOT NULL,
  details              text            DEFAULT ''                NOT NULL,
  PRIMARY KEY (auditid,clock)
);
CREATE INDEX auditlog_new_1 ON auditlog_new (userid,clock);
CREATE INDEX auditlog_new_2 ON auditlog_new (clock);
CREATE INDEX auditlog_new_3 ON auditlog_new (resourcetype,resourceid);

2. テーブルを入れ替えます。

ALTER TABLE auditlog RENAME TO auditlog_old;
ALTER TABLE auditlog_new RENAME TO auditlog;

3. 古いテーブルから新しいテーブルへデータをコピーします。

INSERT INTO auditlog SELECT * FROM auditlog_old;

これは、過剰なリソース使用を避けるために、必要に応じて WHERE clock 句を使った複数の INSERT INTO 文に分割して実行できます。

4. 古いテーブルを削除します。

DROP TABLE auditlog_old;

参考

• データベースの主キーへのアップグレード