Configuración de ClickHouse
Zabbix puede almacenar datos históricos en ClickHouse como una alternativa a una base de datos relacional.
Esta guía cubre la configuración para las versiones compatibles de ClickHouse. Si está usando una versión diferente, es posible que algunas funciones no funcionen como se espera.
ClickHouse puede almacenar los siguientes tipos de valores:
| Item value type | Database table | ClickHouse type |
|---|---|---|
| Numeric (unsigned) | history_uint | uint |
| Numeric (float) | history | dbl |
| Character | history_str | str |
| Log | history_log | log |
| Text | history_text | text |
| Binary | history_bin | not supported by Zabbix |
| JSON | history_json | json |
ClickHouse no acepta matrices JSON. Un valor JSON debe ser un único objeto o un conjunto de objetos. Además, ClickHouse gestiona las claves JSON con NULL igual que las claves ausentes.
Notas importantes
- El housekeeper no elimina datos de ClickHouse. Para controlar durante cuánto tiempo se conservan los datos, configure el período de almacenamiento de datos de ClickHouse en ClickHouse.
- Zabbix no calcula ni almacena tendencias en ClickHouse. Considere ampliar el período de almacenamiento del history para conservar datos más antiguos.
- Si desea migrar sus datos de history desde una base de datos Zabbix existente (MySQL o PostgreSQL) a ClickHouse, consulte el esquema de ClickHouse y los scripts de migración de history.
- ClickHouse no es compatible con los proxies de Zabbix.
Configuración de ClickHouse
Debe crear y configurar una base de datos y un usuario de Zabbix, e importar el esquema de la base de datos.
Esta guía proporciona instrucciones para instalaciones de ClickHouse mediante Docker o paquetes.
Docker
1. Cree y configure la base de datos y el usuario de Zabbix al ejecutar el contenedor de ClickHouse:
sudo docker run -d \
--name clickhouse \
-e CLICKHOUSE_DB=zabbix \
-e CLICKHOUSE_USER=zabbix \
-e CLICKHOUSE_DEFAULT_ACCESS_MANAGEMENT=1 \
-e CLICKHOUSE_PASSWORD=<password> \
-p 8123:8123/tcp \
-p 9000:9000/tcp \
--cap-add=SYS_NICE \
--cap-add=NET_ADMIN \
--cap-add=IPC_LOCK \
--ulimit nofile=262144:262144 \
-v clickhouse_data:/var/lib/clickhouse \
clickhouse/clickhouse-server:26.4
2. Confirme que ClickHouse funciona y que puede conectarse a él:
sudo docker exec -it clickhouse \
clickhouse-client \
--query "SELECT version()"
# 26.4.4.38
3. Importe el esquema de la base de datos usando el script history_all.sh desde su directorio de Zabbix:
./usr/share/zabbix/sql-scripts/clickhouse/history_all.sh \
--user zabbix \
--password <password> \
--db zabbix \
--server http://localhost:8123
El período de almacenamiento de datos (Time-To-Live, o TTL) para ClickHouse es, de forma predeterminada, de 31 días.
Para cambiarlo, use la opción --ttl al importar el esquema de la base de datos (por ejemplo, --ttl 604800 para 7 días), o configúrelo más adelante.
4. Verifique que se hayan creado las tablas:
sudo docker exec -it clickhouse \
clickhouse-client \
--user zabbix \
--password <password> \
--query "SHOW TABLES FROM zabbix"
# history
# history_json
# history_log
# history_str
# history_text
# history_uint
Paquetes
1. Inicie ClickHouse:
sudo service clickhouse-server start
2. Cree y configure la base de datos y el usuario de Zabbix:
clickhouse-client --user default
localhost :) CREATE DATABASE IF NOT EXISTS zabbix
localhost :) CREATE USER IF NOT EXISTS zabbix IDENTIFIED WITH sha256_password BY '<password>'
localhost :) GRANT CREATE, ALTER, DROP, INSERT, SELECT, UPDATE, OPTIMIZE ON zabbix.* TO zabbix
localhost :) quit
3. Importe el esquema de la base de datos usando el script history_all.sh desde su directorio de Zabbix:
./usr/share/zabbix/sql-scripts/clickhouse/history_all.sh \
--user zabbix \
--password <password> \
--db zabbix \
--server http://localhost:8123
El período de almacenamiento de datos (Time-To-Live, o TTL) para ClickHouse es, de forma predeterminada, de 31 días.
Para cambiarlo, use la opción --ttl al importar el esquema de la base de datos (por ejemplo, --ttl 604800 para 7 días), o configúrelo más adelante.
4. Verifique que se hayan creado las tablas:
clickhouse-client \
--user zabbix \
--password <password> \
--query "SHOW TABLES FROM zabbix"
# history
# history_json
# history_log
# history_str
# history_text
# history_uint
Configuración de Zabbix server
En el archivo de configuración de Zabbix server (zabbix_server.conf), establezca el parámetro HistoryProvider.
Por ejemplo, para almacenar todos los tipos de valores admitidos en ClickHouse:
HistoryProvider=clickhouse;value_types="uint,dbl,str,log,text,json",url=http://localhost:8123,db=zabbix,username=zabbix,password=<password>
Después de realizar los cambios, reinicie Zabbix server:
systemctl restart zabbix-server
Configuración del frontend de Zabbix
En el archivo de configuración de tu frontend de Zabbix (zabbix.conf.php), establece la variable $HISTORY_PROVIDERS para que coincida con la configuración del server:
$HISTORY_PROVIDERS[] = [
'types' => ['uint','dbl','str','log','text','json'],
'provider' => 'clickhouse',
'url' => 'http://localhost:8123',
'db' => 'zabbix',
'username' => 'zabbix',
'password' => '<password>'
];
Configuración adicional
Los pasos siguientes son opcionales. No los necesita para una configuración básica.
Configuración del período de almacenamiento de datos de ClickHouse
El período de almacenamiento de datos (Time-To-Live, o TTL) de ClickHouse es, de forma predeterminada, de 31 días. Para cambiarlo, ejecute los comandos siguientes.
Los ejemplos siguientes usan Docker. Si instaló ClickHouse mediante paquetes, ejecute las consultas directamente en el cliente de ClickHouse.
1. Modifique la tabla (reemplace history_json y 3600 por los valores que necesite):
sudo docker exec -it clickhouse \
clickhouse-client \
--user zabbix \
--password <password> \
--query "ALTER TABLE zabbix.history_json MODIFY TTL clock_ns + toIntervalSecond(3600)"
2. Aplique los cambios inmediatamente:
sudo docker exec -it clickhouse \
clickhouse-client \
--user zabbix \
--password <password> \
--query "OPTIMIZE TABLE zabbix.history_json FINAL"
3. Verifique que el período de almacenamiento de datos haya cambiado:
sudo docker exec -it clickhouse \
clickhouse-client \
--user zabbix \
--password <password> \
--query "SHOW CREATE TABLE zabbix.history_json"
# CREATE TABLE zabbix.history_json
# (
# `itemid` UInt64,
# `clock_ns` DateTime64(9),
# `value` JSON,
# `value_str` String
# )
# ENGINE = MergeTree
# PARTITION BY toDate(clock_ns)
# PRIMARY KEY (itemid, clock_ns)
# ORDER BY (itemid, clock_ns)
# TTL clock_ns + toIntervalSecond(3600)
# SETTINGS index_granularity = 8192
4. Reinicie Zabbix server para actualizar el período de almacenamiento de datos en Administración > Housekeeping:
systemctl restart zabbix-server
Solución de problemas
Los siguientes pasos pueden ayudarle a solucionar problemas con su configuración de ClickHouse:
-
Revise los registros de ClickHouse o del server de Zabbix en busca de errores.
-
Para identificar consultas lentas, use la opción
log_slow_queriesen el parámetro de configuración del server de ZabbixHistoryProvider. -
Verifique que ClickHouse permita el acceso desde el server de Zabbix y el frontend de Zabbix.
-
Consulte ClickHouse para ver si los datos recopilados por Zabbix se almacenan, por ejemplo:
sudo docker exec -it clickhouse \
clickhouse-client \
--user zabbix \
--password <password> \
--query "SELECT * FROM zabbix.history_uint WHERE itemid = 42269"