Esta sección proporciona detalles sobre el preprocesamiento de valores de métricas. El preprocesamiento de valores de métricas permite definir y ejecutar reglas de transformación para los valores de métricas recibidos.
El preprocesamiento es gestionado por el proceso del gestor de preprocesamiento junto con los trabajadores de preprocesamiento que realizan los pasos de preprocesamiento. Todos los valores (con o sin preprocesamiento) de diferentes recolectores de datos pasan por el gestor de preprocesamiento antes de ser añadidos a la caché de historial. Se utiliza comunicación IPC basada en sockets entre los recolectores de datos (pollers, trappers, etc.) y el proceso de preprocesamiento. Tanto el servidor Zabbix como el proxy Zabbix (para las métricas monitorizadas por el proxy) realizan los pasos de preprocesamiento.
Para visualizar el flujo de datos desde la fuente de datos hasta la base de datos de Zabbix, podemos utilizar el siguiente diagrama simplificado:
El diagrama anterior muestra solo los procesos, objetos y acciones relacionados con el procesamiento del valor de la métrica en forma simplificada. El diagrama no muestra cambios condicionales de dirección, manejo de errores o bucles. Tampoco se muestra la caché de datos local del gestor de preprocesamiento porque no afecta directamente al flujo de datos. El objetivo de este diagrama es mostrar los procesos involucrados en el procesamiento del valor de la métrica y la forma en que interactúan.
Una métrica puede cambiar su estado a NO SOPORTADO mientras se realiza el preprocesamiento si alguno de los pasos de preprocesamiento falla.
Una métrica puede cambiar su estado a NO SOPORTADO si la normalización de datos falla (por ejemplo, cuando un valor textual no puede convertirse a número).
El preprocesamiento de datos se realiza en los siguientes pasos:
Tenga en cuenta que en el diagrama el preprocesamiento de la métrica principal está ligeramente simplificado al omitir la caché de preprocesamiento.
La cola de preprocesamiento se organiza como:
Se introdujo la caché de preprocesamiento para mejorar el rendimiento del preprocesamiento en múltiples métricas dependientes que tienen pasos de preprocesamiento similares (lo cual es un resultado común de LLD).
La caché se realiza preprocesando una métrica dependiente y reutilizando algunos de los datos internos de preprocesamiento para el resto de las métricas dependientes. La caché de preprocesamiento solo es compatible con el primer paso de preprocesamiento de los siguientes tipos:
[?(@.path == "value")]
)El archivo de configuración del servidor Zabbix permite a los usuarios establecer la cantidad de hilos de trabajadores de preprocesamiento. Se debe utilizar el parámetro de configuración StartPreprocessors para establecer el número de instancias preiniciadas de trabajadores de preprocesamiento, que al menos debe coincidir con el número de núcleos de CPU disponibles.
Si las tareas de preprocesamiento no están limitadas por la CPU e implican solicitudes de red frecuentes, se recomienda configurar trabajadores adicionales. El número óptimo de trabajadores de preprocesamiento puede determinarse por muchos factores, incluyendo la cantidad de métricas "preprocesables" (métricas que requieren ejecutar algún paso de preprocesamiento), la cantidad de procesos de recopilación de datos, el promedio de pasos para el preprocesamiento de métricas, etc. Un número insuficiente de trabajadores puede llevar a un alto uso de memoria. Para solucionar el uso excesivo de memoria en su instalación de Zabbix, consulte Perfilado del uso excesivo de memoria con tcmalloc.
Pero suponiendo que no haya operaciones de preprocesamiento pesadas como el análisis de grandes fragmentos XML/JSON, el número de trabajadores de preprocesamiento puede coincidir con el número total de recolectores de datos. De esta manera, en la mayoría de los casos (excepto cuando los datos del recolector llegan en bloque) habrá al menos un trabajador de preprocesamiento desocupado para los datos recopilados.
Demasiados procesos de recopilación de datos (pollers, unreachable pollers, ODBC pollers, HTTP pollers, Java pollers, pingers, trappers, proxypollers) junto con el gestor IPMI, el SNMP trapper y los trabajadores de preprocesamiento pueden agotar el límite de descriptores de archivos por proceso para el gestor de preprocesamiento.
Agotar el límite de descriptores de archivos por proceso hará que el servidor Zabbix se detenga, normalmente poco después del inicio, aunque a veces puede tardar más. Para evitar estos problemas, revise el archivo de configuración del servidor Zabbix para optimizar el número de comprobaciones y procesos concurrentes. Además, si es necesario, asegúrese de que el límite de descriptores de archivos esté configurado lo suficientemente alto comprobando y ajustando los límites del sistema.
El procesamiento de valores de métricas se ejecuta en múltiples pasos (o fases) por múltiples procesos. Esto puede causar:
UINT
(se puede usar una métrica trapper), la métrica dependiente tiene tipo de valor TEXT
.Como resultado, la métrica dependiente recibe un valor, mientras que la métrica principal cambia su estado a NO SOPORTADO.
CHAR
para la métrica principal, entonces el valor de la métrica principal se truncará en la fase de sincronización del historial, mientras que las métricas dependientes recibirán sus valores a partir del valor inicial (no truncado) de la métrica principal.