2 预处理详情

概述

本节提供监控项值预处理细节。监控项值预处理功能允许为接收到的监控项值定义并executetransformation rules。

预处理由预处理管理器进程管理，该进程与执行预处理步骤的工作进程一同在Zabbix 3.4版本引入。所有来自不同数据采集器的值（无论是否经过预处理）在存入history cache前都需经过预处理管理器。数据采集器（轮询器、捕获器等）与预处理进程间采用基于套接字的IPC通信。Zabbix server或Zabbix proxy（针对proxy监控的监控项）将执行预处理步骤。

监控项值处理

为了可视化从数据源到Zabbix数据库的数据流，我们可以使用以下简化示意图：

上图仅以简化形式展示了与监控项值处理相关的进程、objects和操作。该示意图未显示条件方向变更、错误处理或循环。预处理管理器的本地数据缓存也未显示，因为它不会直接影响数据流。此示意图的目的是展示参与监控项值处理的进程及其交互方式。

• 数据采集始于数据源的原始数据。此时数据仅包含ID、时间戳和值（也可能是多个值）

• 无论使用何种类型的数据采集器，对于主动或被动检查、trapper 监控项等都采用相同原理，因为这只会改变数据格式和通信发起方（数据采集器要么等待连接和数据，要么主动发起通信并请求数据）。原始数据经过验证后，从configuration cache中检索监控项配置（数据会被配置数据增强）

• 使用基于套接字的IPC机制将数据从数据采集器传递到预处理管理器。此时数据采集器会继续采集数据，而无需等待预处理管理器的响应

• 执行数据预处理。这包括执行

  preprocessing steps and dependent item processing.

• 预处理管理器本地数据缓存中的历史数据正被刷新到history cache

• 此时数据流停止，直到下一次history cache同步（当历史同步器进程执行数据同步时）

• 同步进程从数据规范化开始，存储数据

  in Zabbix database. Data normalization performs conversions to desired item type (type defined in item configuration), including truncation of textual data based on predefined sizes allowed for those types (HISTORY_STR_VALUE_LEN for string, HISTORY_TEXT_VALUE_LEN for text and HISTORY_LOG_VALUE_LEN for log values). Data is being sent to Zabbix database after normalization is done.

• 正在处理采集的数据——检查触发器，如果监控项变为NOT SUPPORTED则更新监控项配置等
• 从监控项值处理的角度来看，这被认为是数据流的终点

监控项 值预处理

为了可视化数据预处理过程，我们可以使用以下 简化示意图:

上图仅展示了与objects相关的主要流程和核心操作 以简化形式对监控项值进行预处理。该图表未 不显示条件方向变更、错误处理或循环。仅 图中显示了一个预处理工作进程（多个 预处理工作器可在实际场景中使用时，仅有一个监控项 值正在处理中，我们假设此监控项需要 execute 至少需要一个预处理步骤。该图的目的是 展示 监控项 值预处理流水线背后的设计理念

• 监控项 数据和 监控项 值通过预处理管理器传递 基于套接字的IPC机制。
• 监控项 被放入预处理队列。

• 此时数据流将停止，直到至少有一个空闲位置出现 （未执行任何任务的）预处理工作进程。
• 当预处理工作器可用时，预处理任务正在执行 发送给它。
• 预处理完成后（无论执行成功或失败） 预处理步骤), 预处理后的值将被传回 预处理管理器
• 预处理管理器将结果转换为所需格式（由 监控项 值类型)并将结果放入预处理队列。如果 是当前监控项的依赖监控项，那么依赖监控项会被添加 进入预处理队列。依赖的监控项也会被加入队列 预处理队列紧接在主监控项之后，但仅适用于主节点 监控项 已设置值且不处于不支持状态。

值处理管道

监控项值处理通过多个步骤（或阶段）执行 多个进程。这可能导致：

• 依赖项 监控项 可以接收值，而主项值则不能。

  This can be achieved by using the following use case:

  • Master item has value type UINT, (trapper item can be used), dependent item has value type TEXT.
  • No preprocessing steps are required for both master and dependent items.
  • Textual value (like, "abc") should be passed to master item.
  • As there are no preprocessing steps to execute, preprocessing manager checks if master item is not in NOT SUPPORTED state and if value is set (both are true) and enqueues dependent item with the same value as master item (as there are no preprocessing steps).
  • When both master and dependent items reach history synchronization phase, master item becomes NOT SUPPORTED, because of the value conversion error (textual data cannot be converted to unsigned integer).

UINT, (可使用trapper 监控项), 依赖项监控项具有值类型TEXT. - 主节点和从节点均无需进行预处理步骤 依赖项 监控项 - 文本值（例如"abc"）应传递给主节点监控项。 - 由于execute没有预处理步骤，预处理 manager检查master 监控项是否不处于NOT SUPPORTED状态 如果设置了值（两者均为真）并将依赖的监控项加入队列 与主节点监控项相同的值（由于没有预处理 步骤). - 当主和依赖监控项达到历史记录 同步阶段，主节点监控项变为NOT SUPPORTED, 由于数值转换错误（文本数据无法 转换为无符号integer)。

因此，依赖监控项接收到一个值，而主监控项发生变化 其状态变为NOT SUPPORTED。

• 依赖项 监控项 接收到的值在主 监控项 中不存在 历史记录。该用例与之前的非常相似，除了 对于主监控项类型。例如，如果使用CHAR类型 master 监控项, 然后 master 监控项 值将在历史记录中被截断 同步阶段，而依赖的监控项将接收其 来自主项监控项初始（未截断）值的数值

预处理队列

预处理队列是一种FIFO数据结构，用于存储数值并保持预处理管理器审查数值的顺序。FIFO逻辑存在以下例外情况：

• 内部监控项会被插入到队列开头
• 依赖监控项总是排在主监控项之后入队

可通过以下示意图理解预处理队列的逻辑：

预处理队列中的数值会从队列开头刷新至第一个未处理值。例如预处理管理器会刷新数值1、2和3，但不会刷新数值5，因为数值4尚未处理：

刷新后队列仅保留两个数值（4和5），这些数值会被添加至预处理管理器的本地数据缓存，随后从本地缓存转移至history cache。预处理管理器可以以单一监控项模式或批量模式（用于依赖监控项和批量接收的数值）刷新本地数据缓存中的数值。

预处理工作进程

Zabbix server配置file允许用户设置预处理工作进程的数量。StartPreprocessors配置参数应用于设置预处理工作进程的预派生实例数量。最优的预处理工作进程数量可由多种因素决定，包括"可预处理"监控项的数量（需要execute任何预处理步骤的监控项）、数据收集进程数量、监控项预处理的平均步骤数等。

但假设没有像解析大型XML/JSON块这样的繁重预处理操作，预处理工作进程数量可以与数据收集器总数相匹配。这样，在大多数情况下（除了数据从收集器批量到达时），至少会有一个空闲的预处理工作进程来处理收集到的数据。