Распределенный мониторинг с использованием прокси
Обзор
Прокси Zabbix можно использовать для создания эффективной и надежной распределенной системы мониторинга.
Прокси развертываются локально для сбора данных о производительности и доступности. Затем данные передаются на централизованный сервер.
Прокси Zabbix можно использовать для:
- Мониторинга удаленных расположений
- Мониторинга расположений с ненадежной связью
- Снижения нагрузки на сервер Zabbix при мониторинге тысяч устройств
- Сбора телеметрических данных для мониторинга производительности приложений (APM)
Прокси требуется только одно TCP-соединение с сервером Zabbix. Это упрощает обход межсетевого экрана, поскольку необходимо настроить только одно правило межсетевого экрана.
Прокси Zabbix должен использовать отдельную базу данных. Указание базы данных сервера Zabbix приведет к повреждению конфигурации.
Все данные, собранные прокси, сохраняются локально перед передачей на сервер.
Таким образом, данные не теряются из-за временных проблем со связью с сервером.
Параметры ProxyLocalBuffer и ProxyOfflineBuffer в файле конфигурации прокси определяют, как долго данные хранятся локально.
Может возникнуть ситуация, когда прокси, получающий последние изменения конфигурации непосредственно из базы данных сервера Zabbix, имеет более актуальную конфигурацию, чем сервер Zabbix, конфигурация которого может обновляться не так быстро из-за значения параметра CacheUpdateFrequency. В результате прокси может начать собирать данные и отправлять их на сервер Zabbix, который игнорирует эти данные.
Прокси Zabbix является сборщиком данных. Он не вычисляет триггеры, не обрабатывает события и не отправляет оповещения. Обзор функций, поддерживаемых прокси, представлен в следующей таблице:
| Функция | Поддерживается прокси | |
|---|---|---|
| Элементы данных | ||
| Проверки агентом Zabbix | Да | |
| Проверки агентом Zabbix (активные) | Да 1 | |
| Простые проверки | Да | |
| Элементы данных trapper | Да | |
| Проверки SNMP | Да | |
| SNMP-трапы | Да | |
| Проверки IPMI | Да | |
| Проверки JMX | Да | |
| Мониторинг файлов журналов | Да | |
| Внутренние проверки | Да | |
| Проверки SSH | Да | |
| Проверки Telnet | Да | |
| Внешние проверки | Да | |
| Зависимые элементы данных | Да | |
| Элементы данных-скрипты | Да | |
| Элементы данных браузера | Да | |
| Элементы данных запросов телеметрии | Да | |
| Встроенный веб-мониторинг | Да | |
| Предварительная обработка значений элементов данных | Да | |
| Обнаружение сети | Да | |
| Автоматическая регистрация активных агентов | Да | |
| Низкоуровневое обнаружение | Да 2 | |
| Удаленные команды | Да | |
| Сбор телеметрических данных (APM) | Да 3 | |
| Вычисление триггеров | Нет | |
| Обработка событий | Нет | |
| Корреляция событий | Нет | |
| Отправка оповещений | Нет | |
[1] Чтобы агент запрашивал активные проверки у прокси, а не у сервера, прокси должен быть указан в параметре ServerActive в файле конфигурации агента.
[2] При низкоуровневом обнаружении прокси Zabbix только собирает и предварительно обрабатывает данные, а затем отправляет их на сервер Zabbix для дальнейшей обработки.
[3] Телеметрические данные собираются только в том случае, если на прокси включен APM (см. вкладку APM в разделе конфигурации прокси); сервер Zabbix не может получать телеметрические данные.
Возможности прокси
При выборе использования или неиспользования прокси необходимо учитывать несколько факторов.
| Proxy | |
|---|---|
| Легковесный | Да |
| GUI | Нет |
| Работает независимо | Да |
| Простое обслуживание | Да |
| Автоматическое создание БД | Да1 |
| Локальное администрирование | Нет |
| Готов для встроенного оборудования | Да |
| Однонаправленные TCP-соединения | Да |
| Централизованная конфигурация | Да |
| Генерирует уведомления | Нет |
1 Функция автоматического создания БД работает только с SQLite. Для других поддерживаемых баз данных требуется ручная настройка.
Прокси Zabbix не учитывает периоды обслуживания; см. Расчет очередей во время обслуживания для подробностей.
Защита от перегрузки
Если сервер Zabbix был недоступен некоторое время, а прокси собрали много данных, и затем сервер запускается, он может оказаться перегружен (использование history cache некоторое время остается на уровне 95-100%). Такая перегрузка может привести к снижению производительности, когда проверки обрабатываются медленнее, чем должны. Для предотвращения этой ситуации была реализована защита, чтобы избежать проблем, возникающих из-за перегрузки history cache.
Когда history cache сервера Zabbix заполнен, запись в history cache начинает ограничиваться, что приостанавливает процессы сбора данных сервером. Наиболее распространенный случай перегрузки history cache - это период после простоя сервера, когда прокси загружают собранные данные. Чтобы избежать этого, было добавлено ограничение для прокси (в настоящее время его нельзя отключить).
Когда использование history cache достигает 80%, сервер Zabbix переходит в режим ограничения. В режиме ограничения сервер принимает данные от прокси только когда использование history cache ниже 60%, поочередно обслуживая принятые прокси. Как только использование history cache опускается ниже 20%, сервер возвращается в нормальный режим.
Кроме того, в нормальном режиме сервер Zabbix ограничивает отдельные прокси, отправляющие очень большие пакеты (10 000+ записей), если использование history cache превышает 60%.
Это решение принимается в момент, когда сервер оценивает загрузку от прокси, и поэтому не всегда сразу отражается на графиках использования history cache (внутренний элемент данных zabbix[wcache,history,pused] и интервал его обновления могут не зафиксировать кратковременные пики).
Этот режим ограничения будет продолжаться до тех пор, пока либо использование cache снова не достигнет 80%, либо не снизится до 20%, либо список ограничения не станет пустым. В первом случае сервер снова перестанет принимать данные от прокси. В двух других случаях сервер начнет работать нормально, принимая данные от всех прокси.
Приведенную выше информацию можно проиллюстрировать следующей таблицей:
| Использование записи в cache истории |
Режим сервера Zabbix | Действие сервера Zabbix |
|---|---|---|
| Достигает 80% | Ожидание | Прекращает принимать данные от прокси, но сохраняет список ограничения (приоритетный список прокси, к которым нужно обратиться позже). |
| Достигает 60% | Нормальный, но готов к ограничению | Может отклонять очень большие загрузки от прокси (более 10 тыс. записей) при принятии решения о приеме данных; продолжает принимать другие данные от прокси. |
| Снижается до 20% | Нормальный | Удаляет список ограничения и начинает принимать данные от прокси в обычном режиме. |
Для сопоставления этого поведения сервера Zabbix с метрикой можно использовать внутренний элемент данных zabbix[wcache,history,pused].
Конфигурация
После того как вы установили и настроили прокси, пришло время настроить его во веб-интерфейсе Zabbix.
Добавление прокси
Вместо установки прокси в собственной инфраструктуре можно развернуть его в Zabbix Cloud. Для этого нажмите Create proxy in Cloud в разделе Administration > Proxies; Zabbix Cloud откроется в новой вкладке браузера. После создания узла прокси настройте прокси в веб-интерфейсе Zabbix, как описано ниже. Дополнительную информацию см. в разделе Настройка прокси Zabbix Cloud.
Чтобы настроить прокси в веб-интерфейсе Zabbix:
- Перейдите в раздел Administration > Proxies.
- Нажмите Create proxy.
- Введите параметры прокси в форме.
| Parameter | Description | |
|---|---|---|
| Proxy name | Введите имя прокси. Оно должно совпадать с именем в параметре Hostname файла конфигурации прокси. | |
| Proxy group | Выберите одну группу прокси для балансировки нагрузки/высокой доступности прокси. | |
| Address for active agents | Введите адрес, к которому должны подключаться отслеживаемые активные агенты или отправители. Поддерживается только агентами Zabbix версии 7.0 или более поздней. Этот адрес используется для подключения как к активным, так и к пассивным прокси. Это поле доступно только в том случае, если в поле Proxy group выбрана группа прокси. |
|
| Address | IP-адрес/DNS-имя для подключения. | |
| Port | Номер TCP-порта (по умолчанию 10051) для подключения. Поддерживаются пользовательские макросы. | |
| Proxy mode | Выберите режим прокси. Active - прокси подключается к серверу Zabbix и запрашивает данные конфигурации Passive - сервер Zabbix подключается к прокси Примечание: при использовании активного прокси без шифрования соединений (конфиденциальные) данные конфигурации прокси могут стать доступными сторонам, имеющим доступ к порту траппера сервера Zabbix. Это возможно, поскольку любой может выдать себя за активный прокси и запросить данные конфигурации, если аутентификация не выполняется или адреса прокси не ограничены в поле Proxy address. |
|
| Proxy address | Если указано, запросы от активного прокси принимаются только из этого списка IP-адресов, разделенных запятыми, при необходимости в нотации CIDR, или DNS-имен активного прокси Zabbix. Это поле доступно только в том случае, если в поле Proxy mode выбран активный прокси. Макросы не поддерживаются. |
|
| Interface | Введите сведения об интерфейсе пассивного прокси. Это поле доступно только в том случае, если в поле Proxy mode выбран пассивный прокси. |
|
| Address | IP-адрес/DNS-имя пассивного прокси. | |
| Port | Номер TCP-порта пассивного прокси (по умолчанию 10051). Поддерживаются пользовательские макросы. | |
| Description | Введите описание прокси. | |
Вкладка Encryption позволяет потребовать зашифрованные соединения с прокси.
| Parameter | Description |
|---|---|
| Connections to proxy | Способ подключения сервера к пассивному прокси: без шифрования (по умолчанию), с использованием PSK (предварительно установленного ключа) или сертификата. |
| Connections from proxy | Выберите тип соединений, разрешенных от активного прокси. Одновременно можно выбрать несколько типов соединений (это удобно для тестирования и перехода на другой тип соединения). По умолчанию используется значение "No encryption". |
| Issuer | Разрешенный издатель сертификата. Сначала сертификат проверяется с помощью CA (центра сертификации). Если сертификат действителен и подписан CA, поле Issuer можно использовать для дополнительного ограничения разрешенных CA. Это поле необязательно и предназначено для случаев, когда установка Zabbix использует сертификаты от нескольких CA. |
| Subject | Разрешенная тема сертификата. Сначала сертификат проверяется с помощью CA. Если сертификат действителен и подписан CA, поле Subject можно использовать, чтобы разрешить только одно значение строки Subject. Если это поле пусто, принимается любой действительный сертификат, подписанный настроенным CA. |
| PSK identity | Строка идентификатора предварительно установленного ключа. Не указывайте конфиденциальную информацию в идентификаторе PSK: он передается по сети в незашифрованном виде, чтобы сообщить получателю, какой PSK следует использовать. |
| PSK | Предварительно установленный ключ (шестнадцатеричная строка). Максимальная длина: 512 шестнадцатеричных цифр (PSK размером 256 байт), если Zabbix использует библиотеку GnuTLS или OpenSSL, и 64 шестнадцатеричные цифры (PSK размером 32 байта), если Zabbix использует библиотеку mbed TLS (PolarSSL). Пример: 1f87b595725ac58dd977beef14b97461a7c1045b9a1c963065002c5473194952 |
Вкладка APM позволяет настроить мониторинг производительности приложений (APM) на прокси. Прокси может собирать телеметрические данные (трассировки, метрики и журналы), отправляемые приложениями или коллекторами OpenTelemetry по протоколу OpenTelemetry (OTLP/gRPC), и записывать данные в источник телеметрических данных.
| Parameter | Description | |
|---|---|---|
| Data collection enabled | Установите флажок, чтобы включить сбор телеметрических данных на прокси. Перед включением сбора телеметрических данных установите для параметра StartAPMCollectors значение 1 в файле конфигурации прокси. |
|
| Max messages per second | Установите максимальное количество сообщений в секунду, принимаемых прокси: Unlimited - принимать все входящие сообщения. Custom - принимать до указанного количества сообщений в секунду. Сообщение представляет собой запрос OTLP, отправленный приложением, коллектором OpenTelemetry или другим источником телеметрии. Его размер зависит от отправителя; например, коллектор OpenTelemetry может объединить тысячи спанов в одно сообщение, тогда как простое приложение может отправлять сообщения меньшего размера (например, по одному на трассировку). Если ограничение превышено, прокси отвечает кодом состояния gRPC UNAVAILABLE (временная ошибка), поэтому отправитель может повторить отправку сообщения позднее в зависимости от своей конфигурации. |
|
| Add resource attributes | Укажите атрибуты ресурса, которые следует добавить к входящим телеметрическим данным выбранного типа (например, чтобы пометить все данные, полученные этим прокси, информацией о среде или регионе). Затем эти атрибуты можно использовать для фильтрации телеметрических данных, например в условиях элементов данных запроса телеметрии. | |
| Name | Введите имя атрибута (например, deployment.environment, cloud.region). Имя должно быть уникальным для выбранного Type. |
|
| Value | Введите значение атрибута (например, production, eu-central-1). Может быть пустым. |
|
| Type | Выберите тип входящих данных, к которым применяется атрибут: Traces, Metrics или Logs. | |
Вкладка Timeouts позволяет переопределить глобальные тайм-ауты для поддерживающих это типов элементов данных.
| Parameter | Description |
|---|---|
| Timeouts for item types | Установите тайм-аут элемента данных (на основе его типа): Global - использовать глобальный тайм-аут (отображается в неактивном поле Timeout для каждого типа элемента данных); Override - установить пользовательский тайм-аут (в поле Timeout для каждого типа элемента данных). Допустимый диапазон: 1 - 600 с (по умолчанию: наследуется из глобальных тайм-аутов). Поддерживаются суффиксы времени, например 30s, 1m, и пользовательские макросы. Нажатие ссылки Global timeouts позволяет настроить глобальные тайм-ауты. Обратите внимание, что ссылка Global timeouts видна только пользователям типа Super admin, имеющим разрешения на раздел веб-интерфейса Administration > General. Обратите внимание, что тайм-ауты на уровне прокси переопределяют глобальные, но сами переопределяются индивидуальными тайм-аутами элементов данных, если они настроены. |
Если основной номер версии прокси не совпадает с основным номером версии сервера, рядом с пунктом Timeouts for item types будет отображаться значок 
с сообщением при наведении: "Timeouts disabled because the proxy and server versions do not match".
В таких случаях прокси будет использовать параметр Timeout из файла конфигурации прокси.
Форма редактирования существующего прокси содержит следующие дополнительные кнопки:
- Refresh configuration - обновить конфигурацию прокси;
- Clone - создать новый прокси на основе свойств существующего прокси;
- Delete - удалить прокси.
Конфигурация узла сети
Вы можете указать, что отдельный узел сети должен отслеживаться прокси или группой прокси, в форме конфигурации узла сети, используя поле Monitored by.
Массовое обновление узлов сети — это еще один способ указать, что узлы сети должны отслеживаться прокси или группой прокси.