2 Потоковая передача во внешние системы

Обзор

Можно передавать значения элементов данных и события из Zabbix во внешние системы по HTTP (см. подробности протокола).

Фильтр тегов можно использовать для передачи подмножеств значений элементов данных или событий.

За потоковую передачу данных отвечают два процесса сервера Zabbix: connector manager и connector worker. Внутренний элемент данных Zabbix zabbix[connector_queue] позволяет отслеживать количество значений, поставленных в очередь коннектора.

Конфигурация

Для настройки потоковой передачи данных во внешнюю систему необходимо выполнить следующие шаги:

1. Настроить удалённую систему для приёма данных от Zabbix. Для этой цели доступны следующие инструменты:

• Пример простого приёмника, который записывает полученную информацию в файлы events.ndjson и history.ndjson.
• Kafka connector for Zabbix server — лёгкий сервер, написанный на Go, предназначенный для пересылки значений элементов данных и событий с сервера Zabbix в брокер Kafka.

2. Установить необходимое количество процессов connector worker в Zabbix, изменив параметр StartConnectors в zabbix_server.conf. Количество процессов connector worker должно соответствовать (или превышать, если число одновременных сессий больше 1) настроенному количеству коннекторов в веб-интерфейсе Zabbix. Затем перезапустите сервер Zabbix.

3. Настроить новый коннектор в веб-интерфейсе Zabbix (Administration > General > Connectors) и перезагрузить кэш сервера командой zabbix_server -R config_cache_reload.

Обязательные поля отмечены звёздочкой.

Когда Kafka connector настроен со списком адресов bootstrap-брокеров, разделённых запятыми (например, Kafka.URL=kafka1.example.com:9093,kafka2.example.com:9093), клиент Kafka подключается к брокеру(ам), ответившему(им) первым, и использует их метаданные кластера. Если список содержит адреса из разных кластеров Kafka, будет использоваться только кластер, ответивший быстрее всего, а остальные адреса будут записаны в журнал как недоступные; в результате при запуске могут появляться предупреждения, подобные следующему, даже если коннектор подключён:

kafka cluster connected, but broker(s) "kafka1.example.com:9093, kafka2.example.com:9093" unavailable; will retry on message send if active brokers fail 

В некоторых средах (частные сети, сети контейнеров или нестандартные настройки DNS/hosts) имена узлов или IP-адреса могут разрешаться в loopback-адреса (например, 127.0.0.1/localhost) или нормализоваться клиентом, из-за чего такие предупреждения могут вводить в заблуждение. Чтобы уменьшить путаницу, убедитесь, что все адреса Kafka.URL принадлежат одному и тому же кластеру Kafka, проверьте разрешение DNS с узла, на котором работает коннектор, а также параметр advertised.listeners брокеров, и по возможности используйте адреса, которые разрешаются в advertised-адрес брокера.

Протокол

Обмен данными между сервером и получателем выполняется по HTTP с использованием REST API, NDJSON, "Content-Type: application/x-ndjson".

Подробнее см. в разделе Протокол экспорта JSON с разделением по символу новой строки.

Запрос сервера

Пример потоковой передачи значений элементов данных:

POST /v1/history HTTP/1.1
Host: localhost:8080
Accept: */*
Accept-Encoding: deflate, gzip, br, zstd
Content-Length: 628
Content-Type: application/x-ndjson

{"host":{"host":"Zabbix server","name":"Zabbix server"},"groups":["Zabbix servers"],"item_tags":[{"tag":"foo","value":"test"}],"itemid":44457,"name":"foo","clock":1673454303,"ns":800155804,"value":0,"type":3}
{"host":{"host":"Zabbix server","name":"Zabbix server"},"groups":["Zabbix servers"],"item_tags":[{"tag":"foo","value":"test"}],"itemid":44457,"name":"foo","clock":1673454303,"ns":832290669,"value":1,"type":3}
{"host":{"host":"Zabbix server","name":"Zabbix server"},"groups":["Zabbix servers"],"item_tags":[{"tag":"bar","value":"test"}],"itemid":44458,"name":"bar","clock":1673454303,"ns":867770366,"value":123,"type":3}

Пример потоковой передачи событий:

POST /v1/events HTTP/1.1
Host: localhost:8080
Accept: */*
Accept-Encoding: deflate, gzip, br, zstd
Content-Length: 333
Content-Type: application/x-ndjson

{"clock":1673454303,"ns":800155804,"value":1,"eventid":5,"name":"trigger for foo being 0","severity":0,"hosts":[{"host":"Zabbix server","name":"Zabbix server"}],"groups":["Zabbix servers"],"tags":[{"tag":"foo_trig","value":"test"},{"tag":"foo","value":"test"}]}
{"clock":1673454303,"ns":832290669,"value":0,"eventid":6,"p_eventid":5}

Ответ получателя

Ответ состоит из кода состояния HTTP-ответа и полезной нагрузки JSON. Код состояния HTTP-ответа должен быть "200", "201", "202", "203" или "204" для запросов, которые были успешно обработаны, в противном случае — для неуспешных запросов.

Пример успешного ответа:

localhost:8080/v1/history": HTTP/1.1 200 OK
Date: Wed, 11 Jan 2023 16:40:30 GMT
Content-Length: 0

Пример с ошибками:

localhost:8080/v1/history": HTTP/1.1 422 Unprocessable Entity
Content-Type: application/json
Date: Wed, 11 Jan 2023 17:07:36 GMT
Content-Length: 55

{"error":"invalid character '{' after top-level value"}