Zabbix Documentation 4.4

Zabbix недавно начал поддерживать хранение данных истории в Elasticsearch вместо базы данных. Теперь пользователям предоставляется возможность выбора места хранения данных истории между совместимой базой данных и Elasticsearch.

Для обеспечения надлежащей связи между всеми участвующими элементами убедитесь, что параметры файла конфигурации сервера и файл конфигурации веб-интерфейса настроены должным образом.

Выдержка из файла конфигурации Zabbix сервера с параметрами, которые необходимо обновить:

### Option: HistoryStorageURL
#	History storage HTTP[S] URL.
#
# Mandatory: no
# Default:
# HistoryStorageURL= 
### Option: HistoryStorageTypes
#	Comma separated list of value types to be sent to the history storage.
#
# Mandatory: no
# Default:
# HistoryStorageTypes=uint,dbl,str,log,text

Пример значений параметров, которые требуется указать в файле конфигурации Zabbix сервера:

HistoryStorageURL=http://test.elasticsearch.lan:9200
HistoryStorageTypes=str,log,text

Подобная конфигурация заставит Zabbix сервер хранить значения истории числовых типов в соответствующей базе данных и текстовых данных истории в Elasticsearch.

Elasticsearch поддерживает следующие типы элементов данных:

uint,dbl,str,log,text

Разъяснение поддерживаемых типов элементов данных:

Выдержка из файла конфигурации Zabbix веб-интерфейса (conf/zabbix.conf.php) с параметрами, которые необходимо обновить:

// Elasticsearch url (can be string if same url is used for all types).
$HISTORY['url']   = [
	'uint' => 'http://localhost:9200',
	'text' => 'http://localhost:9200'
];
// Value types stored in Elasticsearch.
$HISTORY['types'] = ['uint', 'text'];

Пример значений параметров, которые требуется указать в файле конфигурации Zabbix веб-интерфейса:

$HISTORY['url']   = 'http://test.elasticsearch.lan:9200';
$HISTORY['types'] = ['str', 'text', 'log'];

Подобная конфигурация заставит хранить значения истории Текст, Символ и Журнал (лог) в Elasticsearch.

Также требуется сделать $HISTORY глобальной переменной в conf/zabbix.conf.php, чтобы убедиться, что все работает должным образом (смотрите файл conf/zabbix.conf.php.example как это сделать):

// Zabbix GUI configuration file.
global $DB, $HISTORY;

Последними двумя шагами, чтобы все заработало, нужно установить сам Elasticsearch и создать процесс сопоставления.

Чтобы установить Elasticsearch, пожалуйста, обратитесь к инструкции по установке Elasticsearch [en].

Для создания сопоставления для типа text отправьте следующий запрос в Elasticsearch:

curl -X PUT \
 http://your-elasticsearch.here:9200/text \
 -H 'content-type:application/json' \
 -d '{
   "settings" : {
      "index" : {
         "number_of_replicas" : 1,
         "number_of_shards" : 5
      }
   },
   "mappings" : {
      "values" : {
         "properties" : {
            "itemid" : {
               "type" : "long"
            },
            "clock" : {
               "format" : "epoch_second",
               "type" : "date"
            },
            "value" : {
               "fields" : {
                  "analyzed" : {
                     "index" : true,
                     "type" : "text",
                     "analyzer" : "standard"
                  }
               },
               "index" : false,
               "type" : "text"
            }
         }
      }
   }
}'

Похожий запрос требуется выполнить для создания сопоставлений по значениям истории Символ и Журнал (лог) с соответствующим исправлением типа.

В этом разделе описываются дополнительные шаги, которые необходимы для работы с конвейерами и узлами ingest.

Для начала вам нужно создать шаблоны для индексов. Следующий пример показывает запрос на создание uint шаблона:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/uint_template \
 -H 'content-type:application/json' \
 -d '{
   "template": "uint*",
   "index_patterns": ["uint*"],
   "settings" : {
      "index" : {
         "number_of_replicas" : 1,
         "number_of_shards" : 5
      }
   },
   "mappings" : {
      "values" : {
         "properties" : {
            "itemid" : {
               "type" : "long"
            },
            "clock" : {
               "format" : "epoch_second",
               "type" : "date"
            },
            "value" : {
               "type" : "long"
            }
         }
      }
   }
}'

Для создания остальных шаблонов пользователю нужно изменить URL (последняя часть имени шаблона), изменить поля “template” и “index_patterns”, чтобы имя индекса совпадало, и указать корректное сопоставление, которое можно взять с database/elasticsearch/elasticsearch.map. Например, можно использовать следующую команду, чтобы создать шаблон для text индекса:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/text_template \
 -H 'content-type:application/json' \
 -d '{
   "template": "text*",
   "index_patterns": ["text*"],
   "settings" : {
      "index" : {
         "number_of_replicas" : 1,
         "number_of_shards" : 5
      }
   },
   "mappings" : {
      "values" : {
         "properties" : {
            "itemid" : {
               "type" : "long"
            },
            "clock" : {
               "format" : "epoch_second",
               "type" : "date"
            },
            "value" : {
               "fields" : {
                  "analyzed" : {
                     "index" : true,
                     "type" : "text",
                     "analyzer" : "standard"
                  }
               },
               "index" : false,
               "type" : "text"
            }
         }
      }
   }
}'

Этот шаг необходим, чтобы позволить Elasticsearch задавать корректные сопоставления для индексов, которые создаются автоматически. Затем это требуется для создания определения конвейера. Конвейером является своего рода предварительная обработка данных перед тем как поместить их в индексы. Можно использовать следующую команду, чтобы создать конвейер для uint индекса:

curl -X PUT \
 http://your-elasticsearch.here:9200/_ingest/pipeline/uint-pipeline \
 -H 'content-type:application/json' \
 -d '{
  "description": "daily uint index naming",
  "processors": [
    {
      "date_index_name": {
        "field": "clock",
        "date_formats": ["UNIX"],
        "index_name_prefix": "uint-",
        "date_rounding": "d"
      }
    }
  ]
}'

Пользователь может изменить параметр округления (“date_rounding”), чтобы задать спефицичный период ротации индекса. Для создания остальных конвейером пользователю необходимо изменить URL (последняя часть имени конвейера) и изменить поле “index_name_prefix”, чтобы оно соответствовало имени индекса.

Смотрите также Elasticsearch документацию [en].

Кроме того, запись данных истории в несколько индексов на основе даты необходимо также включить в новом параметре в конфигурации Zabbix сервера:

### Option: HistoryStorageDateIndex
#	Enable preprocessing of history values in history storage to store values in different indices based on date.
#	0 - disable
#	1 - enable
#
# Mandatory: no
# Default:
# HistoryStorageDateIndex=0

Следующие шаги могут помочь вам в решении проблем с установкой Elasticsearch:

1. Проверьте, что сопоставления корректны (требуется запрос GET к URL индекса, примерно такой: http://localhost:9200/uint).
2. Проверьте, что шарды не находятся в состоянии ошибки (должен помочь перезапуск Elasticsearch).
3. Проверьте конфигурацию Elasticsearch. Конфигурация должна разрешать доступ с хоста Zabbix веб-интерфейса и хоста Zabbix сервера.
4. Проверьте журналы Elasticsearch.

Если у вас по-прежнему возникают проблемы с вашей инсталляцией, пожалуйста, создайте отчет об ошибке со всем информацией из этого списка (сопоставления, журналы ошибок, настройка, версия и так далее)