8 Elasticsearch iestatīšana

Zabbix atbalsta vēsturisko datu glabāšanu, izmantojot Elasticsearch, nevis datubāzi. Lietotāji var izvēlēties vēsturisko datu glabāšanas vietu starp saderīgu datubāzi un Elasticsearch. Šajā sadaļā aprakstītā iestatīšanas procedūra ir piemērojama Elasticsearch 7.X versijai. Ja tiek izmantota agrāka vai jaunāka Elasticsearch versija, dažas funkcijas var nedarboties, kā paredzēts.

Konfigurācija

Lai nodrošinātu pareizu saziņu starp visiem iesaistītajiem elementiem, pārliecinieties, ka servera konfigurācijas faila un lietotāja saskarnes konfigurācijas faila parametri ir pareizi konfigurēti.

Zabbix serveris un lietotāja saskarne

Zabbix servera konfigurācijas faila projekts ar atjaunināmiem parametriem:

### Option: HistoryStorageURL
# Vēstures krātuves HTTP(S) URL.
#
# Mandatory: no
# Default:
# HistoryStorageURL= 
### Option: HistoryStorageTypes
# Ar komatiem atdalīts vērtību tipu saraksts, kas jānosūta uz vēstures krātuvi.
#
# Mandatory: no
# Default:
# HistoryStorageTypes=uint,dbl,str,log,text

Parametru vērtību piemērs, ar ko aizpildīt Zabbix servera konfigurācijas failu:

HistoryStorageURL=http://test.elasticsearch.lan:9200
HistoryStorageTypes=str,log,text

Šī konfigurācija liek Zabbix serverim saglabāt skaitlisko tipu vērtību vēsturi atbilstošajā datubāzē, bet teksta vēstures datus - Elasticsearch.

Elasticsearch atbalsta šādus vienumu tipus:

uint,dbl,str,log,text

Atbalstīto vienumu tipu skaidrojums:

Zabbix lietotāja saskarnes konfigurācijas faila (conf/zabbix.conf.php) projekts ar atjaunināmiem parametriem:

// Elasticsearch URL (var būt virkne, ja visiem tipiem tiek izmantots viens un tas pats URL).
$HISTORY['url']   = [
      'uint' => 'http://localhost:9200',
      'text' => 'http://localhost:9200'
];
// Elasticsearch saglabāto vērtību tipi.
$HISTORY['types'] = ['uint', 'text'];

Parametru vērtību piemērs, ar ko aizpildīt Zabbix lietotāja saskarnes konfigurācijas failu:

$HISTORY['url']   = 'http://test.elasticsearch.lan:9200';
$HISTORY['types'] = ['str', 'text', 'log'];

Šī konfigurācija liek Elasticsearch saglabāt Text, Character un Log vēstures vērtības.

Lai nodrošinātu pareizu darbību, conf/zabbix.conf.php failā $HISTORY ir jāpadara globāls (kā to izdarīt, skatiet conf/zabbix.conf.php.example):

// Zabbix GUI konfigurācijas fails.
global $DB, $HISTORY;

Elasticsearch instalēšana un mapping izveide

Pēdējie divi soļi, lai viss darbotos, ir Elasticsearch instalēšana un mapping procesa izveide.

Lai instalētu Elasticsearch, skatiet Elasticsearch instalēšanas rokasgrāmatu.

Lai izveidotu text tipa mapping, nosūtiet uz Elasticsearch šādu pieprasījumu:

curl -X PUT \
 http://your-elasticsearch.here:9200/text \
 -H 'content-type:application/json' \
 -d '{
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "fields": {
               "analyzed": {
                  "index": true,
                  "type": "text",
                  "analyzer": "standard"
               }
            },
            "index": false,
            "type": "text"
         }
      }
   }
}'

Līdzīgs pieprasījums ir jāizpilda arī Character un Log vēstures vērtību mapping izveidei, attiecīgi koriģējot tipu.

Vēstures datu glabāšana vairākos uz datumu balstītos indeksos

Šajā sadaļā ir aprakstītas papildu darbības, kas nepieciešamas darbam ar cauruļvadiem un ingest mezgliem.

Vispirms ir jāizveido indeksu veidnes.

Tālāk redzamajā piemērā ir parādīts pieprasījums uint veidnes izveidei:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/uint_template \
 -H 'content-type:application/json' \
 -d '{
   "index_patterns": [
      "uint*"
   ],
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "type": "long"
         }
      }
   }
}'

Lai izveidotu citas veidnes, lietotājam jāmaina URL (pēdējā daļa ir veidnes nosaukums), jāmaina lauks "index_patterns", lai tas atbilstu indeksa nosaukumam, un jāiestata derīgs kartējums, ko var ņemt no database/elasticsearch/elasticsearch.map.

Piemēram, šādu komandu var izmantot, lai izveidotu veidni teksta indeksam:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/text_template \
 -H 'content-type:application/json' \
 -d '{
   "index_patterns": [
      "text*"
   ],
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "fields": {
               "analyzed": {
                  "index": true,
                  "type": "text",
                  "analyzer": "standard"
               }
            },
            "index": false,
            "type": "text"
         }
      }
   }
}'

Tas ir nepieciešams, lai Elasticsearch varētu iestatīt derīgu kartējumu indeksiem, kas tiek izveidoti automātiski. Pēc tam ir jāizveido cauruļvada definīcija. Cauruļvads ir sava veida datu pirmapstrāde pirms datu ievietošanas indeksos. Tālāk redzamo komandu var izmantot, lai izveidotu cauruļvadu uint indeksam:

curl -X PUT \
 http://your-elasticsearch.here:9200/_ingest/pipeline/uint-pipeline \
 -H 'content-type:application/json' \
 -d '{
   "description": "daily uint index naming",
   "processors": [
      {
         "date_index_name": {
            "field": "clock",
            "date_formats": [
               "UNIX"
            ],
            "index_name_prefix": "uint-",
            "date_rounding": "d"
         }
      }
   ]
}'

Lietotājs var mainīt noapaļošanas parametru ("date_rounding"), lai iestatītu noteiktu indeksa rotācijas periodu. Lai izveidotu citus cauruļvadus, lietotājam jāmaina URL (pēdējā daļa ir cauruļvada nosaukums) un jāmaina lauks "index_name_prefix", lai tas atbilstu indeksa nosaukumam.

Skatiet arī Elasticsearch dokumentāciju.

Papildus tam vēstures datu glabāšana vairākos uz datumu balstītos indeksos ir jāiespējo arī jaunā parametrā Zabbix servera konfigurācijā:

### Option: HistoryStorageDateIndex
# Enable preprocessing of history values in history storage to store values in different indices based on date.
# 0 - disable
# 1 - enable
#
# Mandatory: no
# Default:
# HistoryStorageDateIndex=0

Problēmu novēršana

Tālāk norādītās darbības var palīdzēt novērst problēmas ar Elasticsearch iestatīšanu:

1. Pārbaudiet, vai kartējums ir pareizs (GET pieprasījums uz nepieciešamo indeksa URL, piemēram, http://localhost:9200/uint).
2. Pārbaudiet, vai shardi nav kļūmes stāvoklī (Elasticsearch restartēšana var palīdzēt).
3. Pārbaudiet Elasticsearch konfigurāciju. Konfigurācijai jāatļauj piekļuve no Zabbix lietotāja saskarnes resursdatora un Zabbix servera resursdatora.
4. Pārbaudiet Elasticsearch žurnālus.
5. LogSlowQueries var izmantot, lai pārbaudītu lēnos vaicājumus Elasticsearch datubāzē.

Ja joprojām rodas problēmas ar jūsu instalāciju, lūdzu, izveidojiet kļūdas ziņojumu, iekļaujot visu šajā sarakstā norādīto informāciju (kartējums, kļūdu žurnāli, konfigurācija, versija utt.)