7 Elasticsearch iestatīšana

Zabbix atbalsta vēsturisko datu glabāšanu, izmantojot Elasticsearch datubāzes vietā. Lietotāji var izvēlēties vēsturisko datu glabāšanas vietu starp saderīgu datubāzi un Elasticsearch. Šajā sadaļā aprakstītā iestatīšanas procedūra ir piemērojama Elasticsearch 7.X versijai. Ja tiek izmantota agrāka vai jaunāka Elasticsearch versija, dažas funkcijas var nedarboties, kā paredzēts.

Konfigurācija

Lai nodrošinātu pareizu saziņu starp visiem iesaistītajiem elementiem, pārliecinieties, ka servera konfigurācijas faila un lietotāja saskarnes konfigurācijas faila parametri ir pareizi konfigurēti.

Zabbix serveris un lietotāja saskarne

Zabbix servera konfigurācijas faila melnraksts ar atjaunināmiem parametriem:

### Option: HistoryStorageURL
# Vēstures krātuves HTTP(S) URL.
#
# Mandatory: no
# Default:
# HistoryStorageURL= 
### Option: HistoryStorageTypes
# Ar komatiem atdalīts vērtību tipu saraksts, kas jānosūta uz vēstures krātuvi.
#
# Mandatory: no
# Default:
# HistoryStorageTypes=uint,dbl,str,log,text

Parametru vērtību piemērs, kas jāievieto Zabbix servera konfigurācijas failā:

HistoryStorageURL=http://test.elasticsearch.lan:9200
HistoryStorageTypes=str,log,text

Šī konfigurācija liek Zabbix serverim glabāt skaitlisko tipu vēstures vērtības atbilstošajā datubāzē, bet teksta vēstures datus - Elasticsearch.

Elasticsearch atbalsta šādus vienumu tipus:

uint,dbl,str,log,text

Atbalstīto vienumu tipu skaidrojums:

Zabbix lietotāja saskarnes konfigurācijas faila (conf/zabbix.conf.php) melnraksts ar atjaunināmiem parametriem:

// Elasticsearch URL (var būt virkne, ja visiem tipiem tiek izmantots viens un tas pats URL).
$HISTORY['url']   = [
      'uint' => 'http://localhost:9200',
      'text' => 'http://localhost:9200'
];
// Elasticsearch glabātie vērtību tipi.
$HISTORY['types'] = ['uint', 'text'];

Parametru vērtību piemērs, kas jāievieto Zabbix lietotāja saskarnes konfigurācijas failā:

$HISTORY['url']   = 'http://test.elasticsearch.lan:9200';
$HISTORY['types'] = ['str', 'text', 'log'];

Šī konfigurācija liek Elasticsearch glabāt Text, Character un Log vēstures vērtības.

Lai nodrošinātu pareizu darbību, conf/zabbix.conf.php failā $HISTORY ir jāpadara globāls (informāciju par to, kā to izdarīt, skatiet conf/zabbix.conf.php.example):

// Zabbix GUI konfigurācijas fails.
global $DB, $HISTORY;

Elasticsearch instalēšana un mapping izveide

Pēdējie divi soļi, lai viss darbotos, ir Elasticsearch instalēšana un mapping procesa izveide.

Lai instalētu Elasticsearch, lūdzu, skatiet Elasticsearch instalēšanas rokasgrāmatu.

Lai izveidotu text tipa mapping, nosūtiet šādu pieprasījumu uz Elasticsearch:

curl -X PUT \
 http://your-elasticsearch.here:9200/text \
 -H 'content-type:application/json' \
 -d '{
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "fields": {
               "analyzed": {
                  "index": true,
                  "type": "text",
                  "analyzer": "standard"
               }
            },
            "index": false,
            "type": "text"
         }
      }
   }
}'

Līdzīgs pieprasījums ir jāizpilda arī Character un Log vēstures vērtību mapping izveidei, attiecīgi koriģējot tipu.

Vēstures datu glabāšana vairākos uz datumu balstītos indeksos

Šajā sadaļā ir aprakstītas papildu darbības, kas nepieciešamas darbam ar cauruļvadiem un ingest mezgliem.

Vispirms ir jāizveido indeksu veidnes.

Tālāk redzamajā piemērā ir parādīts pieprasījums uint veidnes izveidei:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/uint_template \
 -H 'content-type:application/json' \
 -d '{
   "index_patterns": [
      "uint*"
   ],
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "type": "long"
         }
      }
   }
}'

Lai izveidotu citas veidnes, lietotājam jāmaina URL (pēdējā daļa ir veidnes nosaukums), jāmaina lauks "index_patterns", lai tas atbilstu indeksa nosaukumam, un jāiestata derīgs kartējums, ko var ņemt no database/elasticsearch/elasticsearch.map.

Piemēram, šādu komandu var izmantot, lai izveidotu veidni teksta indeksam:

curl -X PUT \
 http://your-elasticsearch.here:9200/_template/text_template \
 -H 'content-type:application/json' \
 -d '{
   "index_patterns": [
      "text*"
   ],
   "settings": {
      "index": {
         "number_of_replicas": 1,
         "number_of_shards": 5
      }
   },
   "mappings": {
      "properties": {
         "itemid": {
            "type": "long"
         },
         "clock": {
            "format": "epoch_second",
            "type": "date"
         },
         "value": {
            "fields": {
               "analyzed": {
                  "index": true,
                  "type": "text",
                  "analyzer": "standard"
               }
            },
            "index": false,
            "type": "text"
         }
      }
   }
}'

Tas ir nepieciešams, lai Elasticsearch varētu iestatīt derīgu kartējumu automātiski izveidotiem indeksiem. Pēc tam ir jāizveido cauruļvada definīcija. Cauruļvads ir sava veida datu pirmapstrāde pirms datu ievietošanas indeksos. Tālāk redzamo komandu var izmantot, lai izveidotu cauruļvadu uint indeksam:

curl -X PUT \
 http://your-elasticsearch.here:9200/_ingest/pipeline/uint-pipeline \
 -H 'content-type:application/json' \
 -d '{
   "description": "daily uint index naming",
   "processors": [
      {
         "date_index_name": {
            "field": "clock",
            "date_formats": [
               "UNIX"
            ],
            "index_name_prefix": "uint-",
            "date_rounding": "d"
         }
      }
   ]
}'

Lietotājs var mainīt noapaļošanas parametru ("date_rounding"), lai iestatītu noteiktu indeksa rotācijas periodu. Lai izveidotu citus cauruļvadus, lietotājam jāmaina URL (pēdējā daļa ir cauruļvada nosaukums) un jāmaina lauks "index_name_prefix", lai tas atbilstu indeksa nosaukumam.

Skatiet arī Elasticsearch dokumentāciju.

Papildus tam vēstures datu glabāšana vairākos uz datumu balstītos indeksos ir jāiespējo arī jaunā parametrā Zabbix servera konfigurācijā:

### Option: HistoryStorageDateIndex
# Enable preprocessing of history values in history storage to store values in different indices based on date.
# 0 - disable
# 1 - enable
#
# Mandatory: no
# Default:
# HistoryStorageDateIndex=0

Problēmu novēršana

Tālāk norādītās darbības var palīdzēt novērst problēmas ar Elasticsearch iestatīšanu:

1. Pārbaudiet, vai kartējums ir pareizs (GET pieprasījums uz nepieciešamo indeksa URL, piemēram, http://localhost:9200/uint).
2. Pārbaudiet, vai shardi nav kļūmes stāvoklī (Elasticsearch restartēšana var palīdzēt).
3. Pārbaudiet Elasticsearch konfigurāciju. Konfigurācijai jāatļauj piekļuve no Zabbix lietotāja saskarnes hosta un Zabbix servera hosta.
4. Pārbaudiet Elasticsearch žurnālus.
5. LogSlowQueries var izmantot, lai pārbaudītu lēnos vaicājumus Elasticsearch datubāzē.

Ja joprojām rodas problēmas ar jūsu instalāciju, lūdzu, izveidojiet kļūdas ziņojumu, iekļaujot visu šajā sarakstā norādīto informāciju (kartējums, kļūdu žurnāli, konfigurācija, versija utt.)