API - медленная работа метода history.get

[ilia_abr]

Коллеги, добрый день!

Есть следующая задача. Необходимо через API Zabbix получить историю работы программ с хостов за последние 24 часа.

Пишу скрипт на Python.
Для этого сначала выполняю метод host.get со следующими параметрами

{"output": ['host'],
"selectInterfaces": ["ip"],
"preservekeys": "true"}

Получаю 8386 хостов за 3.2 секунды

Далее создаю список hosts_ids с id хостов и передаю его в метод item.get чтобы получить все элементы данных для всех хостов с параметрами

{"hostids": hosts_ids,
"output": ['itemid', 'name'],
"sortfield": "name",
"selectHosts": "name",
"preservekeys": "true",
"search": { "key_": "MainKey3" }

Получаю 126255 элементов данных за 41.4 секунды

Далее создаю список items_ids с id элементов данных и передаю его в метод history.get чтобы получить всю историю для всех элементов данных за 24 часа с параметрами

{"itemids": items_ids,
"time_from": time_from,
"time_till": time_till,
"output": ["itemid"]}

На этом этапе скрипт виснет и возвращает

504 Server Error: Gateway Time-out for url: http://0.0.0.0/api_jsonrpc.php

даже для лимита хостов limit=75

Возможно что-то делаю не так или есть другие пути?

[Alex_UUU]

Хм, интересная задача. Если не секрет зачем?
Сразу скажу, что последнее значение вытаскивается из итеммгет.
Что сейчас у тебя получается:
1. 8386 хостов
2. 126255 итемов
3. миллионы значений.
Кстати, второй пункт можно совместить с третьим (поиск по ключу) И первый не нужен, т.к. дубль. Но все равно упираемся в количество.
Либо напрямую через БД, либо третий пункт выполняй в цикле по первому (второй совмести с третьим)

[ilia_abr]

Хм, интересная задача. Если не секрет зачем?
Сразу скажу, что последнее значение вытаскивается из итеммгет.
Что сейчас у тебя получается:
1. 8386 хостов
2. 126255 итемов
3. миллионы значений.
Кстати, второй пункт можно совместить с третьим (поиск по ключу) И первый не нужен, т.к. дубль. Но все равно упираемся в количество.
Либо напрямую через БД, либо третий пункт выполняй в цикле по первому (второй совмести с третьим)

Данные необходимо агрегировать и отображать на другой платформе.
Напрямую через БД запросы также отваливаются по таймауту.

либо третий пункт выполняй в цикле по первому (второй совмести с третьим)

Можно поподробнее про этот способ?

[Alex_UUU]

Можно поподробнее про этот способ?

Т.к. ты получил 126000 ItemID
то делаешь цикл
и получаешь значения для каждого ID

foreach $each @items_ids
{"itemids": $each, "time_from": time_from, "time_till": time_till, "output": ["itemid"]}

[ilia_abr]

Т.к. ты получил 126000 ItemID
то делаешь цикл
и получаешь значения для каждого ID

foreach $each @items_ids
{"itemids": $each, "time_from": time_from, "time_till": time_till, "output": ["itemid"]}

Спасибо, через цикл выполнил запрос истории для каждого элемента данных и далее парсил данные.
Для 635 хостов время составило 29 минут.
Получилось 416468 элементов history и 15491 элементов items.
Получается для 8386 хостов время выполнения будет значительно дольше.

[balduser]

По моим наблюдениям, когда запрашиваешь последнее значение элемента данных, оно может вернуться, а может и не вернуться в ответе от item.get. Кажется, у disabled хоста в ответе lastvalue будет пустое. Поэтому, когда мне нужно получить последнее значение элемента данных по многим хостам, я сперва делаю

"jsonrpc": "2.0",
    "method": "item.get",
    "params": {
        "hostids": [XXX, ..., NNN],
        "filter": {
            "name":"Item name"
        }
    },
    "id": 123456,
    "auth": "{{token}}"

, а потом, если у каких-то массивов в ответе значение lastvalue пустое, прохожусь по ним циклом и запрашиваю

"jsonrpc": "2.0",
    "method": "history.get",
    "params": {
        "itemids":[9844693],
        "history":1,
        "sortfield":"clock",
        "sortorder": "DESC",
        "limit":1
    },
    "id": 123,
    "auth": "{{token}}"​

. Самый вредный параметр здесь - это history, его надо проверять, для чисел и некоторых текстовых он другой.

[Alex_UUU]

Если мне нужны только последние значения элементов данных, то я все делаю через Item.get и сразу оттуда беру.
Но есть ограничение. Если размер возвращаемого больше (сколько то там), АПИ возвращает ошибку :-( К сожалению в АПИ нет параметров получить данные от и до.