Zabbix перестал слать сообщения в Slack

[kostya_h]

Здравствуйте.
Zabbix перестал слать сообщения в группу в Slack.
При том, что никакие изменения не вносились на Zabbix.
В чем может быть причина? Пробовал рестартить сервис Zabbix. Не помогло.

[allexpetrov]

Добрый день,

Просто так редко что случается Что пишет лог файл? Что в Action log?

С уважением,
Алексей!

[kostya_h]

Здравствуйте.

Action log совсем пуст.

A в логе сервера пиет вот такое: (все айпи адреса и хостнеймы я убрал, чтобы не светить)
host [some hostname] not found
2213:20171116:114526.246 cannot send list of active checks to "some ip address": host [some hostname ] not found
2216:20171116:114540.970 cannot send list of active checks to "some ip address": host [some hostname] not found

и так со всеми хостами и айпихами.

[Kos]

host [some hostname] not found

Тут смотрели?

[kostya_h]

Спасибо, посомтрел, но у нас немного другая ситуация. Вся эта штука работала до 13-го ноября, а потом резко перестала. Хостнеймы все в нижнем регистре и точно совпадают (иначе не работало бы изначально). А тут вдруг резко перестала, при том, что новые хостнеймы никто не добавллял (у нас просто нет уже свободных айпи для этого), ну и старые тоже никто не правил. Только на гугл клауд днс добавлялась одна новая запись для нового тестового сервака, и то тоже в нижнем регистре. Но, в заббикс его никто не вносил, так как новый сервак еще в стадии тестиования и мониторить его нет смысла. Так что подозреваю, что причина в другом. Но, хз где. Хосты пингуются. Проверил таблицу хостов в постгресе. Там они тоже есть. Но заббикс их не может отрезолвить и в логе куча ошибок и нифига не отсылает в Слак. Добавить их в хостс?

[karik-himik]

Их именно заббикс не может отрезолвить ?
А nslookup ?
Просто сам заббикс ничего не резолвит - этим занимается ОС.
Хосты опрашиваются по DNS-имени или по IP ?

[kostya_h]

nslookup резолвит нормально.

[root@zabbix ~]# nslookup doc.*****.com
Server: **.***.***.***
Address: **.**.***.***#53

в заббиксе для каждого хоста указан и днснейм и айпи. но отвечая на ваш вопрос более конкретно - по хостнейму.

[karik-himik]

Давайте по порядку.
Заббикс перестал отправлять сообщения в Slack.
Как это у Вас реализовано ? Скриптом ?
Если вручную запустить скрипт с параметрами, отправляет ?
В скрипте есть возможность добавить логирование, например, входящих параметров от заббикса и посмотреть, что скрипт получает на вход ?
Ну и, соответсвенно, что отдаёт на выходе ?


Тот хост, который "host [some hostname ] not found" - это что за хост ? Slack ?

[kostya_h]

ок. попытаюсь попорядку.
zabbix перестал резолвить все хотсы, как я вижу по логам. (но при этом мониторинг работает и в дашборкде забикса видны ивенты, скажем, если выключить сервак (включить блокировку доступа к нему по фаерволу), то он напишет еррор)
slack у нас реализован так.
zabbix -> media types -> Script (где прописаны параметры: script name: zbx-notify, {ALERT.SENDTO}, {ALERT.SUBJECT}, {ALERT.MESSAGE}, токен, --slack.)
Есть ли возможность доьавить в скрипт что-то не знаю, я вижу лишь его в вебморде заббикса. И не я его писал, а админ, который свалил две недели назад и сказал ему не звонить.) Но, там есть кнопк add. подозреваю, что добавить что-то можно. Знать бы что.

[karik-himik]

Ну если скрипт писали не Вы, то кнопка Add не поможет - она просто добавляет параметры в скрипт, а их Вы не узнаете, пока не увидите сам скрипт.

Если мониторинг работает, значит нормально всё резолвится (ну, конечно если у Вас опрос идёт по DNS) и записи в логе, скорее всего, не относятся к проблеме с отправкой в Slack и это уже совсем другая проблема.

У Вас точно не было изменений в Действиях или Способах оповещений ?
Что-то же изменилось 13-го ноября.
И почему-то Action лог совсем пуст. Там должны были остаться хоть какие-то записи за тот период, когда всё работало. Да и когда перестало работать, тоже должны быть записи.
Похоже, что у вас само "Действие" даже не пытается вызвать скрипт для отправки сообщения.
Может изменились важности триггеров и они не попадают под условие Действия ?
Гадать можно долго. Вам нужно узнать, что было 13-го ноября.
Что-то точно изменилось.

В Мониторинг-Проблемы, у триггеров, по которым должны отправляться сообщения, что в колонке "Действия" ?

[kostya_h]

скрипт есть на сервере в папке. могу выложить содержимое, если это как-то поможет.
Подозреваю, что провейдер мог что-то поменять. Они вечно делают меинтенанс, и порты то открывают, то закрывают не уведомив нас, а когда им звонишь и спрашиваешь, то, говорят, что они ничего не делали.)

[kostya_h]

Проверил экшн лог еще раз.
Применил All и отобразилась кое-какая информация.

http://rgho.st/6dFxYLF2Z

как я вижу ивенты как бы отправляются, но до слака они как бы не доходят.
Я проверел урл вебхуки в скрипте (ввел ее в браузере) и получил ответ No active hooks на https://hooks.slack.com/services/и так далее по тексту.
Может в этом причина?

[karik-himik]

Ну вот, всё правильно. В этом и причина.
Заббикс нормально отрабатывает правила оповещения.
Разберитесь сначала, почему у вас https://hooks.slack.com/services/ не доступен.

[kostya_h]

пофиксилось пересозданием вебхуки.)
Но странно и не понтяно, куда делась старая.
Подозреваю, что она могла грохнуться вместе с аккаунтом юзера в заббиксе или слаке, который ее создавал.
Хотя, по идее, она должна бы привязываться к проекту слака (т.е. каналу), а никак не к юзеру, который ее создал.
В общем, что произошло со старой вебхукоой, видимо, останется загадкой.