Ad Widget

Collapse

Zabbix trapper processes more than 75% busy

Collapse
X
 
  • Time
  • Show
Clear All
new posts
  • aydar
    Senior Member
    • Dec 2014
    • 176

    #1

    Zabbix trapper processes more than 75% busy

    Более полугода все работал идеально
    и вот сегодня начали валится агенты

    Zabbix busy trapper processes резко поднялся с 0 до 100

    в логах агентах

    active check data upload to [192.168.ххх:10051] started to fail ([connect] cannot connect to [[192.168.хххх]:10051]: [0x0000274C] Попытка установить соединение была безуспешной, т.к. от другого компьютера за требуемое время не получен ну)
    всего трапперов=5


    в очередь не могу зайти, пишет
    Превышено время ожидания 3 секунд при подключении к Zabbix серверу "localhost".
    куда копать друзья?
    закончилось место что-ли?

    после перегрузки сервера стало полегче, но все равно не все агенты ожили


    Zabbix сервер запущен Да localhost:10051
    Количество узлов сети (под наблюдением/без наблюдения/шаблоны) 116 71 / 1 / 44
    Количество элементов данных (активных/деактивированых/не поддерживаются) 2114 1281 / 781 / 52
    Количество триггеров (активированных/деактивированных) [проблема/ок] 965 859 / 106 [5 / 854]
    Количество пользователей (в сети) 12 4
    Требуемое быстродействие сервера, новые значения в секунду 6.71 -

    зы перегрузили один из подвисших серверов, все вроде нормализовалось, выясняю причину....
    такое ощущение, что зависший сервер, положил заббикс сервер, каким-то запросами, как проверить?
    Last edited by aydar; 29-06-2015, 16:40.
  • aydar
    Senior Member
    • Dec 2014
    • 176

    #2
    Сегодня произошла такая же ситуация, перестал отвечать агент с одного из серверов, траппер поднялся до 100% и все агенты начали отваливаться


    Подскажите в какую сторону смотреть? мониторить трафик с сервера с агентом?

    Comment

    • cancer_zern
      Member
      • Apr 2015
      • 36

      #3
      Такая же проблема произошла.

      Только у меня проблема произошла с машиной, на которой агент работал в активном режиме.
      Перезагрузил службу и нагрузка на сервер сразу упала. Но потом вернулась.
      Перезагрузил машину, нагрузка опять спала и не поднимается.
      Жду...


      Три минуты проходит и снова нагрузка.
      1. Отключил этот сервер на Zabbix Server.
      2. Отключил службу zabbix-agent на клиенте.

      Перезагружаю клиентскую машину, 3 минуты и нагрузка опять.
      Снес Avast, смотрю, что будет.
      Снос антивируса не помог). Сканировать буду значит на вирусы.
      Last edited by cancer_zern; 29-02-2016, 10:57.

      Comment

      • glebs.ivanovskis
        Senior Member
        • Jul 2015
        • 237

        #4
        Какая версия агентов/сервера? Мониторите логи?

        Comment

        • Firm
          Senior Member
          • Dec 2009
          • 342

          #5
          Агент не может подключиться к серверу, чтобы отослать данные. Либо у вас заняты все 5 trappers и тогда надо смотреть, почему они "висят", либо данных настолько много, что не успевают пройти до следующего момента отправки. Посмотрите в логах trapper-ов, чем они заняты.

          Comment

          • cancer_zern
            Member
            • Apr 2015
            • 36

            #6
            Originally posted by glebs.ivanovskis
            Какая версия агентов/сервера? Мониторите логи?

            Серверная часть
            Zabbix_Server 2.4
            starttrappers=50
            Версия агента
            zabbix agent [name]. Zabbix 2.4.4 (revision 52334).

            Comment

            • cancer_zern
              Member
              • Apr 2015
              • 36

              #7
              Originally posted by firm
              Агент не может подключиться к серверу, чтобы отослать данные. Либо у вас заняты все 5 trappers и тогда надо смотреть, почему они "висят", либо данных настолько много, что не успевают пройти до следующего момента отправки. Посмотрите в логах trapper-ов, чем они заняты.

              Вот очередь.
              queue of items to be updated

              items 5 seconds 10 seconds 30 seconds 1 minute 5 minutes more than 10 minutes
              zabbix agent 0 0 0 0 0 0
              zabbix agent (active) 0 40 1 69 27 273

              А вот еще на клиентах
              1508:20160229:162000.281 active check configuration update from [65.52.xxx.xxx:10051] started to fail (zbx_tcp_read() failed: [0x0000274c] a connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.)
              1508:20160229:162100.919 active check configuration update from [65.52.xxx.xxx:10051] is working again
              1508:20160229:162911.969 active check configuration update from [65.52.xxx.xxx:10051] started to fail (zbx_tcp_read() failed: [0x0000274c] a connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.)
              1508:20160229:163018.519 active check configuration update from [65.52.xxx.xxx:10051] is working again
              1508:20160229:163826.147 active check configuration update from [65.52.xxx.xxx:10051] started to fail (zbx_tcp_read() failed: [0x0000274c] a connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.)
              1508:20160229:163927.674 active check configuration update from [65.52.xxx.xxx:10051] is working again
              1508:20160229:164739.202 active check configuration update from [65.52.xxx.xxx:10051] started to fail (zbx_tcp_read() failed: [0x0000274c] a connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.)
              Last edited by cancer_zern; 29-02-2016, 15:09.

              Comment

              • Firm
                Senior Member
                • Dec 2009
                • 342

                #8
                Навскидку сказал бы, что притормаживают на работе с базой. Что при этом show processlist (если mysql) показывает?

                Comment

                • cancer_zern
                  Member
                  • Apr 2015
                  • 36

                  #9
                  Originally posted by Firm
                  Навскидку сказал бы, что притормаживают на работе с базой. Что при этом show processlist (если mysql) показывает?
                  htop показывает что цп и память в порядке.

                  mysql> show processlist;
                  +-------+-------+-----------+--------+---------+-------+-------+------------------+
                  | Id | User | Host | db | Command | Time | State | Info |
                  +-------+-------+-----------+--------+---------+-------+-------+------------------+
                  | 48 | pavel | localhost | zabbix | Sleep | 1798 | | NULL |
                  | 49 | pavel | localhost | zabbix | Sleep | 10733 | | NULL |
                  | 50 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 51 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 52 | pavel | localhost | zabbix | Sleep | 11638 | | NULL |
                  | 53 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 54 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 55 | pavel | localhost | zabbix | Sleep | 2374 | | NULL |
                  | 56 | pavel | localhost | zabbix | Sleep | 3398 | | NULL |
                  | 57 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 58 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 59 | pavel | localhost | zabbix | Sleep | 3533 | | NULL |
                  | 60 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 61 | pavel | localhost | zabbix | Sleep | 7133 | | NULL |
                  | 62 | pavel | localhost | zabbix | Sleep | 5874 | | NULL |
                  | 63 | pavel | localhost | zabbix | Sleep | 2274 | | NULL |
                  | 64 | pavel | localhost | zabbix | Sleep | 9266 | | NULL |
                  | 65 | pavel | localhost | zabbix | Sleep | 10598 | | NULL |
                  | 66 | pavel | localhost | zabbix | Sleep | 2272 | | NULL |
                  | 67 | pavel | localhost | zabbix | Sleep | 5397 | | NULL |
                  | 68 | pavel | localhost | zabbix | Sleep | 9474 | | NULL |
                  | 69 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 71 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 72 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 73 | pavel | localhost | zabbix | Sleep | 2066 | | NULL |
                  | 74 | pavel | localhost | zabbix | Sleep | 2372 | | NULL |
                  | 75 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 76 | pavel | localhost | zabbix | Sleep | 5972 | | NULL |
                  | 77 | pavel | localhost | zabbix | Sleep | 1799 | | NULL |
                  | 78 | pavel | localhost | zabbix | Sleep | 8998 | | NULL |
                  | 79 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 80 | pavel | localhost | zabbix | Sleep | 5872 | | NULL |
                  | 81 | pavel | localhost | zabbix | Sleep | 11030 | | NULL |
                  | 82 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 83 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 84 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 85 | pavel | localhost | zabbix | Sleep | 7000 | | NULL |
                  | 86 | pavel | localhost | zabbix | Sleep | 6998 | | NULL |
                  | 87 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 88 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 89 | pavel | localhost | zabbix | Sleep | 5399 | | NULL |
                  | 90 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 91 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 92 | pavel | localhost | zabbix | Sleep | 473 | | NULL |
                  | 93 | pavel | localhost | zabbix | Sleep | 9574 | | NULL |
                  | 94 | pavel | localhost | zabbix | Sleep | 8999 | | NULL |
                  | 95 | pavel | localhost | zabbix | Sleep | 124 | | NULL |
                  | 96 | pavel | localhost | zabbix | Sleep | 225 | | NULL |
                  | 97 | pavel | localhost | zabbix | Sleep | 196 | | NULL |
                  | 98 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 99 | pavel | localhost | zabbix | Sleep | 376 | | NULL |
                  | 100 | pavel | localhost | zabbix | Sleep | 161 | | NULL |
                  | 101 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 102 | pavel | localhost | zabbix | Sleep | 2064 | | NULL |
                  | 103 | pavel | localhost | zabbix | Sleep | 217 | | NULL |
                  | 104 | pavel | localhost | zabbix | Sleep | 11015 | | NULL |
                  | 105 | pavel | localhost | zabbix | Sleep | 11395 | | NULL |
                  | 106 | pavel | localhost | zabbix | Sleep | 11828 | | NULL |
                  | 107 | pavel | localhost | zabbix | Sleep | 3950 | | NULL |
                  | 108 | pavel | localhost | zabbix | Sleep | 193 | | NULL |
                  | 109 | pavel | localhost | zabbix | Sleep | 75 | | NULL |
                  | 110 | pavel | localhost | zabbix | Sleep | 343 | | NULL |
                  | 111 | pavel | localhost | zabbix | Sleep | 228 | | NULL |
                  | 112 | pavel | localhost | zabbix | Sleep | 6714 | | NULL |
                  | 113 | pavel | localhost | zabbix | Sleep | 133 | | NULL |
                  | 114 | pavel | localhost | zabbix | Sleep | 113 | | NULL |
                  | 115 | pavel | localhost | zabbix | Sleep | 22 | | NULL |
                  | 116 | pavel | localhost | zabbix | Sleep | 338 | | NULL |
                  | 117 | pavel | localhost | zabbix | Sleep | 187 | | NULL |
                  | 118 | pavel | localhost | zabbix | Sleep | 537 | | NULL |
                  | 119 | pavel | localhost | zabbix | Sleep | 493 | | NULL |
                  | 120 | pavel | localhost | zabbix | Sleep | 426 | | NULL |
                  | 121 | pavel | localhost | zabbix | Sleep | 107 | | NULL |
                  | 122 | pavel | localhost | zabbix | Sleep | 948 | | NULL |
                  | 123 | pavel | localhost | zabbix | Sleep | 576 | | NULL |
                  | 124 | pavel | localhost | zabbix | Sleep | 250 | | NULL |
                  | 125 | pavel | localhost | zabbix | Sleep | 402 | | NULL |
                  | 126 | pavel | localhost | zabbix | Sleep | 455 | | NULL |
                  | 127 | pavel | localhost | zabbix | Sleep | 285 | | NULL |
                  | 128 | pavel | localhost | zabbix | Sleep | 108 | | NULL |
                  | 129 | pavel | localhost | zabbix | Sleep | 16 | | NULL |
                  | 130 | pavel | localhost | zabbix | Sleep | 313 | | NULL |
                  | 131 | pavel | localhost | zabbix | Sleep | 2294 | | NULL |
                  | 132 | pavel | localhost | zabbix | Sleep | 18 | | NULL |
                  | 133 | pavel | localhost | zabbix | Sleep | 811 | | NULL |
                  | 134 | pavel | localhost | zabbix | Sleep | 10 | | NULL |
                  | 135 | pavel | localhost | zabbix | Sleep | 140 | | NULL |
                  | 136 | pavel | localhost | zabbix | Sleep | 353 | | NULL |
                  | 137 | pavel | localhost | zabbix | Sleep | 229 | | NULL |
                  | 138 | pavel | localhost | zabbix | Sleep | 42 | | NULL |
                  | 139 | pavel | localhost | zabbix | Sleep | 402 | | NULL |
                  | 140 | pavel | localhost | zabbix | Sleep | 253 | | NULL |
                  | 141 | pavel | localhost | zabbix | Sleep | 613 | | NULL |
                  | 142 | pavel | localhost | zabbix | Sleep | 13 | | NULL |
                  | 143 | pavel | localhost | zabbix | Sleep | 148 | | NULL |
                  | 144 | pavel | localhost | zabbix | Sleep | 9 | | NULL |
                  | 145 | pavel | localhost | zabbix | Sleep | 267 | | NULL |
                  | 146 | pavel | localhost | zabbix | Sleep | 348 | | NULL |
                  | 147 | pavel | localhost | zabbix | Sleep | 256 | | NULL |
                  | 148 | pavel | localhost | zabbix | Sleep | 358 | | NULL |
                  | 149 | pavel | localhost | zabbix | Sleep | 585 | | NULL |
                  | 150 | pavel | localhost | zabbix | Sleep | 4 | | NULL |
                  | 151 | pavel | localhost | zabbix | Sleep | 4 | | NULL |
                  | 152 | pavel | localhost | zabbix | Sleep | 26 | | NULL |
                  | 153 | pavel | localhost | zabbix | Sleep | 3 | | NULL |
                  | 154 | pavel | localhost | zabbix | Sleep | 2 | | NULL |
                  | 155 | pavel | localhost | zabbix | Sleep | 7 | | NULL |
                  | 156 | pavel | localhost | zabbix | Sleep | 6 | | NULL |
                  | 157 | pavel | localhost | zabbix | Sleep | 2 | | NULL |
                  | 158 | pavel | localhost | zabbix | Sleep | 6 | | NULL |
                  | 159 | pavel | localhost | zabbix | Sleep | 11827 | | NULL |
                  | 160 | pavel | localhost | zabbix | Sleep | 6 | | NULL |
                  | 161 | pavel | localhost | zabbix | Sleep | 5 | | NULL |
                  | 177 | pavel | localhost | zabbix | Sleep | 16 | | NULL |
                  | 13497 | root | localhost | NULL | Query | 0 | NULL | show processlist |
                  +-------+-------+-----------+--------+---------+-------+-------+------------------+
                  115 rows in set (0.01 sec)

                  Comment

                  • cancer_zern
                    Member
                    • Apr 2015
                    • 36

                    #10
                    как посмотреть логи zabbix trapper ? Точнее где?

                    Comment

                    • Firm
                      Senior Member
                      • Dec 2009
                      • 342

                      #11
                      В логах сервера. Предварительно можно повысить уровень логирования для них:
                      Code:
                      zabbix_server -R log_level_increase=trapper
                      И смотреть, как быстро отрабатывает загрузка принятых данных:
                      Code:
                      8598:20160229:172201.766 trapper #4 [processed data in 0.000592 sec, waiting for connection]

                      Comment

                      • cancer_zern
                        Member
                        • Apr 2015
                        • 36

                        #12
                        Originally posted by Firm
                        В логах сервера. Предварительно можно повысить уровень логирования для них:
                        Code:
                        zabbix_server -R log_level_increase=trapper
                        И смотреть, как быстро отрабатывает загрузка принятых данных:
                        Code:
                        8598:20160229:172201.766 trapper #4 [processed data in 0.000592 sec, waiting for connection]
                        Спасибо!

                        Но, видимо, проблема оказалась немного в другом, скорее всего.
                        1508:20160229:162000.281 active check configuration update from [65.52.xxx.xxx:10051] started to fail (zbx_tcp_read() failed: [0x0000274c] a connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.)
                        Постоянно обрывается подключение от клиентов только из офиса, а из остальных мест к серверу доступ есть. Клиенты так же в активном режиме настроены.
                        Проблема скорее всего по пути от офиса до облака.
                        Завтра утром перезагружу оборудование провайдера и Proxy, так как на него накатились обновления и он не перезагружался 2 недели.

                        Comment

                        • cancer_zern
                          Member
                          • Apr 2015
                          • 36

                          #13
                          В общем. Пока что из офиса такие проблемы.
                          Видимо беда с провайдером.
                          Перенастроил все офисные серверы на работу через VPN (до Zabbix) сразу и очередь ушла и данные приходить стали.

                          Comment

                          Working...