Ad Widget

Collapse

Количество пулеров для Server+Proxy

Collapse
X
 
  • Time
  • Show
Clear All
new posts
  • gdgsoft
    Senior Member
    • Apr 2009
    • 202

    #1

    Количество пулеров для Server+Proxy

    Поделитесь как правильно сконфигурировать пулеры на Сервере и Прокси.

    Имеем конфиг:
    1) Сервер - виртуалка, (CPU 1x4, RAM 8Gb)
    2) WEB-сервер - выделенный сервер: HP 380G6 (CPU 1x4, RAM 6Gb)
    3) Сервер БД - выделенный сервер: Supermicro 6027R-TRF (CPU 2x8, RAM 64Gb, RAID10 SAS600Gb 10k кеш 1Gb)
    4) 7 прокси серверов - выделенные сервера: Supermicro 6017R-TDF (CPU 1x4, RAM 8Gb, RAID1 SAS300Gb 10k)

    И всю эту "мощу" поставил на колени Zabbix 2.2

    Суть проблемы - бешенные очереди в Admin -> Queue и, как следствие, куча активных триггеров, срабатывающих как попало.

    На сегодня активных Item-ов 391640. В очереди >10мин висит >24000

    Более-менее с этим борохлом справлялась версия 2.2.2. Но в ней был баг (если я правильно понял) с тем, что она не правильно считала количество свободной памяти в некоторых элементах и в результате мы получали периодические ее креши.

    При переходе на 2.2.3 (сервер+прокси) падает сервер Zabbix, когда как. Когда через пару дней, а когда и 2 недели мог проработать. Причем 100% падал, если Сервер и Прокси были версиии 2.2.3. Ставили Сервер 2.2.3, а Прокси 2.2.2, тогда работало более менее.

    Идей о том в чем может проблема уже нет.

    В качестве БД используем Maria DB 10, в качестве ОС на серваке сейчас Oracle Linux. До этого пробовали Ubunta Linux 9. Все тоже самое.

    Ресурсы по БД:
    CPU util ~20%
    RAM ~30%
    IO <4%

    Загрузка Zabbix-сервера:
    CPU ~50%
    RAM ~90% (скорее всего из-за ZFS)

    Загрузка WEB-сервера:
    CPU ~10%

    Трафик на интерфейсах основных серверов порядка 25Мбит (на каждом).

    Все что приходит в голову, некорректно сконфигурированы пулеры на Сервере и Проксях.
    Сейчас параметры пулеров на каждом проксике индивидуальные. Их изменение ни к чему ни приводит. Хочешь ставь 40, хочешь, ставь 80, очередь не уходит.

    На Zabbix-сервере стоит свое количество пулеров исходя из элементов, которые он сам непосредственно обрабатывает.

    Вот вопрос...
    Правильно ли выставляются пулера на основном сервере (в зависимости от количества обрабатываемых Item) или необходимо, что бы на основном сервере количество пулеров было равно сумме пуллеров на всех остальных прокси-серверах?

    Прокси-сервера работают в активном режиме, поэтому предполагалось, что всю инициацию опросов оборудования осуществляет сам прокси и основному серваку большое количество пулеров ни к чему.

    Основная масса Item это активные SNMP элементы, порядка 60%. Порядка 35% zabbix_trapper. Остальная шушара – 5%.
    Динамических Item-ов нет.

    По времени сервера засинхронизированы, вроде

    Что скажите?
    Zabbix 2.4.2
    PHP 5.4.5
    Oracle Linux 6.5
    VmWare ESXi 4

    MariaDB 10.0.15
    Oracle Linux 6.5
    Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)
  • Jimson
    Senior Member
    • Jan 2008
    • 1327

    #2
    Нет никакой взаимосвязи между пуллерами сервера и проксей, каждый сам за себя. И если пуллеры прокси еще участвуют в общении прокси-сервер, то со стороны сервера для этого общения задействуются только процессы траппер. Добавьте мониторинг внутренних счетчиков сервера и проксей, есть готовый шаблон в инсталяции, у вас появится комплексный экран на хостах где вы сможете увидеть утилизацию процессов zabbix, кэша и тп.

    P.S. Новый value cache и все что на него завязано превратилось в какой то один большой глюк. Странно это все как то.

    Comment

    • gdgsoft
      Senior Member
      • Apr 2009
      • 202

      #3
      Jimson, спасибо за ответ.
      Конечно, мы снимаем статистику с серверов и по ней, по крайней мере на основном сервере и сервере БД проблем как таковых не видим

      Вот, налепил скриншоты.

      1) Основной Zabbix сервер:
      Attached Files
      Zabbix 2.4.2
      PHP 5.4.5
      Oracle Linux 6.5
      VmWare ESXi 4

      MariaDB 10.0.15
      Oracle Linux 6.5
      Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)

      Comment

      • gdgsoft
        Senior Member
        • Apr 2009
        • 202

        #4
        2) Данные по серверу БД:
        Attached Files
        Zabbix 2.4.2
        PHP 5.4.5
        Oracle Linux 6.5
        VmWare ESXi 4

        MariaDB 10.0.15
        Oracle Linux 6.5
        Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)

        Comment

        • gdgsoft
          Senior Member
          • Apr 2009
          • 202

          #5
          3) Один из самых нагруженных прокси серверов на версии 2.2.2. Количество Итемов чуть более 150000
          Attached Files
          Zabbix 2.4.2
          PHP 5.4.5
          Oracle Linux 6.5
          VmWare ESXi 4

          MariaDB 10.0.15
          Oracle Linux 6.5
          Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)

          Comment

          • gdgsoft
            Senior Member
            • Apr 2009
            • 202

            #6
            4) Прокси сервер со средней нагрузкой. 1000 хостов и чуть более 50000 Итемов. Был на версии 2.2.3, потом перевел на 2.2.2. Видно как изменилась нагрузка на пулер.
            Скринов с cpu и ram не делал, так как там все хорошо.
            Attached Files
            Zabbix 2.4.2
            PHP 5.4.5
            Oracle Linux 6.5
            VmWare ESXi 4

            MariaDB 10.0.15
            Oracle Linux 6.5
            Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)

            Comment

            • boomer
              Junior Member
              • Jun 2011
              • 13

              #7
              а время на сервере и проксях совпадает?

              Comment

              • Jimson
                Senior Member
                • Jan 2008
                • 1327

                #8
                Кол-во сендеров на проксях я бы увеличил, а то выходит вы пулеров запустили много и их %busy близкий к нулю, а сендеры (процессы отправляющие данные на сервер) заняты 30-40% времени. Врядли от этого что то сильно поменяется, но во всяком случае это логично.

                Comment

                • gdgsoft
                  Senior Member
                  • Apr 2009
                  • 202

                  #9
                  boomer,
                  да, мы используем синхронизацию по времени между основным сервером и остальными прокси-серверами. Разница во времени до 1 сек.

                  Jimson,
                  можно подсказку о том, какие параметры в конфиге сервера отвечают за "сендеры (процессы отправляющие данные на сервер)" ?
                  Явных параметров а-ля sender там нет, а что входит не понятно
                  Zabbix 2.4.2
                  PHP 5.4.5
                  Oracle Linux 6.5
                  VmWare ESXi 4

                  MariaDB 10.0.15
                  Oracle Linux 6.5
                  Supermicro SYS-6027TRF(64Gb+RAID-10 600Gb SAS15k)

                  Comment

                  • Jimson
                    Senior Member
                    • Jan 2008
                    • 1327

                    #10
                    Originally posted by gdgsoft
                    можно подсказку о том, какие параметры в конфиге сервера отвечают за "сендеры (процессы отправляющие данные на сервер)" ?(
                    Вот засада. Судя по исходникам сендер всегда один.
                    Ок. Имеется DataSenderFrequency, увеличить его до 2-5, могут данные запаздывать на пару секунд, но по идее нагрузка упадет.
                    Еще есть в исходнике
                    Code:
                    int     CONFIG_SENDER_FREQUENCY         = 30;
                    не понятно какой опции оно соответствует и что это за 30.
                    Еще на загруженной проксе стоит покрутить параметры кэша и того сколько держать данные локально. Да и нет смысла увеличивать кол-во пуллеров до нулевого %busy, сделать их столько что бы в нормальном режиме загрузка была ~10-15%, каждый лишний процесс кроме того память отъедает еще и держит несколько соединений с базой, которые в свою очередь имеют локальные буферы.

                    Comment

                    Working...