Ad Widget

Collapse

Замирание dashboard

Collapse
X
 
  • Time
  • Show
Clear All
new posts
  • Miha
    Junior Member
    • Mar 2021
    • 9

    #1

    Замирание dashboard


    Дешборд забикса начал стабильно замирать на несколько секунд. Графики хаускипера и синкера представляют собой квадратные синусоиды с растянутыми вершинами на 100% в среднем на час и более. ПО Zabbix 5.0.7
    Железо CPU 1 Xeon 5160 3.00GHz, ОЗУ 8 Gb, 2 х HDD RAID 1.
    СУБД MariaDB 5.5.68, установка стандартная без дополнительных настроек (my.cnf пустой), размер БД 50 Гбайт.
    Начал разбираться, читаю подобные ранее вопросы. Вместе с переездом на новую версию Zabbix рассматриваю вариант партицирования MariaDB и timescaledb postgresql.
    Подскажите пожалуйста с чем может быть связан текущий резкий рост нагрузки на ресурсы.

    # cat /etc/zabbix/zabbix_server.conf | grep -v '^#' | more
    Code:
    LogFile=/var/log/zabbix/zabbix_server.log
    LogFileSize=0
    PidFile=/var/run/zabbix/zabbix_server.pid
    SocketDir=/var/run/zabbix
    DBHost=localhost
    DBName=*****
    DBUser=*****
    DBPassword=*****
    StartPollers=40
    StartIPMIPollers=5
    StartPollersUnreachable=40
    StartTrappers=10
    StartPingers=20
    StartDiscoverers=0
    StartHTTPPollers=0
    StartVMwareCollectors=0
    SNMPTrapperFile=/var/log/snmptt/snmptt.log
    StartSNMPTrapper=1
    ListenIP=*****
    HousekeepingFrequency=1
    MaxHousekeeperDelete=5000
    CacheSize=1G
    StartDBSyncers=4
    HistoryCacheSize=1G
    HistoryIndexCacheSize=128M
    TrendCacheSize=32M
    ValueCacheSize=512M
    Timeout=20
    AlertScriptsPath=/usr/lib/zabbix/alertscripts
    ExternalScripts=/usr/lib/zabbix/externalscripts
    LogSlowQueries=3000
    StartProxyPollers=0
    # cat /var/log/zabbix/zabbix_server.log | grep house | more
    Code:
    6628:20210725:032252.720 executing housekeeper
    6628:20210725:045550.275 housekeeper [deleted 3107757 hist/trends, 0 items/triggers, 690 events, 330 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5577.553861 sec, idle for 1 hour(s)]
    6628:20210725:055550.592 executing housekeeper
    6628:20210725:073019.627 housekeeper [deleted 3053339 hist/trends, 0 items/triggers, 481 events, 185 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5669.034853 sec, idle for 1 hour(s)]
    6628:20210725:083019.926 executing housekeeper
    6628:20210725:100301.846 housekeeper [deleted 3016870 hist/trends, 0 items/triggers, 620 events, 222 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5561.919025 sec, idle for 1 hour(s)]
    6628:20210725:110302.141 executing housekeeper
    6628:20210725:123609.565 housekeeper [deleted 3098797 hist/trends, 0 items/triggers, 467 events, 196 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5587.423544 sec, idle for 1 hour(s)]
    6628:20210725:133609.870 executing housekeeper
    6628:20210725:150521.312 housekeeper [deleted 3056153 hist/trends, 0 items/triggers, 446 events, 219 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5351.441697 sec, idle for 1 hour(s)]
    6628:20210725:160521.621 executing housekeeper
    6628:20210725:172840.242 housekeeper [deleted 2976261 hist/trends, 0 items/triggers, 481 events, 203 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 4998.620660 sec, idle for 1 hour(s)]
    6628:20210725:182840.558 executing housekeeper
    6628:20210725:195104.197 housekeeper [deleted 2985904 hist/trends, 0 items/triggers, 589 events, 168 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 4943.638851 sec, idle for 1 hour(s)]
    6628:20210725:205104.501 executing housekeeper
    6628:20210725:221510.429 housekeeper [deleted 3007181 hist/trends, 0 items/triggers, 545 events, 131 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5045.927597 sec, idle for 1 hour(s)]
    6628:20210725:231510.723 executing housekeeper
    6628:20210726:004305.910 housekeeper [deleted 3062309 hist/trends, 0 items/triggers, 1792 events, 149 problems, 0 sessions, 0 alarms, 0 audit, 0 records in 5275.186373 sec, idle for 1 hour(s)]
    6628:20210726:014306.219 executing housekeeper
    # cat /var/log/zabbix/zabbix_server.log | grep 'slow query' | cut -c 1-150 | more
    Code:
    6628:20210725:032300.638 slow query: 7.650875 sec, "delete from history where itemid=23252 and clock<1626560572"
    6630:20210725:032324.938 slow query: 3.059535 sec, "insert into history_log (itemid,clock,ns,timestamp,source,severity,value,l ogeventid) values (357
    6628:20210725:032324.953 slow query: 3.086418 sec, "delete from history where itemid=31147 and clock<1626560572"
    6621:20210725:032332.311 slow query: 3.060872 sec, "select i.itemid,i.hostid,i.status,i.type,i.value_type,i.k ey_,i.snmp_oid,i.ipmi_sensor,i.delay,i.
    6621:20210725:032341.125 slow query: 6.701912 sec, "select i.itemid,f.functionid,f.name,f.parameter,t.trigger id,i.hostid from hosts h,items i,functi
    6621:20210725:032452.663 slow query: 7.268220 sec, "select i.itemid,f.functionid,f.name,f.parameter,t.trigger id,i.hostid from hosts h,items i,functi
    6633:20210725:032545.788 slow query: 4.006506 sec, "insert into history_log (itemid,clock,ns,timestamp,source,severity,value,l ogeventid) values (314
    6632:20210725:032545.793 slow query: 3.406691 sec, "insert into history (itemid,clock,ns,value) values (30722,1627165540,322763833,0),(30723,1627165
    6628:20210725:032545.811 slow query: 4.032654 sec, "delete from history where itemid=56153 and clock<1626560572"
    6630:20210725:032545.816 slow query: 3.484722 sec, "insert into history (itemid,clock,ns,value) values (51882,1627165542,205131055,0),(65262,1627165
    6621:20210725:032604.126 slow query: 7.379280 sec, "select i.itemid,f.functionid,f.name,f.parameter,t.trigger id,i.hostid from hosts h,items i,functi
    6631:20210725:032622.310 slow query: 4.101623 sec, "insert into history_uint (itemid,clock,ns,value) values (90317,1627165577,978070046,1456),(89357
    6632:20210725:032650.705 slow query: 3.536494 sec, "insert into history_log (itemid,clock,ns,timestamp,source,severity,value,l ogeventid) values (348
    6630:20210725:032650.707 slow query: 3.360283 sec, "insert into history_uint (itemid,clock,ns,value) values (90167,1627165607,289391023,0),(49727,16
    6631:20210725:032650.707 slow query: 3.306094 sec, "insert into history (itemid,clock,ns,value) values (54047,1627165607,345308191,0),(49847,1627165
    6628:20210725:032651.324 slow query: 4.568075 sec, "delete from history where itemid=57881 and clock<1626436121"

    Click image for larger version

Name:	System information.png
Views:	216
Size:	27.0 KB
ID:	429021
    Click image for larger version

Name:	Zabbix busy housekeeper processes.png
Views:	96
Size:	45.7 KB
ID:	429022Click image for larger version

Name:	Zabbix busy history sycner processes.png
Views:	94
Size:	97.4 KB
ID:	429023

    Click image for larger version

Name:	Queue details.png
Views:	99
Size:	87.5 KB
ID:	429024

    Click image for larger version

Name:	Available memory.png
Views:	97
Size:	39.3 KB
ID:	429025

  • wins
    Senior Member
    • Sep 2014
    • 307

    #2
    Оперативки мало, дисковая подсистема слабовата. Сделайте хотябы raid10 и добавьте оперативки в 2 раза.
    Переезд на postgresql + timescaledb решит проблему с хаускипером.

    Comment

    • Miha
      Junior Member
      • Mar 2021
      • 9

      #3
      Originally posted by wins
      Оперативки мало, дисковая подсистема слабовата. Сделайте хотябы raid10 и добавьте оперативки в 2 раза.
      Переезд на postgresql + timescaledb решит проблему с хаускипером.
      Спасибо за рекомендации, то что обратили внимание на пост.
      В выходные игрался с конфигом my.cnf Добился того, что дэшборд перестал зависать, переключение между его элементами происходит быстро. Но графики хаускипера и синкера молотят непрерывно. Вопрос - если перейти на postgresql + timescaledb, то будут ли проблемы с текущим и последующим обновлением релиза Zabbix? Есть какие-то подводные камни?

      Comment

      • wins
        Senior Member
        • Sep 2014
        • 307

        #4
        Да, будут нюансы, например: невозможно обновить postgres между мажорными версиями штатными средствами. Бекап тоже через враппер tsdump.
        Также надо будет следить за тем, чтобы версии timescaledb и zabbix были совместимыми.

        Comment

        • Miha
          Junior Member
          • Mar 2021
          • 9

          #5
          Буду читать, разбираться. Ещё раз спасибо за консультацию.

          Comment

          Working...