Ad Widget

Collapse

Сервер постоянно перезапускается

Collapse
X
Collapse
 
  • Page of 2
  • Time
  • Show
Clear All
new posts
Previous 1 2 template Next
  • Obsi77
    Junior Member
    • Dec 2021
    • 26
    #1

    Сервер постоянно перезапускается

    Добрый день

    Обнаружил в логах что сервер постоянно перезапускается после синхронизации данных, а это раз в 5 минут ...

    Code:
    863793:20220712:125031.932 One child process died (PID:865772,exitcode/signal:1). Exiting ...
865013:20220712:125032.583 cannot write to IPC socket: Broken pipe
865776:20220712:125032.836 cannot read preprocessing service request
zabbix_server [863793]: Error waiting for process with PID 865051: [10] No child processes
863793:20220712:125032.939 syncing history data...
863793:20220712:125033.010 syncing history data... 100.000000%
863793:20220712:125033.010 syncing history data done
863793:20220712:125033.010 syncing trend data...
863793:20220712:125036.477 syncing trend data done[/B]
]863793:20220712:125036.502 Zabbix Server stopped. Zabbix 5.2.6 (revision 798506596c).
866609:20220712:125046.650 Starting Zabbix Server. Zabbix 5.2.6 (revision 798506596c).
866609:20220712:125046.650 ****** Enabled features ******
866609:20220712:125046.650 SNMP monitoring: YES
866609:20220712:125046.650 IPMI monitoring: YES
866609:20220712:125046.650 Web monitoring: YES
866609:20220712:125046.650 VMware monitoring: YES
866609:20220712:125046.651 SMTP authentication: YES
866609:20220712:125046.651 ODBC: YES
866609:20220712:125046.651 SSH support: YES
866609:20220712:125046.651 IPv6 support: YES
866609:20220712:125046.651 TLS support: YES
866609:20220712:125046.651 ******************************
866609:20220712:125046.651 using configuration file: /etc/zabbix/zabbix_server.conf
866609:20220712:125046.661 current database version (mandatory/optional): 05020000/05020000
866609:20220712:125046.661 required mandatory version: 05020000
866609:20220712:125046.671 server #0 started [main process]
866610:20220712:125046.672 server [NODE="1"]Home[/NODE] started [configuration syncer #1]
    Подскажите пожалуйста что не так?

    Статус сервера такой:

    Code:
    [root@ZABBIX ~]# systemctl status zabbix-server
● zabbix-server.service - Zabbix Server
Loaded: loaded (/usr/lib/systemd/system/zabbix-server.service; enabled; vendor preset: disabled)
Active: active (running) since Tue 2022-07-12 13:04:23 +05; 2min 23s ago
Process: 875472 ExecStop=/bin/kill -SIGTERM $MAINPID (code=exited, status=1/FAILURE)
Process: 875475 ExecStart=/usr/sbin/zabbix_server -c $CONFFILE (code=exited, status=0/SUCCESS)
Main PID: 875477 (zabbix_server)
Tasks: 1151 (limit: 204194)
Memory: 3.3G
CGroup: /system.slice/zabbix-server.service
├─875477 /usr/sbin/zabbix_server -c /etc/zabbix/zabbix_server.conf
├─875478 /usr/sbin/zabbix_server: configuration syncer [synced configuration in 9.579808 sec, idle 120 sec]
├─875496 /usr/sbin/zabbix_server: ipmi manager [NODE="1"]Home[/NODE] [scheduled 0, polled 0 values, idle 5.006666 sec during 5.006776 s>
├─875497 /usr/sbin/zabbix_server: housekeeper [startup idle for 30 minutes]
├─875498 /usr/sbin/zabbix_server: timer [NODE="1"]Home[/NODE] [updated 0 hosts, suppressed 0 events in 0.000489 sec, idle 59 sec]
├─875499 /usr/sbin/zabbix_server: http poller [NODE="1"]Home[/NODE] [got 0 values in 0.003641 sec, idle 5 sec]
├─875500 /usr/sbin/zabbix_server: discoverer [NODE="1"]Home[/NODE] [processed 0 rules in 0.000458 sec, idle 60 sec]
├─875501 /usr/sbin/zabbix_server: discoverer [NODE="2"]Forum[/NODE] [processed 0 rules in 0.000630 sec, idle 60 sec]
├─875502 /usr/sbin/zabbix_server: discoverer #3 [processed 0 rules in 0.000304 sec, idle 60 sec]
├─875503 /usr/sbin/zabbix_server: discoverer #4 [processed 0 rules in 0.001033 sec, idle 60 sec]
├─875504 /usr/sbin/zabbix_server: discoverer #5 [processed 0 rules in 0.000496 sec, idle 60 sec]
├─875505 /usr/sbin/zabbix_server: discoverer [NODE="6"]Special[/NODE] [processed 0 rules in 0.000654 sec, idle 60 sec]
├─875506 /usr/sbin/zabbix_server: discoverer #7 [processed 0 rules in 0.000694 sec, idle 60 sec]
├─875507 /usr/sbin/zabbix_server: discoverer [NODE="8"]Private Messages[/NODE] [processed 0 rules in 0.000704 sec, idle 60 sec]
├─875508 /usr/sbin/zabbix_server: discoverer [NODE="9"]Albums[/NODE] [processed 0 rules in 0.003060 sec, idle 60 sec]
    Заранее благодарен
    Last edited by Obsi77; 12-07-2022, 10:21.
    Tags: None
    • vladimir_lv
      Senior Member
      • May 2022
      • 240
      #2
      Посмотрите в логе сервера что происходит до перезапуска. Возможно просто не хватает памяти, тогда должно быть сообщение типа zbx_mem_malloc(): out of memory

        Comment

        • Obsi77
          Junior Member
          • Dec 2021
          • 26
          #3
          Originally posted by vladimir_lv
          Посмотрите в логе сервера что происходит до перезапуска. Возможно просто не хватает памяти, тогда должно быть сообщение типа zbx_mem_malloc(): out of memory
          по памяти всё отлично 32 гигабайта, используется 13 только

          но нашёл на что жалуется, спасибо:

          Code:
          zabbix_server [1889214]: failed to open log file: [24] Too many open files
zabbix_server [1889214]: failed to write [cannot accept incoming IPC connection: [24] Too many open files] into log file
1889240:20220713:122552.436 cannot read preprocessing service request
1889216:20220713:122552.437 cannot read preprocessing service request
1889215:20220713:122552.437 cannot read preprocessing service request
1888955:20220713:122552.439 cannot write to IPC socket: Broken pipe
1888955:20220713:122552.439 cannot send data to preprocessing service
1889041:20220713:122552.447 cannot write to IPC socket: Broken pipe
1889041:20220713:122552.447 cannot send data to preprocessing service
1887231:20220713:122552.449 One child process died (PID:1889214,exitcode/signal:1). Exiting ...
1888872:20220713:122552.449 cannot write to IPC socket: Broken pipe
1888872:20220713:122552.449 cannot send data to preprocessing service
1888808:20220713:122552.961 cannot write to IPC socket: Broken pipe
1888808:20220713:122552.961 cannot send data to preprocessing service
1888933:20220713:122552.966 cannot write to IPC socket: Broken pipe
1888935:20220713:122553.287 cannot send data to preprocessing service
          Last edited by Obsi77; 13-07-2022, 09:38.

            Comment

            • Obsi77
              Junior Member
              • Dec 2021
              • 26
              #4
              Увеличил количество файлов до
              Code:
              [root@ZABBIX ~]# cat /proc/sys/fs/file-max
5331072
              но ничего не поменялось, всё так же

              где нужно увеличить кол-во файлов, подскажите пожалуйста

                Comment

                • vladimir_lv
                  Senior Member
                  • May 2022
                  • 240
                  #5
                  Тут, скорее не проблема Zabbix, а проблема Linux.
                  Максимальное количество файловых дескрипторов, которые может открыть ваша система:
                  Code:
                  ulimit -n
                  Предположим, что у вас это значение 1024

                  Здесь есть два типа ограничений: Hard и Soft. Пользователь может изменить Soft, при этом Soft не может превышать Hard. Изменить значение Hard может только root.
                  Значение Soft:
                  Code:
                  ulimit –n -S
                  Значение Hard:
                  Code:
                  ulimit -n -H
                  Изменения можно задать здесь:
                  /etc/security/limits.conf.

                  Если сервер Zabbix запускается через «systemd», а версия Linux относительно свежая, то можно изменить сам сервис:
                  Code:
                  systemctl edit zabbix-server.service
                  добавив строчку
                  Code:
                  LimitNOFILE=2048

                    Comment

                    • Obsi77
                      Junior Member
                      • Dec 2021
                      • 26
                      #6
                      Originally posted by vladimir_lv
                      Тут, скорее не проблема Zabbix, а проблема Linux.
                      Максимальное количество файловых дескрипторов, которые может открыть ваша система:
                      Code:
                      ulimit -n
                      Предположим, что у вас это значение 1024

                      Здесь есть два типа ограничений: Hard и Soft. Пользователь может изменить Soft, при этом Soft не может превышать Hard. Изменить значение Hard может только root.
                      Значение Soft:
                      Code:
                      ulimit –n -S
                      Значение Hard:
                      Code:
                      ulimit -n -H
                      Изменения можно задать здесь:
                      /etc/security/limits.conf.


                      тут уже увеличивал
                      [root@ZABBIX~]# ulimit -n
                      97816


                        Comment

                        • vladimir_lv
                          Senior Member
                          • May 2022
                          • 240
                          #7
                          А сколько файло открыто сейчас?
                          Code:
                          awk '{print $1}' /proc/sys/fs/file-nr

                            Comment

                            • Obsi77
                              Junior Member
                              • Dec 2021
                              • 26
                              #8
                              Originally posted by vladimir_lv
                              А сколько файло открыто сейчас?
                              Code:
                              awk '{print $1}' /proc/sys/fs/file-nr
                              за несколько секунд до перезапуска
                              [root@ZABBIX ~]# awk '{print $1}' /proc/sys/fs/file-nr
                              13376

                                Comment

                                • vladimir_lv
                                  Senior Member
                                  • May 2022
                                  • 240
                                  #9
                                  Originally posted by Obsi77
                                  Увеличил количество файлов до
                                  Code:
                                  [root@ZABBIX ~]# cat /proc/sys/fs/file-max
5331072
                                  но ничего не поменялось, всё так же

                                  где нужно увеличить кол-во файлов, подскажите пожалуйста
                                  То есть до сих пор в логах та же самая ошибка: failed to open log file: [24] Too many open files?

                                    Comment

                                    • Obsi77
                                      Junior Member
                                      • Dec 2021
                                      • 26
                                      #10
                                      так же считаю файлы так, ну и тут в лимит вписываемся по идее:
                                      Code:
                                      [root@ZABBIX ~]# lsof |wc -l
1733996
                                      Originally posted by vladimir_lv

                                      То есть до сих пор в логах та же самая ошибка: failed to open log file: [24] Too many open files?
                                      Дааа, но уменьшилось количество упоминаний IPC socket: Broken pipe , раньше было в разы больше
                                      Code:
                                      293659:20220714:142943.175 Zabbix agent item "perf_counter["\SQLServer:Buffer Manager\Target pages",30]" on host "sql2" failed: first network error, wait for 15 seconds
295056:20220714:142943.175 resuming Zabbix agent checks on host "HV04": connection restored
294953:20220714:142943.175 resuming Zabbix agent checks on host "SCAN3": connection restored
295193:20220714:142943.175 resuming Zabbix agent checks on host "RDS": connection restored
295286:20220714:142943.178 resuming Zabbix agent checks on host "ER1": connection restored
zabbix_server [295464]: failed to open log file: [24] Too many open files
zabbix_server [295464]: failed to write [cannot accept incoming IPC connection: [24] Too many open files] into log file
295286:20220714:142943.184 cannot write to IPC socket: Broken pipe
295286:20220714:142943.184 cannot send data to preprocessing service
295465:20220714:142943.186 cannot read preprocessing service request
295466:20220714:142943.186 cannot read preprocessing service request
295467:20220714:142943.186 cannot read preprocessing service request
295290:20220714:142943.187 cannot write to IPC socket: Broken pipe
295290:20220714:142943.187 cannot send data to preprocessing service
293494:20220714:142943.190 One child process died (PID:295286,exitcode/signal:1). Exiting ...
294953:20220714:142943.190 cannot write to IPC socket: Broken pipe
294953:20220714:142943.190 cannot send data to preprocessing service
zabbix_server [293494]: Error waiting for process with PID 295286: [10] No child processes
293494:20220714:142943.859 syncing history data...
293494:20220714:142944.141 syncing history data... 100.000000%
293494:20220714:142944.141 syncing history data done
293494:20220714:142944.141 syncing trend data...
293494:20220714:142947.149 syncing trend data done
293494:20220714:142947.164 Zabbix Server stopped. Zabbix 5.2.6 (revision 798506596c).
                                      Last edited by Obsi77; 14-07-2022, 11:53.

                                        Comment

                                        • wins
                                          Senior Member
                                          • Sep 2014
                                          • 307
                                          #11
                                          а какая ОСь?

                                            Comment

                                            • Obsi77
                                              Junior Member
                                              • Dec 2021
                                              • 26
                                              #12
                                              Originally posted by wins
                                              а какая ОСь?
                                              CentOS Linux release 8.2.2004 (Core)

                                                Comment

                                                • vladimir_lv
                                                  Senior Member
                                                  • May 2022
                                                  • 240
                                                  #13
                                                  А ограничение для пользователя zabbix?
                                                  Code:
                                                  # su zabbix
# ulimit -n

                                                    Comment

                                                    • Obsi77
                                                      Junior Member
                                                      • Dec 2021
                                                      • 26
                                                      #14
                                                      Originally posted by vladimir_lv
                                                      А ограничение для пользователя zabbix?
                                                      Code:
                                                      # su zabbix
# ulimit -n
                                                      [root@ZABBIX ~]# su zabbix
                                                      This account is currently not available.

                                                      =)

                                                        Comment

                                                        • vladimir_lv
                                                          Senior Member
                                                          • May 2022
                                                          • 240
                                                          #15
                                                          Originally posted by Obsi77
                                                          [root@ZABBIX ~]# su zabbix
                                                          This account is currently not available.

                                                          =)
                                                          Ну это значит только то, что он nologin
                                                          запустите эту команду

                                                          Code:
                                                          su - zabbix -c 'ulimit -aHS' -s '/bin/bash'

                                                            Comment

                                                            Previous 1 2 template Next
                                                            Working...