Ad Widget

Collapse

zabbix-java-gateway - падение при большом количестве тредов

Collapse
X
 
  • Time
  • Show
Clear All
new posts
  • Konstantin_74
    Junior Member
    • Mar 2020
    • 5

    #1

    zabbix-java-gateway - падение при большом количестве тредов

    Здравствуйте!
    Используем zabbix-java-gateway 5.2.6 и 4.4.0 для мониторинга Jboss и WildFly по JMX.
    До подключения Wildfly мониторинг работал успешно, но после стали копиться треды, старые он не успевает закрывать, что в итоге при тредах в количестве 1.7K приводит к падению заббикс сервера и отказом принимать сообщения от Jboss и WildFly.
    В Мониторинге используем следующие настройки:
    zabbix-server.conf:
    - StartJavaPollers=20
    - Timeout=15
    zabbix-java-gateway.conf:
    - START_POLLERS=20
    - TIMEOUT=5

    Java(TM) SE Runtime Environment (build 1.8.0_171-b11)

    Строка запуска
    Code:
    7029 JavaGateway -Xms2048m -Xmx6144m -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dzabbix.pidFile=/var/run/zabbix/zabbix_java_gateway.pid -Dzabbix.listenIP=0.0.0.0 -Dzabbix.listenPort=10052 -Dzabbix.startPollers=20 -Dzabbix.timeout=5 -Dsun.rmi.transport.tcp.responseTimeout=3000
    Прикладываю график работы java тредов zabbix сервера.

    Click image for larger version  Name:	Сохраненное изображение 2021-4-15_3-37-36.641.jpg Views:	0 Size:	82.2 KB ID:	422907

    Дебаг лог чист, и не сообщает ошибок в работе до падения, после падения сообщает, что нет подключения по сети к хостам.

    Code:
    [main] DEBUG com.zabbix.gateway.ItemChecker - caught exception for item 'jmx["java.lang:type=Memory",NonHeapMemoryUsage.use d]'
    org.jboss.remoting3.NotOpenException: Writes closed
    at org.jboss.remoting3.remote.RemoteConnectionChannel .openOutboundMessage(RemoteConnectionChannel.java: 115) ~[jboss-cli-client.jar:2.1.2.Final-redhat-1]
    at org.jboss.remoting3.remote.RemoteConnectionChannel .writeMessage(RemoteConnectionChannel.java:307) ~[jboss-cli-client.jar:2.1.2.Final-redhat-1]
    at org.jboss.remotingjmx.protocol.v2.Common.write(Com mon.java:180) ~[jboss-cli-client.jar:2.1.2.Final-redhat-1]
    at org.jboss.remotingjmx.protocol.v2.ClientConnection $TheConnection.getAttribute(ClientConnection.java: 823) ~[jboss-cli-client.jar:2.1.2.Final-redhat-1]
    at com.zabbix.gateway.JMXItemChecker.getStringValue(J MXItemChecker.java:220) [zabbix-java-gateway-5.2.6.jar:na]
    at com.zabbix.gateway.ItemChecker.getJSONValue(ItemCh ecker.java:92) ~[zabbix-java-gateway-5.2.6.jar:na]
    at com.zabbix.gateway.JMXItemChecker.getValues(JMXIte mChecker.java:141) [zabbix-java-gateway-5.2.6.jar:na]
    at com.zabbix.gateway.SocketProcessor.run(SocketProce ssor.java:81) [zabbix-java-gateway-5.2.6.jar:na]
    at java.util.concurrent.ThreadPoolExecutor$CallerRuns Policy.rejectedExecution(ThreadPoolExecutor.java:2 038) [na:1.8.0_171]
    at java.util.concurrent.ThreadPoolExecutor.reject(Thr eadPoolExecutor.java:830) [na:1.8.0_171]
    at java.util.concurrent.ThreadPoolExecutor.execute(Th readPoolExecutor.java:1379) [na:1.8.0_171]
    at com.zabbix.gateway.JavaGateway.main(JavaGateway.ja va:84) [zabbix-java-gateway-5.2.6.jar:na]
    Прошу подсказать на что обратить внимание для выявления проблемы в работе гейтвея.
    Last edited by Konstantin_74; 16-04-2021, 20:47.
Working...