Ad Widget

**cyberklin** · 30-07-2009, 01:29

добрый день!

хотелось бы узнать - существует ли какой-нибудь воркэраунд для проблемы с тяжелыми запросами фронтенда, содержащими __огромные__ IN выражения (которые приходят из get_accessible_triggers() в triggers.inc.php)?

у нас при следующей ситуации:

Code:

Number of items (monitored/disabled)	23064(16133/5730)
Number of triggers (enabled/disabled)	8861(7986/875)

кол-во условий в IN выражении запроса достигает 13k.

используем zabbix на oracle10 и при миграции с 1.4.6 на 1.6.5 столкнулись с практически неработоспособным фронтендом из-за подобных запросов. на этом запросе php, судя по всему, лочится на базу, а сессия в оракле висит в состоянии SQL*Net more data from client.

к сожалению, на использование get_accessible_triggers() завязано слишком много, чтобы как-то постараться в коде исправить. может быть что-нибудь посоветуете?

могу приложить план запроса, трейс сессии оракловой, если это поможет

**ugh** · 30-07-2009, 05:45

мы частично вышли из положения так:

blocks.inc.php
закомментированы переменные
$available_hosts
$available_triggers
в том числе и в запросах к БД

нагрузка снизилась
потерянно разделение прав на просмотр в дашборде и проверка на зависимости

**den_crane** · 30-07-2009, 06:59

Originally posted by cyberklin

SQL*Net more data from client.

Оракл на том же хосте что и заббикс сервер? Тогда создайте листенер оракла с sdu =4192 и аналогичное tns имя.

**den_crane** · 30-07-2009, 07:21

Originally posted by sersad

Пересобрал забикс с Вашей корректировкой, но теперь при добавлении устройств приходиться ручками давать команду
update items set moditemid = mod(itemid,30);
чтоб итемы устройства подцепились.
Как бы сделать это автоматом?

Вставка делается include/items.inc.php
319 $result=DBexecute('INSERT INTO items '.

325 'delay_flex,params,ipmi_sensor,templateid)'.
меняем
325 'delay_flex,params,ipmi_sensor,templateid,moditemid)'.

333 zbx_dbstr($item['delay_flex']).','.zbx_dbstr($item['params']).','.zbx_dbstr($item['ipm i_sensor']).','.$item['templateid'].')'
меняем
333 zbx_dbstr($item['delay_flex']).','.zbx_dbstr($item['params']).','.zbx_dbstr($item['ipm i_sensor']).','.$item['templateid'].',mod('.$itemid.',30))'

**den_crane** · 30-07-2009, 09:24

для Алексея

Уйти от длинного перечисления in (куча идентификаторов) необходимо. Тем более в оракле, где оптимизатор запросов медленее чем в mysql, и живет за счет statement cache. И со временем длина запроса просто превысит допустимую и будет отваливаться с ошибкой.

Я вижу такой путь
'.DBcondition('t.triggerid+0',$available_triggers) .
меняем на типа такого

Code:

and exists (SELECT 1
              FROM `groups` g, `rights` r, `users_groups` ug
              where 
              g.groupid=hg.groupid and
              r.id=g.groupid and 
              ug.usrgrpid=r.groupid and
              ug.userid = 5 and
              r.permission in (1,2,3)
              union all
              select 1 from users where type =3 and userid = 5 --for super_user)

Причем конечно кореллированный exists а не какой не in. И в мускуле и оракл это будет отрабатывать уже в самом конце, для отфильтрованных другими предикатами строк.

Для запроса с триггерами это буде типа так

Code:

SELECT DISTINCT t.triggerid,t.status,t.description,t.expression,t.priority,t.lastchange,t.value,h.host,h.hostid 
FROM triggers t,hosts h,items i,functions f, hosts_groups hg 
WHERE f.itemid=i.itemid 
  AND h.hostid=i.hostid 
  AND hg.hostid=h.hostid 
  AND t.triggerid=f.triggerid 
  AND t.status=0
  AND i.status=0
  and exists (SELECT 1
              FROM `groups` g, `rights` r, `users_groups` ug
              where 
              g.groupid=[B]hg.groupid[/B] and -- hg.groupid из внешней части запроса, 
              r.id=g.groupid and 
              ug.usrgrpid=r.groupid and
              ug.userid = 5 and
              r.permission in (1,2,3)
              union all
              select 1 from users where type =3 and userid = 5
             )
  AND h.status=0
  AND t.value=1
  ORDER BY t.lastchange DESC

exists выполняется в самом конце для каждого активного триггера (problem), а их мало поэтому запрос выполняется за 0.0076 сек.

**ugh** · 30-07-2009, 10:07

+запросы формирующие эту самую кучу идентификаторов
они далеко не легкие при большой базе и определенном количестве работающих юзеров

**Aly** · 30-07-2009, 14:59

именно на таких запросах построен фронтенд к 1.7

**cyberklin** · 31-07-2009, 18:58

все спасибо за ответы.

Originally posted by ugh

мы частично вышли из положения так:

blocks.inc.php
закомментированы переменные
$available_hosts
$available_triggers
в том числе и в запросах к БД

нагрузка снизилась
потерянно разделение прав на просмотр в дашборде и проверка на зависимости

наверно так же будем жертвовать разделением прав на просмотр.

Originally posted by den_crane

Оракл на том же хосте что и заббикс сервер? Тогда создайте листенер оракла с sdu =4192 и аналогичное tns имя.

sdu пробовали, на вскидку стало получше, но проблема не ушла. а Вы сталкивались с этой же проблемой? решили через настройку sdu?

Originally posted by Aly

именно на таких запросах построен фронтенд к 1.7

а есть ли возможность использовать фронтенд 1.7 с версией сервера 1.6? или были какие-то структурные изменения? в каком состоянии на данный момент находится ветка 1.7?

заранее благодарю за консультацию

**Aly** · 03-08-2009, 09:09

Originally posted by cyberklin

а есть ли возможность использовать фронтенд 1.7 с версией сервера 1.6? или были какие-то структурные изменения? в каком состоянии на данный момент находится ветка 1.7?

Нет, фронтенд от 1.7 к серверу,бд 1.6 прикрутить не получится.

Ветка 1.7 находится в стадии разработки (бета)

**den_crane** · 03-08-2009, 09:48

Originally posted by cyberklin

sdu пробовали, на вскидку стало получше, но проблема не ушла. а Вы сталкивались с этой же проблемой? решили через настройку sdu?

Я использую mysql.
SDU посоветовал из-за ожидания SQL*Net more data from client.

**sersad** · 01-09-2009, 13:55

Originally posted by alexei

1.7 - это beta-1.8, стабильные версии чётные. Искать можно на www.zabbix.com/ru/developers.php

По указанной ссылке линк на версию 1,7 битый. Поправите может быть?

**sersad** · 16-10-2009, 07:53

Опять вопрос по производительности. Поставил 1.6.6 на сервер с двумя оптеронами (сумvарно 4 CPU) 10 гигов оперативы. Дисковая подсистема на RAID 5 132 гига.
Ось Ubuntu server 8.10 amd 64
MySQL Ver 14.12 Distrib 5.0.67, for debian-linux-gnu (x86_64) using readline 5.2
PHP 5.2.6-2ubuntu4.3 with Suhosin-Patch 0.9.6.2 (cli) (built: Aug 21 2009 22:54:45)

cat /etc/mysql/my.cnf

Code:

#                                  
# The MySQL database server configuration file.
#                                              
# You can copy this to one of:                 
# - "/etc/mysql/my.cnf" to set global options, 
# - "~/.my.cnf" to set user-specific options.  
#                                              
# One can use all long options that the program supports.
# Run program with --help to get a list of available options and with
# --print-defaults to see which it would actually understand and use.
#                                                                    
# For explanations see                                               
# http://dev.mysql.com/doc/mysql/en/server-system-variables.html     

# This will be passed to all mysql clients
# It has been reported that passwords should be enclosed with ticks/quotes
# escpecially if they contain "#" chars...                                
# Remember to edit /etc/mysql/debian.cnf when changing the socket location.

[client]
port            = 3306
socket          = /var/run/mysqld/mysqld.sock

# Here is entries for some specific programs
# The following values assume you have at least 32M ram

# This was formally known as [safe_mysqld]. Both versions are currently parsed.
[mysqld_safe]                                                                  
socket          = /var/run/mysqld/mysqld.sock                                  
nice            = 0                                                            

[mysqld]
#       
# * Basic Settings
#                 

#
# * IMPORTANT
#   If you make changes to these settings and your system uses apparmor, you may
#   also need to also adjust /etc/apparmor.d/usr.sbin.mysqld.                   
#                                                                               

user            = mysql
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
port            = 3306                       
basedir         = /usr                       
datadir         = /var/lib/mysql             
tmpdir          = /tmp                       
language        = /usr/share/mysql/english   
skip-external-locking                        

skip-locking

#
# Instead of skip-networking the default is now to listen only on
# localhost which is more compatible and is not less secure.     
#bind-address           = 127.0.0.1                              
#                                                                
# * Fine Tuning                                                  
#                                                                
key_buffer              = 512M                                   
max_allowed_packet      = 16M                                    
thread_stack            = 128K                                   
thread_cache_size       = 4                                      
max_connections        = 1000                                    
table_cache            = 512                                     
#thread_concurrency     = 8                                      

tmp_table_size          = 128M
max_heap_table_size     = 128M



innodb_file_per_table = 1


join_buffer_size=1M
read_buffer_size=1M
read_rnd_buffer_size=1M





#
# * Query Cache Configuration
#                            
query_cache_limit       = 512
query_cache_size        = 512M
query_cache_min_res_unit     = 256

#
# * Logging and Replication
#                          
# Both location gets rotated by the cronjob.
# Be aware that this log type is a performance killer.
#log            = /var/log/mysql/mysql.log            
#                                                     
# Error logging goes to syslog. This is a Debian improvement :)
#                                                              
# Here you can see queries with especially long duration       
#log_slow_queries       = /var/log/mysql/mysql-slow.log        
long_query_time = 5                                            
#log-queries-not-using-indexes                                 
#                                                              
# The following can be used as easy to replay backup logs or for replication.
# note: if you are setting up a replication slave, see README.Debian about   
#       other settings you may need to change.                               
#server-id              = 1                                                  
#log_bin                        = /var/log/mysql/mysql-bin.log               
expire_logs_days        = 3                                                  
max_binlog_size         = 100M                                               
#binlog_do_db           = include_database_name                              
#binlog_ignore_db       = include_database_name                              
#                                                                            
# * BerkeleyDB                                                               
#                                                                            
# Using BerkeleyDB is now discouraged as its support will cease in 5.1.12.   
skip-bdb                                                                     
#                                                                            
# * InnoDB                                                                   
#                                                                            
# InnoDB is enabled by default with a 10MB datafile in /var/lib/mysql/.      
# Read the manual for more InnoDB related options. There are many!           
# You might want to disable InnoDB to shrink the mysqld process by circa 100MB.
#skip-innodb                                                                   


innodb_buffer_pool_size=8G
#innodb_log_file_size=64M 
innodb_flush_log_at_trx_commit=0

innodb_thread_concurrency = 8
thread_concurrency = 8       

innodb_flush_method = O_DIRECT

default-storage-engine = innodb







#
# * Security Features
#
# Read the manual, too, if you want chroot!
# chroot = /var/lib/mysql/
#
# For generating SSL certificates I recommend the OpenSSL GUI "tinyca".
#
# ssl-ca=/etc/mysql/cacert.pem
# ssl-cert=/etc/mysql/server-cert.pem
# ssl-key=/etc/mysql/server-key.pem



[mysqldump]
quick
quote-names
max_allowed_packet      = 16M

[mysql]
#no-auto-rehash # faster start of mysql but no tab completition

[isamchk]
key_buffer              = 16M

#
# * NDB Cluster
#
# See /usr/share/doc/mysql-server-*/README.Debian for more information.
#
# The following configuration is read by the NDB Data Nodes (ndbd processes)
# not from the NDB Management Nodes (ndb_mgmd processes).
#
# [MYSQL_CLUSTER]
# ndb-connectstring=127.0.0.1


#
# * IMPORTANT: Additional settings that can override those from this file!
# The files must end with '.cnf', otherwise they'll be ignored.
#
!includedir /etc/mysql/conf.d/

top

Code:

top
top - 09:32:52 up 1 day, 16:12,  3 users,  load average: 10.58, 10.44, 10.24
Tasks: 170 total,   1 running, 169 sleeping,   0 stopped,   0 zombie
Cpu(s): 80.9%us,  1.2%sy,  0.1%ni, 16.7%id,  0.7%wa,  0.0%hi,  0.4%si,  0.0%st
Mem: [B]10247196k total,  5242844k used,  5004352k free[/B],  1802040k buffers
Swap:  5855652k total,        0k used,  5855652k free,   804244k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
25036 mysql     20   0 10.3g 1.7g 6048 S  310 17.1 248:00.58 mysqld
 6720 ss        20   0 1857m 218m 2592 S   28  2.2 435:00.75 tclmon
 2845 root      39  19     0    0    0 S    0  0.0   1:52.06 kipmi0
 6673 root      20   0 20052 1176  992 S    0  0.0   0:40.60 hald-addon-stor
15599 zabbix    25   5 76004 3716 1844 S    0  0.0   0:23.03 zabbix_server
15601 zabbix    25   5 76000 3700 1836 S    0  0.0   0:22.58 zabbix_server
15630 zabbix    25   5 76000 3700 1840 S    0  0.0   0:22.49 zabbix_server
15634 zabbix    25   5 76000 3700 1840 S    0  0.0   0:22.44 zabbix_server
32273 ss        20   0 19100 1368  988 R    0  0.0   0:00.03 top
    1 root      20   0  4100  900  608 S    0  0.0   0:01.47 init
    2 root      15  -5     0    0    0 S    0  0.0   0:00.00 kthreadd
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.08 migration/0
    4 root      15  -5     0    0    0 S    0  0.0   0:04.65 ksoftirqd/0
    5 root      RT  -5     0    0    0 S    0  0.0   0:00.00 watchdog/0
    6 root      RT  -5     0    0    0 S    0  0.0   0:00.06 migration/1
    7 root      15  -5     0    0    0 S    0  0.0   0:03.95 ksoftirqd/1

Статус ZABBIX

Code:

Параметр 	Значение 	Детали
ZABBIX сервер запущен 	Да 	-
Количество узлов сети (контролируется/не контролируется/шаблоны/удалено) 	83 	34 / 0 / 49
Количество элементов данных (активных/неактивных/не поддерживается)[trapper] 	189947 	115140 / 53573 / 21234
Количество триггеров (активированных/деактивированных)[истина/неизвестно/ложь] 	59120 	59120 / 0  [2019 / 951 / 56156]
Количество пользователей 	2 	1
Требуемое быстродействие сервера, новые значения в секунду 	38.4265 	-

каталог /tmp подмаунчен как tmpfs

Теперь вопрос, как заставить MySQL использовать все озу?
Как снизить загрузку ЦП?
Может кто подкинет свои конфиги mysql?

**sersad** · 16-10-2009, 07:54

Вот что выводят скрипты для оптимизации MySQL:
Работа с базой идет через сокет.
Пулеров опроса 40.

Code:

./mysqltuner.pl 

 >>  MySQLTuner 1.1.1 - Major Hayden <[email protected]>
 >>  Bug reports, feature requests, and downloads at http://mysqltuner.com/
 >>  Run with '--help' for additional options and output filtering         
Please enter your MySQL administrative login: root                         
Please enter your MySQL administrative password:                           

-------- General Statistics --------------------------------------------------
[--] Skipped version check for MySQLTuner script                              
[OK] Currently running supported MySQL version 5.0.67-0ubuntu6                
[OK] Operating on 64-bit architecture                                         

-------- Storage Engine Statistics -------------------------------------------
[--] Status: +Archive -BDB -Federated +InnoDB -ISAM -NDBCluster               
[--] Data in MyISAM tables: 1G (Tables: 3)                                    
[--] Data in InnoDB tables: 500M (Tables: 168)                                
[!!] Total fragmented tables: 1                                               

-------- Security Recommendations  -------------------------------------------
[!!] User '' has no password set.                                             
[!!] User '' has no password set.

-------- Performance Metrics -------------------------------------------------
[--] Up for: 1h 21m 35s (2M q [582.089 qps], 1K conn, TX: 716M, RX: 275M)
[--] Reads / Writes: 74% / 26%
[--] Total buffers: 9.1G global + 5.1M per thread (886 max threads)
[!!] Maximum possible memory usage: 13.6G (138% of installed RAM)
[OK] Slow queries: 0% (9K/2M)
[OK] Highest usage of available connections: 7% (70/886)
[OK] Key buffer size / total MyISAM indexes: 512.0M/88.7M
[!!] Key buffer hit rate: 68.4% (304K cached / 96K reads)
[!!] Query cache efficiency: 0.0% (0 cached / 1M selects)
[OK] Query cache prunes per day: 0
[OK] Sorts requiring temporary tables: 1% (84 temp sorts / 6K sorts)
[!!] Joins performed without indexes: 281
[!!] Temporary tables created on disk: 32% (183K on disk / 562K total)
[OK] Thread cache hit rate: 94% (70 created / 1K connections)
[!!] Table cache hit rate: 0% (64 open / 1M opened)
[OK] Open file limit used: 1% (18/1K)
[OK] Table locks acquired immediately: 100% (2M immediate / 2M locks)
[OK] InnoDB data size / buffer pool: 500.0M/8.0G

-------- Recommendations -----------------------------------------------------
General recommendations:
    Run OPTIMIZE TABLE to defragment tables for better performance
    MySQL started within last 24 hours - recommendations may be inaccurate
    Reduce your overall MySQL memory footprint for system stability
    Enable the slow query log to troubleshoot bad queries
    Adjust your join queries to always utilize indexes
    When making adjustments, make tmp_table_size/max_heap_table_size equal
    Reduce your SELECT DISTINCT queries without LIMIT clauses
    Increase table_cache gradually to avoid file descriptor limits
Variables to adjust:
  *** MySQL's maximum memory usage is dangerously high ***
  *** Add RAM before increasing MySQL buffer variables ***
    query_cache_limit (> 512B, or use smaller result sets)
    join_buffer_size (> 1.0M, or always use indexes with joins)
    tmp_table_size (> 128M)
    max_heap_table_size (> 128M)
    table_cache (> 64)

**sersad** · 16-10-2009, 07:57

Code:

     -- MYSQL PERFORMANCE TUNING PRIMER --
             - By: Matthew Montgomery

MySQL Version 5.0.67-0ubuntu6 x86_64

Uptime = 0 days 1 hrs 22 min 33 sec
Avg. qps = 582                     
Total Questions = 2882776          
Threads Connected = 66             
                  
Current long_query_time = 5 sec. 

You have 9905 out of 2882825 that take longer than 5 sec. to complete

Your long_query_time seems to be fine

WORKER THREADS

Current thread_cache_size = 4 

Current threads_cached = 2

Current threads_per_sec = 0 

Historic threads_per_sec = 0 

Your thread_cache_size is fine 

MAX CONNECTIONS
                           
Current max_connections = 886

Current threads_connected = 66

Historic max_used_connections = 70 

The number of used connections is 7% of the configured maximum. 

You are using less than 10% of your configured max_connections.  

Lowering max_connections could help to avoid an over-allocation of memory 

See "MEMORY USAGE" section to make sure you are not over-allocating
                
MEMORY USAGE
                  
Max Memory Ever Allocated : 9 G  

Configured Max Per-thread Buffers : 4 G

Configured Max Global Buffers : 9 G 
                         
Configured Max Memory Limit : 13 G 
                         
Physical Memory : 9.77 G 
                                                     
Max memory limit exceeds 90% of physical memory

KEY BUFFER  428683 * 1024 / 536870912 * 100 

428683 * 1024 / 536870912 * 100 

Current MyISAM index space = 88 M  
                        
Current key_buffer_size = 512 M     
                        
Key cache miss rate is 1 : 3   
                            
Key buffer free ratio = 0 %   
                             
You could increase key_buffer_size   
                      
It is safe to raise this up to 1/4 of total system memory;  
 
assuming this is a dedicated database server.    
            

QUERY CACHE
Query cache is enabled 
                                    
Current query_cache_size = 512 M 
                             
Current query_cache_used = 17 K 
                            
Current query_cache_limit = 512 bytes 
                      
Current Query cache Memory fill ratio = 0 %  
               
Current query_cache_min_res_unit = 256 bytes    
           
Your query_cache_size seems to be too high.     
            
Perhaps you can use these resources elsewhere  
          
MySQL won't cache query results that are larger than query_cache_limit in size 
                                           
SORT OPERATIONS
                                           
Current sort_buffer_size = 2 M  
                         
Current read_rnd_buffer_size = 1 M  
                       
Sort buffer seems to be fine 

JOINS 

Current join_buffer_size = 1.00 M   
  
You have had 281 queries where a join could not use an index properly
You should enable "log-queries-not-using-indexes"
Then look for non indexed joins in the slow query log.
If you are unable to optimize your queries you may want to increase your
join_buffer_size to accommodate larger joins in one pass.

Note! This script will still suggest raising the join_buffer_size when
ANY joins not using indexes are found.

OPEN FILES LIMIT
Current open_files_limit = 1024 files
The open_files_limit should typically be set to at least 2x-3x
that of table_cache if you have heavy MyISAM usage.
Your open_files_limit value seems to be fine

TABLE CACHE
Current table_cache value = 64 tables
You have a total of 188 tables
You have 65 open tables.
Current table_cache hit rate is 0%, while 101% of your table cache is in use
You should probably increase your table_cache

TEMP TABLES
Current max_heap_table_size = 128 M
Current tmp_table_size = 128 M
Of 384163 temp tables, 48% were created on disk
Perhaps you should increase your tmp_table_size and/or max_heap_table_size
to reduce the number of disk-based temporary tables
Note! BLOB and TEXT columns are not allow in memory tables.
If you are using these columns raising these values might not impact your
ratio of on disk temp tables.

TABLE SCANS
Current read_buffer_size = 1 M
Current table scan ratio = 334 : 1
read_buffer_size seems to be fine

TABLE LOCKING
Current Lock Wait ratio = 0 : 2886561
Your table locking seems to be fine

**den_crane** · 16-10-2009, 08:03

sersad,
покажите vmstat 1 10

Ad Widget

Производительность серверов

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment

Comment