Ad Widget

Collapse

Zabbix 2.2.11, как уменьшить размер базы данных?

Collapse
X
 
  • Time
  • Show
Clear All
new posts
  • real_sm
    Junior Member
    • Jul 2013
    • 25

    #1

    Zabbix 2.2.11, как уменьшить размер базы данных?

    Приветствую.

    Zabbix 2.2.11, количество хостов - около 25, агенты не установлены, единственный триггер у всех - на отсутствие ответа на пинг.

    Сегодня размер базы ~7 гигабайт. Вот верх таблицы размеров таблиц:

    Code:
    +--------------------+-------------------------------------------+------------+
    | Database           | Table                                     | Size in MB |
    +--------------------+-------------------------------------------+------------+
    | zabbix             | history_uint                              |    4114.00 |
    | zabbix             | history                                   |    3138.00 |
    | zabbix             | trends_uint                               |      55.61 |
    | zabbix             | trends                                    |      43.59 |
    Как уменьшить размер базы данных?
    Last edited by real_sm; 28-03-2016, 12:53.
  • sadman
    Senior Member
    • Dec 2010
    • 1611

    #2
    Хаускипер включали?

    Comment

    • real_sm
      Junior Member
      • Jul 2013
      • 25

      #3
      Originally posted by sadman
      Хаускипер включали?
      Включил сегодня, через веб-интерфейс заббикса, за 1 час до того, как открыть эту ветку. Если он срабатывает раз в сутки, то завтра должен быть результат.

      Comment

      • real_sm
        Junior Member
        • Jul 2013
        • 25

        #4
        Сутки прошли, вот изменения (по сути, почти никаких):

        Code:
        +--------------------+-------------------------------------------+------------+
        | Database           | Table                                     | Size in MB |
        +--------------------+-------------------------------------------+------------+
        | zabbix             | history_uint                              |    4112.98 |
        | zabbix             | history                                   |    3123.97 |
        | zabbix             | trends_uint                               |      65.67 |
        | zabbix             | trends                                    |      50.64 |
        | zabbix             | history_str                               |       9.83 |
        Что еще можно попробовать?

        Comment

        • a.abakarov
          Junior Member
          • Mar 2016
          • 14

          #5
          Originally posted by real_sm
          Сутки прошли, вот изменения (по сути, почти никаких):

          Code:
          +--------------------+-------------------------------------------+------------+
          | database           | table                                     | size in mb |
          +--------------------+-------------------------------------------+------------+
          | zabbix             | history_uint                              |    4112.98 |
          | zabbix             | history                                   |    3123.97 |
          | zabbix             | trends_uint                               |      65.67 |
          | zabbix             | trends                                    |      50.64 |
          | zabbix             | history_str                               |       9.83 |
          Что еще можно попробовать?
          Чую вы храните все данные в бд, хотя вам достаточно хранить неделю - две реальные данные, а остальное как динамику изменений
          Да, и сколько времени живет ваш заббикс?

          Comment

          • real_sm
            Junior Member
            • Jul 2013
            • 25

            #6
            Originally posted by a.abakarov
            Чую вы храните все данные в бд, хотя вам достаточно хранить неделю - две реальные данные, а остальное как динамику изменений
            Да, MySQL. Все настраивал по умолчанию, единственно что как заметил распухшую базу, сделал сегментацию - для каждой таблицы отдельный файл. Но проблему с местом это, конечно же, не решило.

            Где можно почитать про установку, сколько времени хранить данные?

            Originally posted by a.abakarov
            Да, и сколько времени живет ваш заббикс?
            2 года и 4 месяца.

            Comment

            • a.abakarov
              Junior Member
              • Mar 2016
              • 14

              #7
              Originally posted by real_sm
              Да, mysql. Все настраивал по умолчанию, единственно что как заметил распухшую базу, сделал сегментацию - для каждой таблицы отдельный файл. Но проблему с местом это, конечно же, не решило.

              Где можно почитать про установку, сколько времени хранить данные?
              В документации, если у вас только пинги, то ставьте 14 дней для храниния реальных значений и пару лет для хранения динамики изменений, и еще если это сделаете, то следите чтобы при хаускипинге не умер ваш сервер, там можно сделать ограничение на количество удаляемых данных

              Comment

              • real_sm
                Junior Member
                • Jul 2013
                • 25

                #8
                Originally posted by a.abakarov
                В документации, если у вас только пинги, то ставьте 14 дней для храниния реальных значений и пару лет для хранения динамики изменений, и еще если это сделаете, то следите чтобы при хаускипинге не умер ваш сервер, там можно сделать ограничение на количество удаляемых данных
                Ну, я вот вчера сделал так (см. картинку в приложении). Сутки уже прошло, ничего не поменялось, как я уже писал.
                Attached Files

                Comment

                • a.abakarov
                  Junior Member
                  • Mar 2016
                  • 14

                  #9
                  Originally posted by real_sm
                  Ну, я вот вчера сделал так (см. картинку в приложении). Сутки уже прошло, ничего не поменялось, как я уже писал.
                  в History поставить галку Override, выставить значение 14
                  В Trends поставить обе галки, выставить 1000-2000 (это динамика изменений, в вашем случает будет занимать ничтожно мало места, на графиках не отразится)

                  Ну или бегать по каждому элементу данных и везде прописывать history 14, trends - 1000-2000 потом хаускипинг убьет ненужные данные

                  8 гб.. лучше настройте zabbix_server.conf на запуск хаускипинга каждые пару часов/час, но сделайте ограничение на кол-во удаляемых значений 50000-100000

                  Сколько у вас строк в этих распухших таблицах? в phpmyadmin можно посмотреть не заходя внутрь таблицы, иначе рискуете занять диск операциями io
                  Last edited by a.abakarov; 29-03-2016, 14:30.

                  Comment

                  • real_sm
                    Junior Member
                    • Jul 2013
                    • 25

                    #10
                    Originally posted by a.abakarov
                    Сколько у вас строк в этих распухших таблицах? в phpmyadmin можно посмотреть не заходя внутрь таблицы, иначе рискуете занять диск операциями io
                    Code:
                    history_uint:
                    
                    +----------+
                    | count(*) |
                    +----------+
                    | 54462882 |
                    +----------+
                    Code:
                    history:
                    
                    +----------+
                    | count(*) |
                    +----------+
                    | 42331102 |
                    +----------+
                    Попробую постепенно. Сначала сделал Override item history period и выставил значение 60.
                    Last edited by real_sm; 29-03-2016, 14:42.

                    Comment

                    • a.abakarov
                      Junior Member
                      • Mar 2016
                      • 14

                      #11
                      Originally posted by real_sm
                      Code:
                      history_uint:
                      
                      +----------+
                      | count(*) |
                      +----------+
                      | 54462882 |
                      +----------+
                      Code:
                      history:
                      
                      +----------+
                      | count(*) |
                      +----------+
                      | 42331102 |
                      +----------+
                      Попробую постепенно. Сначала сделал override item history period и выставил значение 60.
                      Пробуйте, желательно еще помониторить заббикс сервер во время хаускипинга, думаю что кол-во удаляемых элементов за раз можно еще накрутить

                      Comment

                      • real_sm
                        Junior Member
                        • Jul 2013
                        • 25

                        #12
                        Originally posted by a.abakarov
                        Пробуйте, желательно еще помониторить заббикс сервер во время хаускипинга, думаю что кол-во удаляемых элементов за раз можно еще накрутить
                        А как узнать, когда именно процесс хаускипинга запустится?

                        Comment

                        • a.abakarov
                          Junior Member
                          • Mar 2016
                          • 14

                          #13
                          Originally posted by real_sm
                          А как узнать, когда именно процесс хаускипинга запустится?
                          следить в ps )))
                          а на счет параметра MaxHousekeeperDelete, он ограничивает удаление данных только уже удаленных элементов, думайте и прикидывайте сами, сколько у вас удаленных элементов
                          если их мало, лучше ставьте на ночь уже
                          да и по сути думаю 8 гб быстро отработаются
                          Last edited by a.abakarov; 29-03-2016, 14:57.

                          Comment

                          • real_sm
                            Junior Member
                            • Jul 2013
                            • 25

                            #14
                            Originally posted by a.abakarov
                            следить в ps )))
                            ok, спасибо большое. Буду пробовать.

                            Comment

                            • sadman
                              Senior Member
                              • Dec 2010
                              • 1611

                              #15
                              Originally posted by real_sm
                              А как узнать, когда именно процесс хаускипинга запустится?
                              График 'Internal process busy %' для вашего Zabbix-сервера.
                              И да, после одного запуска вы ничего не заметите, особенно в конфиге задано удаление небольшого количества строк. А с некоторыми SQL (PostgreSQL) вообще можете не заметить, пока вручную таблицу за сдуете.

                              Comment

                              Working...