Опыт клиента: University of Oslo

Zabbix отслеживает разнородную инфраструктуру ведущего учебного заведения Норвегии, включающую более 3,000 серверов и сервисов

Проблема

Прежний общий инструмент мониторинга больше не масштабировался, а поддерживать конфигурацию было сложно, поскольку в работе участвовало много системных администраторов.
Множество специализированных инструментов мониторинга без интеграции между собой и со средой, в которой они работали.

Требования

Центральная система мониторинга по возможности берет на себя функции специализированных инструментов мониторинга и получает оповещения от остальных.
Расширенная система аутентификации/авторизации пользователей.
API и генерация событий для интеграции с остальной инфраструктурой.

Подход

Высокая степень автоматизации при настройке новых устройств, выборе того, что отслеживать, и определении доступа к различным ресурсам.
Интеграция с существующими системами управления конфигурациями и каналами уведомлений, ELK и Grafana.

Результат

Мониторинг более 3,000 серверов и сервисов, более 200,000 определений оповещений и около 130,000,000 измерений, сохраняемых в базе данных каждый день.
Основное решение для мониторинга служит центральным звеном для получения и обработки данных мониторинга.

Будучи ведущим учебным заведением Норвегии, где обучаются почти 30,000 студентов, University of Oslo (UiO) располагает разнородной инфраструктурой: тысячи серверов и клиентов, всевозможные подключенные устройства, разные операционные системы, множество площадок и сотни ИТ-специалистов.

В этом кейсе рассказывается о проблемах, которые удалось решить с помощью Zabbix, и о сложностях внедрения Zabbix в качестве основного инструмента мониторинга в UiO. Последние полтора года Zabbix помогает ИТ-центру UiO достигать поставленных целей - полной автоматизации и делегирования привилегий.

У крупной инфраструктуры есть свои минусы

Rafael Martinez Guerrero
Rafael Martinez Guerrero,
Главный инженер Центра информационных технологий
University of Oslo

University of Oslo располагает очень сложной инфраструктурой, за которой нужно следить: около 3,000 серверов (как Linux, так и Windows), 13,000TB хранилищ, более 1,500 баз данных всех типов, 2,500 маршрутизаторов, коммутаторов и точек доступа WiFi, а через сеть университета ежедневно проходит более 26TB входящих и исходящих данных.

Последние два года работа была сосредоточена на 4 направлениях, которые требовалось улучшить и модернизировать. Во-первых, на том, как обрабатывается информация о том, что работает в инфраструктуре. Во-вторых, на том, как ведется мониторинг инфраструктуры. Третьим направлением был анализ трендов. И последним - анализ журналов.

«В 2014 году, используя разные решения для мониторинга, мы столкнулись с тем, что некоторые из них больше не могли масштабироваться, а поддерживать и настраивать их было сложно», - говорит Rafael Martinez Guerrero, главный инженер University of Oslo. Кроме того, они не были интегрированы ни между собой, ни со средой, в которой работали. Именно тогда UiO решил внедрить Zabbix, чтобы улучшить то, как ИТ-центр ведет мониторинг ИТ-инфраструктуры.

Новое решение для мониторинга превзошло ожидания

Поскольку в администрировании, разработке и поддержке ИТ участвуют около 300 человек, на пути к центральной системе, отвечающей за мониторинг всей ИТ-инфраструктуры, пришлось преодолеть немало препятствий.

«После того как требования были определены и было принято решение изменить подход к мониторингу, мы сделали высокую степень автоматизации главным приоритетом, чтобы повысить эффективность ИТ-администрирования без лишней настройки», - говорит Rafael.

Помимо необходимости плавной интеграции и автоматизации через API, список желаемых функций был длинным и амбициозным. Среди наиболее важных возможностей были распределенный мониторинг для масштабирования системы и возможность организовать мониторинг некоторых зон сети с ограниченным доступом. Расширенная система управления доступом с ролями Zabbix и группами пользователей была необходима, чтобы контролировать, как более 300 человек будут работать в системе. Также в этом проекте было очень важно избегать лишних оповещений и иметь возможность проводить анализ основной причины проблем.

Rafael так комментирует выбор Zabbix: «Мы провели глубокое исследование и сравнение возможностей Zabbix, и это убедило нас, что встроенные API и генератор событий, продвинутая базовая функциональность обработки данных и расширенная система управления доступом помогут нам достичь цели, несмотря на определенный скептицизм в отношении предлагаемых нами изменений».

Zabbix работает на существующей инфраструктуре UiO - на виртуальных машинах под управлением Red Hat Linux 7 с базой данных PostgreSQL в качестве бэкенда, а всей конфигурацией системы управляет CFEngine.

Как довести процесс автоматизации до совершенства

В UiO для всех компонентов Zabbix в системе используются выделенные серверы. Веб-серверы Apache обслуживают панель мониторинга и API Zabbix, в ядре системы находятся выделенный сервер баз данных и сервер Zabbix, а множество прокси в разных точках инфраструктуры собирают измерения с отслеживаемых ими компонентов.

Использование прокси Zabbix в активном режиме оказалось выгодным как для безопасности, так и для производительности, поскольку на запросы для сбора данных с агентов Zabbix требуется меньше ресурсов. Для достижения наилучшей производительности интервал обновления для разных проверок варьируется от 30 секунд до нескольких часов. «Вначале, в целях тестирования, мы включили мониторинг всех дисков с проверками каждую минуту, что давало 3,000-4,000 значений в секунду», - говорит Rafael. Для обеспечения масштабируемости интервалы обновления были оптимизированы в соответствии с реальными требованиями.

Обзор текущей системы: 3,000 серверов, 350,000 элементов данных, 200,000 триггеров, 350 пользователей с доступом к системе. ИТ-центр UiO активно использует в Zabbix функциональность групп узлов сети, чтобы создавать сложные роли с разными правами доступа, что позволяет отдельным пользователям иметь собственные шаблоны для своих параметров конфигурации.

В университете разработали уникальное программное обеспечение Nivlheim, которое используется для получения данных о конфигурации и системной информации со всех узлов сети университета. Вся информация, собранная с помощью агентов Nivlheim, индексируется и хранится на сервере Nivlheim, а доступ к ней можно получить через REST API.

Процесс добавления новых машин и удаления старых полностью автоматизирован. Благодаря информации, доступной через Nivlheim, в Zabbix автоматически создаются новые группы узлов сети для ролей и владельцев, а также шаблоны, а новые устройства добавляются быстро и без усилий. Устройства, на которых нельзя запустить агент Nivlheim, обновляются с помощью Zabbix-cli - терминального клиента, также разработанного в UiO.

При первом развертывании Zabbix возникли некоторые непредвиденные проблемы, однако их быстро решили, поскольку основной причиной был SELinux, работавший на машинах Zabbix. После того как это учли, все пошло гладко.

Еще одним критически важным аспектом внедрения Zabbix была оптимизация производительности. Вначале процессор базы данных постоянно находился под высокой нагрузкой. После профилирования системных вызовов производительность была оптимизирована, и проблемы с необъяснимой загрузкой процессора исчезли.

После переноса текущей системы на новый кластер VMware загрузка процессора стала еще лучше. «Так мы усвоили урок: в виртуальных средах нужно очень внимательно следить за тем, чтобы не выделять ресурсы сверх необходимого».

Rafael подчеркивает: «Правду говорят, что с большой силой приходит большая ответственность. Автоматизация прекрасна, когда нужно очень быстро что-то исправить, но она может так же быстро все разрушить». Несмотря на тщательное тестирование скриптов автоматизации, они не обнаружили ошибку в редком граничном случае, которая сработала в непредвиденной ситуации и вывела из строя всю систему, уничтожив все настройки и определения в Zabbix. Тем не менее, после того как причину проблемы выяснили и устранили, благодаря автоматизации все было очень быстро воссоздано без особых усилий.

Чтобы пользователям было намного проще получать доступ к данным Zabbix, UiO занимается интеграцией Zabbix с различными другими системами. Одно из используемых решений - плагин Grafana-Zabbix для доступа к данным Zabbix из Grafana, который позволяет пользователям создавать собственные панели мониторинга, объединяющие данные Zabbix с данными из других систем.

Информация об оповещениях из Zabbix также отправляется в ELK, поэтому пользователи могут получать к ней доступ через панели Kibana, включать ее в панели с данными из множества систем и сопоставлять данные Zabbix с информацией из журналов других систем.

Как видите, Zabbix легко интегрируется с различными системами, а его данные можно использовать совместно с другими инструментами для создания надежного центра обзора ИТ-инфраструктуры.

Как всегда, ИТ-центр UiO постоянно работает над улучшением системы, ищет новые способы автоматизации задач и настройки генерации оповещений. Цель - высокоэффективная центральная система мониторинга с релевантными оповещениями, которая помогает предоставлять университету высококачественные сервисы.

Обзор системы

Количество отслеживаемых серверов: около 3,000
Количество прокси: 4
Количество триггеров: около 200,000
Количество элементов данных: около 350,000
Количество пользователей: 350
NVPS: около 1,500

Оборудование для сервера Zabbix

База данных: около 400GB


The University of Oslo (UiO)

University of Oslo - старейшее и крупнейшее учебное заведение Норвегии, в котором обучаются почти 30,000 студентов со всего мира. В состав UiO входят 8 факультетов, 2 музея и 19 библиотек.

С момента основания в 1811 году UiO готовит лучших специалистов в области права, математики и естественных наук, медицины, гуманитарных наук, теологии, социальных и педагогических наук. Пять ученых, связанных с University of Oslo, были удостоены Нобелевской премии.

Местоположение:
Осло, Норвегия
Дата основания:
1811
Сотрудники:
6,000
Операционный бюджет:
7.5 млрд (NOK)

Хотели бы поделиться своей историей использования решения мониторинга Zabbix?

Заполните этот опросный лист или напишите нашей команде маркетинга для получения дальнейшей помощи.

Приступите к работе за 10 минут, совершенно БЕСПЛАТНО

Скачать Zabbix

Zabbix - бесплатное программное обеспечение с открытым исходным кодом. Никаких ограничений и скрытых расходов