Опыт клиента: University of Oslo
Будучи ведущим учебным заведением Норвегии, где обучаются почти 30,000 студентов, University of Oslo (UiO) располагает разнородной инфраструктурой: тысячи серверов и клиентов, всевозможные подключенные устройства, разные операционные системы, множество площадок и сотни ИТ-специалистов.
В этом кейсе рассказывается о проблемах, которые удалось решить с помощью Zabbix, и о сложностях внедрения Zabbix в качестве основного инструмента мониторинга в UiO. Последние полтора года Zabbix помогает ИТ-центру UiO достигать поставленных целей - полной автоматизации и делегирования привилегий.
University of Oslo располагает очень сложной инфраструктурой, за которой нужно следить: около 3,000 серверов (как Linux, так и Windows), 13,000TB хранилищ, более 1,500 баз данных всех типов, 2,500 маршрутизаторов, коммутаторов и точек доступа WiFi, а через сеть университета ежедневно проходит более 26TB входящих и исходящих данных.
Последние два года работа была сосредоточена на 4 направлениях, которые требовалось улучшить и модернизировать. Во-первых, на том, как обрабатывается информация о том, что работает в инфраструктуре. Во-вторых, на том, как ведется мониторинг инфраструктуры. Третьим направлением был анализ трендов. И последним - анализ журналов.
«В 2014 году, используя разные решения для мониторинга, мы столкнулись с тем, что некоторые из них больше не могли масштабироваться, а поддерживать и настраивать их было сложно», - говорит Rafael Martinez Guerrero, главный инженер University of Oslo. Кроме того, они не были интегрированы ни между собой, ни со средой, в которой работали. Именно тогда UiO решил внедрить Zabbix, чтобы улучшить то, как ИТ-центр ведет мониторинг ИТ-инфраструктуры.
Поскольку в администрировании, разработке и поддержке ИТ участвуют около 300 человек, на пути к центральной системе, отвечающей за мониторинг всей ИТ-инфраструктуры, пришлось преодолеть немало препятствий.
«После того как требования были определены и было принято решение изменить подход к мониторингу, мы сделали высокую степень автоматизации главным приоритетом, чтобы повысить эффективность ИТ-администрирования без лишней настройки», - говорит Rafael.Помимо необходимости плавной интеграции и автоматизации через API, список желаемых функций был длинным и амбициозным. Среди наиболее важных возможностей были распределенный мониторинг для масштабирования системы и возможность организовать мониторинг некоторых зон сети с ограниченным доступом. Расширенная система управления доступом с ролями Zabbix и группами пользователей была необходима, чтобы контролировать, как более 300 человек будут работать в системе. Также в этом проекте было очень важно избегать лишних оповещений и иметь возможность проводить анализ основной причины проблем.
Rafael так комментирует выбор Zabbix: «Мы провели глубокое исследование и сравнение возможностей Zabbix, и это убедило нас, что встроенные API и генератор событий, продвинутая базовая функциональность обработки данных и расширенная система управления доступом помогут нам достичь цели, несмотря на определенный скептицизм в отношении предлагаемых нами изменений».
Zabbix работает на существующей инфраструктуре UiO - на виртуальных машинах под управлением Red Hat Linux 7 с базой данных PostgreSQL в качестве бэкенда, а всей конфигурацией системы управляет CFEngine.
В UiO для всех компонентов Zabbix в системе используются выделенные серверы. Веб-серверы Apache обслуживают панель мониторинга и API Zabbix, в ядре системы находятся выделенный сервер баз данных и сервер Zabbix, а множество прокси в разных точках инфраструктуры собирают измерения с отслеживаемых ими компонентов.
Использование прокси Zabbix в активном режиме оказалось выгодным как для безопасности, так и для производительности, поскольку на запросы для сбора данных с агентов Zabbix требуется меньше ресурсов. Для достижения наилучшей производительности интервал обновления для разных проверок варьируется от 30 секунд до нескольких часов. «Вначале, в целях тестирования, мы включили мониторинг всех дисков с проверками каждую минуту, что давало 3,000-4,000 значений в секунду», - говорит Rafael. Для обеспечения масштабируемости интервалы обновления были оптимизированы в соответствии с реальными требованиями.
Обзор текущей системы: 3,000 серверов, 350,000 элементов данных, 200,000 триггеров, 350 пользователей с доступом к системе. ИТ-центр UiO активно использует в Zabbix функциональность групп узлов сети, чтобы создавать сложные роли с разными правами доступа, что позволяет отдельным пользователям иметь собственные шаблоны для своих параметров конфигурации.
В университете разработали уникальное программное обеспечение Nivlheim, которое используется для получения данных о конфигурации и системной информации со всех узлов сети университета. Вся информация, собранная с помощью агентов Nivlheim, индексируется и хранится на сервере Nivlheim, а доступ к ней можно получить через REST API.
Процесс добавления новых машин и удаления старых полностью автоматизирован. Благодаря информации, доступной через Nivlheim, в Zabbix автоматически создаются новые группы узлов сети для ролей и владельцев, а также шаблоны, а новые устройства добавляются быстро и без усилий. Устройства, на которых нельзя запустить агент Nivlheim, обновляются с помощью Zabbix-cli - терминального клиента, также разработанного в UiO.
При первом развертывании Zabbix возникли некоторые непредвиденные проблемы, однако их быстро решили, поскольку основной причиной был SELinux, работавший на машинах Zabbix. После того как это учли, все пошло гладко.
Еще одним критически важным аспектом внедрения Zabbix была оптимизация производительности. Вначале процессор базы данных постоянно находился под высокой нагрузкой. После профилирования системных вызовов производительность была оптимизирована, и проблемы с необъяснимой загрузкой процессора исчезли.
После переноса текущей системы на новый кластер VMware загрузка процессора стала еще лучше. «Так мы усвоили урок: в виртуальных средах нужно очень внимательно следить за тем, чтобы не выделять ресурсы сверх необходимого».
Rafael подчеркивает: «Правду говорят, что с большой силой приходит большая ответственность. Автоматизация прекрасна, когда нужно очень быстро что-то исправить, но она может так же быстро все разрушить». Несмотря на тщательное тестирование скриптов автоматизации, они не обнаружили ошибку в редком граничном случае, которая сработала в непредвиденной ситуации и вывела из строя всю систему, уничтожив все настройки и определения в Zabbix. Тем не менее, после того как причину проблемы выяснили и устранили, благодаря автоматизации все было очень быстро воссоздано без особых усилий.
Чтобы пользователям было намного проще получать доступ к данным Zabbix, UiO занимается интеграцией Zabbix с различными другими системами. Одно из используемых решений - плагин Grafana-Zabbix для доступа к данным Zabbix из Grafana, который позволяет пользователям создавать собственные панели мониторинга, объединяющие данные Zabbix с данными из других систем.
Информация об оповещениях из Zabbix также отправляется в ELK, поэтому пользователи могут получать к ней доступ через панели Kibana, включать ее в панели с данными из множества систем и сопоставлять данные Zabbix с информацией из журналов других систем.
Как видите, Zabbix легко интегрируется с различными системами, а его данные можно использовать совместно с другими инструментами для создания надежного центра обзора ИТ-инфраструктуры.
Как всегда, ИТ-центр UiO постоянно работает над улучшением системы, ищет новые способы автоматизации задач и настройки генерации оповещений. Цель - высокоэффективная центральная система мониторинга с релевантными оповещениями, которая помогает предоставлять университету высококачественные сервисы.

University of Oslo - старейшее и крупнейшее учебное заведение Норвегии, в котором обучаются почти 30,000 студентов со всего мира. В состав UiO входят 8 факультетов, 2 музея и 19 библиотек.
С момента основания в 1811 году UiO готовит лучших специалистов в области права, математики и естественных наук, медицины, гуманитарных наук, теологии, социальных и педагогических наук. Пять ученых, связанных с University of Oslo, были удостоены Нобелевской премии.
Заполните этот опросный лист или напишите нашей команде маркетинга для получения дальнейшей помощи.
Zabbix - бесплатное программное обеспечение с открытым исходным кодом. Никаких ограничений и скрытых расходов