ИНЖЕНЕРНЫЙ ВЗГЛЯД НА МОНИТОРИНГ ОБОРУДОВАНИЯ ЦОД. ОПЫТ ВНЕДРЕНИЯ
Г.Л. Веселуха (ООО "ИнСАТ")
Потребителям информации кажется, что центр обработки данных (ЦОД) — это исключительно область ИT технологий: серверы, маршрутизаторы, дисковые массивы, трафик и т.д. И это правильно. Средства мониторинга сетевого оборудования, захвата и анализа трафика, в том числе в средах виртуализации, помогают повысить доступность и улучшить качество предоставляемых ЦОДами услуг. Но ориентированы они исключительно на сетевое оборудование, то есть из множества стандартных средств общения понимают только протокол SNMP (рис. 1).
Рис. 1. Структура мониторинга информационных сервисов ЦОД
А службы, эксплуатирующие вычислительные центры (даже те, которые не удостоились громкого звания ЦОД), кроме основой задачи предоставления сервисов, отвечают за множество других процессов: охлаждение стоек с серверами, бесперебойное электроснабжение, пожаротушение. Все это — огромное хозяйство, требующее постоянного мониторинга и контроля. Вопросы мониторинга оборудования жизнеобеспечения ложатся или на производителя оборудования, или на интегратора. Но все частно фирменные системы мониторинга, как правило, поддерживают только «собственное» оборудование.
Специалисты, выпустившие в конце 80-х годов ХХ века описание протокола управления сетевым оборудованием SNMP (Simple Network Management Protocol), были энтузиастами развития сети Internet, и им не нравилось, что каждый производитель сетевого оборудования создает собственные продукты для мониторинга и конфигурирования. Они не могли не задумываться о разнообразии протоколов вообще, о том, что в других отраслях существуют многими годами успешно работающие протоколы. Но время требовало скорейшего решения насущной проблемы. И созданный для простых задач «простой» протокол, успев распространиться, не оставил места для более развитых решений мониторинга ИT-инфраструктуры. В результате сегодня Оборудование (маршрутизаторы, серверы), всегда использующееся в сетях TCP/IP, в большинстве случаев поддерживает протокол SNMP.
Оборудование, преимущественно использующееся для поддержки серверной и сетевой инфраструктуры (в основном, ИБП), опционально может иметь сетевые карты с поддержкой SNMP. Оборудование общепромышленного назначения (кондиционеры, дизель-генераторы, автоматы ввода резерва, системы пожарной сигнализации и контроля доступа), иногда использующееся для организации упомянутой инфраструктуры, обычно такой поддержки не имеет и вряд ли будет иметь. В них традиционно используются другие протоколы, ориентированные на наиболее тиражные для них области. Так для дизель-генераторов, используемых «везде», наиболее характерен общепромышленный протокол связи Modbus, а для кондиционеров — распространенный в системах автоматизации зданий протокол LonWorks. При стихийном разрастании системы мониторинга ЦОД по мере оснащения ее разным оборудованием и возникновения потребностей руководства и обслуживающего персонала в получении информации можно получить схему, представленную на рис. 2.
Рис. 2. Вариант несистемного подхода к построению системы мониторинга
Даже в упрощенном виде схема выглядит избыточной и фрагментированной, а значит — плохо обслуживаемой. На данный момент существуют различные современные комплексные средства мониторинга информационной инфраструктуры как с подходом «от предоставляемых сервисов», так и с подходом «от оборудования и программ». Они помогают разным группам системных администраторов в своевременном обнаружении инцидентов, связанных с предоставлением сервисов.
В связи с этим организация эксплуатации инженерного оборудования и выбор системы мониторинга ЦОДа должны продумываться до начала исполнения проекта. Если заказчик это упустил, получит непредвиденные расходы на других этапах, а также увеличение сроков окупаемости системы в целом.
В помощь инженеру, эксплуатирующему не сетевое, но очень важное оборудование ЦОД можно пойти другим путем и привлечь в ИT область технологии промышленной автоматизации. Рассмотрим ЦОД как технологическую систему. В этом случае логичнее все реализовать в одной программной системе типа SCADA (рис. 3).
Рис. 3. Системный подход к мониторингу оборудования
Решаемая задача полностью адекватна термину Supervisory Control And Data Acquisition. И, чем раньше выбор будет сделан в пользу такого подхода, тем лучше. Например, выбрал заказчик хорошее оборудование, прекрасно выполняющее технологическую задачу, допустим, кондиционирования. И объем воздуха, и необходимую разность температур подсчитал, мощность установки определил и т.д. Все прекрасно! Но стоимость преобразования нестандартного протокола связи встроенного в систему управляющего контроллера в любой стандартный может в некоторых случаях достигать четырехзначных цифр в чужой валюте. Подобные нюансы необходимо учитывать до начала реализации проекта. Выбор на рынке большой, есть возможность найти те же характеристики у другого, более лояльного к клиентам производителя.
Итак, начав разработку для ЕИВЦ ОАО «МОЭК», компания ИнСАТ пошла по пути перехода от структуры, отображенной на рис. 2, к схеме рис. 3, для чего заменила оборудование с нестандартными протоколами. На практике никто не меняет дизель-генератор из-за того, что он не вписывается в систему мониторинга. Но иногда можно заменить управляющий контроллер. Если и этого нельзя, то у MasterSCADA [1, 2] предусмотрены средства подключения оборудования без написания драйверов (например, мастер форматированного обмена по каналам связи MasterLink). Его пришлось использовать для подключения системы автоматического пожаротушения. Подключить можно все, но с разными затратами.
Подход к мониторингу ЦОД не только со стороны сервисов, не только с заботой о тяжелой судьбе системных администраторов, но и с учетом нужд инженеров-эксплуатационников и диспетчеров позволяет построить по-настоящему комплексную систему мониторинга. Именно такую задачу ставило перед собой руководство ЕИВЦ ОАО «МОЭК», когда создавало концепцию системы мониторинга. К сожалению, эта концепция созрела не на этапе проектирования ЕИВЦ, а в результате опыта его эксплуатации. А наличие такого опыта, возможность анализа эксплуатационных проблем является существенным плюсом при решении осмысленных проблем.
Стандартная задача системы мониторинга: непрерывный контроль состояния, доступности, производительности оборудования; получение сообщений об авариях и их устранении; отображение этих сведений на АРМ диспетчера и эксплуатирующего персонала. Мониторингу подлежат: параметры электроснабжения и среды в помещениях с установленным оборудованием (температура, влажность, наличие протечек воды, утечка фреона), серверные шкафы (температура), оборудование электроснабжения (состояние АВР, параметры ИБП, параметры генератора резервного питания, контроль автоматов групп электроснабжения), состояние вентиляционного оборудования, система пожаротушения (рис. 4).
Рис. 4. Структура мониторинга инженерных систем ЦОД на базе MasterSCADA
Дополнительная задача, которая была возложена на систему мониторинга: измерение температуры каждой батареи во всех ИБП. Доступное решение от производителя ИБП при большом числе точек измерения становится громоздким (позволяет подключить всего до восьми датчиков температуры на контроллер мониторинга высотой в 1U) и дорогим. Примененный специалистами ИнСАТ альтернативный вариант выигрывает и по компактности (20 датчиков на 1U), и по стоимости.
Система мониторинга, созданная на базе MasterSCADA, включает выделенный архивный сервер и 8 клиентских АРМ, а также видеостену на 6 экранов в центральной диспетчерской. Сбор данных и управление обеспечивают контроллеры B-Tune с исполнительной системой MasterPLC, через которые осуществляется контроль более 400 температурных сигналов 1-wire, 25 модулей M-7000, к которым подключено более 150 сигналов от датчиков (протечки, температуры, влажности, уровня, контроля напряжения, открывания двери). Оборудование, поддерживающее стандартные протоколы, подключено к MasterSCADA при помощи OPC-северов. Universal MODBUS MasterOPC Server опрашивает дизель-генераторную установку FG Wilson с панелью Power Wizard, автоматы ввода резерва AtyS, модули ввода сигналов ICP DAS и ОВЕН, согласователь работы кондиционеров СРК-М, регистраторы параметров качества электроэнергии Парма, насосы Grundfos — всего более 400 сигналов. MasterOPC Multiprotocol Server (плагин SNMP) занимается опросом источников бесперебойного питания APC Symmetra, в том числе Symmetra PX160kW — более 3000 сигналов. Сигналы системы пожаротушения Дозор-16 через мультипортовую плату интерфейса RS-485 (MOXA) читаются в MasterSCADA c помощью визарда обмена данными SmartLink.
Рис. 5. Стартовая мнемосхема АРМ инженера и руководителя
Успешного внедрения системы удалось добиться совместными усилиями. Всем, пожалуй, известно, что на начальном этапе реализации подобного проекта заказчик достаточно схематично представляет задачу автоматизации. Поэтому с ключевыми специалистами ЕИВЦ МОЭК обсуждение технического задания велось поэтапно, с перерывами на осмысление и уточнение задач. Этап за этапом пожелания стыковались с возможностями, рождая действительно функциональную и эффективную систему мониторинга инженерного оборудования. Новые задачи и пожелания появлялись и после ввода системы в промышленную эксплуатацию, что доказало верность утверждения: система, построенная на базе MasterSCADA, может быть безболезненно расширена или модернизирована на любом этапе жизненного цикла.
Стартовые мнемосхемы для АРМ диспетчера и других пользователей системы отличаются. В диспетчерском пункте требуется более оперативное предоставление информации, поэтому для отображения состояния всех подсистем одновременно выводятся 6 мнемосхем на 6 мониторов видеостены.
При возникновении важных событий в подсистемах, не поместившихся на 6 мониторах, их изображение автоматически появляется поверх стартовых окон. Например, в случае пропадания напряжения на обоих вводах и запуске дизель-генератора, появляется его детальная мнемосхема с подробной информацией состоянии и режимах (рис. 6).
Рис. 6. Мнемосхема дизель-генератора
Заказчик планировал оценивать реализованный проект по целевым критериям: снижение эксплуатационных расходов; увеличение надежности; автоматизация простейших эксплуатационных операций. Созданная система полностью удовлетворяет поставленным целям. Она также обладает мощными средствами и для «разбора полетов» после каких-либо инцидентов. Все события системы фиксируются в специализированных журналах, изменения значений параметров отображаются графически, позволяя произвести анализ взаимозависимостей значений параметров и событий, происходящих в системе, и таким образом определить причины аварийных ситуаций. Например, на рис. 7 наглядно видно пропадание напряжения на вводе.
Рис. 7. Фиксация пропадания напряжения на вводе
Специалист легко проверит, как сработала подсистема гарантированного электроснабжения именно в это время (какие АВР переключились, потребовалось ли включение питания от ИБП или дизель-генератора, какие потребители могли остаться без питания и т.п.). И никому не придется тратить время на оправдания, написание и чтение служебных записок. Таким образом, подход к мониторингу ЦОДа как технологической системы доказал свои преимущества, а возможности SCADA-системы с запасом перекрывают любые, даже самые требовательные, запросы заказчика.
Список литературы
1. Веселуха Г.Л., Цукерман Ю.Д. MasterSCADA – система комплексного учета ресурсов предприятия // Автоматизация в промышленности. 2008. №9.
2. Веселуха Г.Л. Типовая система автоматизации водоканала с использованием объектных возможностей // Автоматизация в промышленности. 2011. №12.
Веселуха Галина Леонидовна – заместитель директора компания ИнСАТ.
Контактный телефон (495) 989-22-49.