И. Царев (Schneider Electric): рост площадей и мощностей ЦОД на машиностроительных предприятиях будет, но вряд ли взрывной

Илья Царев, главный инженер проектов компании Schneider Electric, рассказал в интервью Порталу машиностроения о тенденциях, стандартизации, новых технологиях на рынке ЦОД, а также об особенностях и ошибках при проектировании и эксплуатации ЦОД на машиностроительных предприятиях.

- ЦОДы для машиностроительных предприятий: каковы тенденции и особенности рынка?

- Машиностроительные предприятия находятся на разных стадиях освоения информационных технологий: есть ведущие предприятия, где внедрены многочисленные передовые комплексы, например, ОАО "Сухой", НПО "Сатурн", и есть предприятия, где все находится в зачаточном состоянии: освоены электронная почта и электронная бухгалтерия, а дальнейшего продвижения нет, потому что нет ресурсов, желания и понимания, куда и зачем двигаться. Есть предприятия, еще в советское время имевшие мощные вычислительные системы и "растерявшие" их в 90-е годы по причине недофинансирования и отсутствия спроса на сложные информационные услуги со стороны производства.

Разумеется, количество и "тяжесть" информационных систем зависит и от масштабов предприятия. Тем не менее, почти все машиностроительные предприятия стараются подтянуться на определённый уровень, чтобы иметь как минимум базовый набор электронных информационных сервисов. В итоге, количество информационных систем (с разными скоростью и успехом) на предприятиях растет.

На определенном этапе такого роста IT-подразделения предприятий приходят к необходимости построения центра обработки данных: комплекса технических и аппаратно-программных средств, выполняющих сбор, обработку и хранение информации. ЦОД – это не только серверное помещение, как иногда думают, а именно комплекс систем: вычислительные мощности, сетевые мощности, хранение информации, системы инженерного обеспечения этого комплекса.

- Насколько часто предприятия строят свои ЦОДы, а не арендуют отдельную часть существующего ЦОДа, используя colocation?


- В настоящее время для производственных предприятий типично желание построить свой ЦОД самостоятельно. Рынок коммерческих ЦОДов, предоставляющих услуги по аренде инженерной инфраструктуры ЦОД и вычислительных ресурсов, только развивается. Как и к другим видам аутсорсинга, у многих организаций в России к услугам коммерческих ЦОД существует настороженное отношение. Предприятия стараются держать все под своим контролем, не хотят "делиться" бюджетами со сторонними организациями, не желают физически разделять оборудование. Есть также нюансы, связанные с информационной безопасностью.

Для машиностроительной компании ее интеллектуальная собственность (конструкторские решения, ноу-хау) играет важнейшую роль. Поэтому пока нет уверенности в надежности использования сторонних ресурсов, руководство ИТ-подразделений (вынужденное отвечать на вопросы о надежности защиты информации на сторонних ресурсах, поступающих от подразделений режима и высшего руководства) будет держать все под контролем на своей территории. Если говорить про предприятия, связанные с оборонной промышленностью, то они имеют дело не только с коммерческой тайной, но и с государственной. Некоторые из них вынуждены эксплуатировать специализированные аппаратно-программные комплексы для шифрования передачи данных, и переносить что-либо они будут разве что по требованию государства в определенные государственные защищенные центры обработки данных.

Отдельная проблема – наличие, качество и стоимость каналов связи на предприятиях, особенно в регионах. Если предприятие имеет единственный дорогой и медленный канал связи, принадлежащий местному связному монополисту (типичная картина для некоторых ЗАТО или моногородов), даже самые прогрессивные идеи по использованию ресурсов удаленных ЦОД отомрут из-за цены и ненадежности канала связи. В остальном же, ЦОД машиностроительного предприятия – это типовой корпоративный ЦОД с учетом особенностей по использованию IT: наличие САПР, системы электронного склада, логистики, системы промышленного телевидения, электронного архива.

- Что можно сказать о размерах ЦОД на машиностроительных предприятиях?


- Как правило, такой ЦОД – сравнительно небольшой: в среднем от 4 до 6 стоек с вычислительным оборудованием, бывает 10-20 стоек. Если центр занимает 100 кв.м. и потребляет порядка 150 киловатт – это считается уже большим ЦОД для машиностроительного предприятия. Для сравнения: коммерческие ЦОД в России сейчас бывают на сотни и тысячи стоек.

- Будет ли тенденция к увеличению?

- С одной стороны конечно рост будет, потому что отечественное машиностроение по сравнению с Европой, США еще не до конца охвачено информатизацией. Сейчас говорят о дигитализации, о проникновении ИТ-сервисов, туда, где их раньше не было: еще глубже в складскую, в сервисную, в снабженческую деятельность, использование разных технологий RFID-меток в производстве. Есть широкое поле для роста применения ИТ-систем в машиностроении. ЦОД в частности может стать ядром для таких систем, как современные "сетевые" системы безопасности, т.е. IP-телевидение, современные цифровые системы сигнализации, контроль доступа, различные системы мониторинга.

Но в настоящее время также идет конвергенция вычислительного оборудования – слияние функций основных классов ИТ-оборудования: серверного, сетевого и систем хранения данных. Постепенно функции переплетаются между собой, оборудование становится универсальным. Появились сравнительно новые технологии оптимизации вычислительных ресурсов ЦОД, например, виртуализация, "облачные" вычисления. Эти технологии позволяют лучше, плотнее загрузить оборудование работой, растут и удельные вычислительные мощности. Также должен расти уровень ИТ-специалистов, работающих с ЦОД. Они понимают, как его можно эффективнее использовать.

Таким образом существуют две разнонаправленные тенденции: углубление информатизации и дигитализации производства с одной стороны, и оптимизация использования вычислительных мощностей ИТ-оборудования с другой. В результате, рост площадей и мощности "машиностроительных" ЦОД будет, но вряд ли взрывной. Заказчики будут лучше понимать, зачем им эти ИТ-системы, будут искать эффективные решения. Очень сложно давать какие-то количественные оценки, но для некоего усредненного предприятия можно предположить полуторакратный рост площадей и потребляемой мощности ЦОД в ближайшие 5 лет. Конечно, это некая "средняя температура по больнице", и для реального предприятия все может быть иначе.

Одной из главных задач при построении ЦОД является правильное прогнозирование его перспектив роста. Приезжая на корпоративный ЦОД, часто видишь, что он перегружен: построен лет десять назад, а с тех пор заказчик получил множество ИТ-систем вместе с необходимостью их обслуживания, уже выбрал ресурсы своего оборудования, полностью занял помещение и теперь ломает голову, как без отключения сервисов начать модернизацию своего объекта. Зачастую ЦОД строился для оборудования, работающего на определенных технологиях охлаждения, электроснабжения, которые по прошествии времени оказались "экзотическими", неподдерживаемыми современными производителями. Прошло время, технологии сильно изменились, и заказчик вынужден пытаться изменить инженерную инфраструктуру ЦОД под новое оборудование. Но текущая инфраструктура не приспособлена к изменениям: немодульное и/или уникальное, оборудование от вендора, которого уже не существует. В итоге заказчику приходится начинать строительство инфраструктуры ЦОД практически с нуля.

- Что имеет значение для предприятия, которое начинает создавать ЦОД? Какие есть нюансы в зависимости от размера предприятия и планов его развития?

- Если это небольшое предприятие, где нет "глубокого" передела сырья, например, происходит "отверточная сборка", то такому предприятию лучше не создавать свой ЦОД, а использовать сторонние ресурсы, либо наиболее "легкие" системы: виртуальные "офисные пакеты", "легкие" складские, логистические системы, для которых достаточно и персонального компьютера.

Если предприятие имеет сложный и длительный цикл производства продукции, сотни поставщиков, тысячи работников и десятки производственных площадок, занимается конструкторской деятельностью и владеет большим объемом конструкторской документации, оно должно обладать "тяжелыми" ИТ-системами. В этот момент появляется необходимость построения серьезного ЦОД.

Проект ЦОД начинается с подготовки бизнес-плана, его утверждения, выделения финансирования. Должна быть поставлена задача по внедрению определенных ИТ-систем, подобрано соответствующее вычислительное и сетевое оборудование. Уже после этого нужно переходить к вопросам построения инженерной инфраструктуры ЦОД, к поиску помещения. Бывают заказчики, которые к сожалению по разным причинам переставляют эти этапы местами. В пределе, для проектировщика ЦОД, получившего подряд на его создание, может звучать так: "Нам нужен ЦОД. Есть хорошее помещение в здании заводоуправления или заводской АТС, давайте его чем-нибудь займем. ТЗ напишите себе сами".

На следующем этапе решается вопрос о технической стороне инженерной инфраструктуры ЦОДа, его обеспечивающих инженерных системах. Формируется задание на проектирование, в котором отражаются: сроки реализации, основные технические показатели будущего ЦОД (занимаемая площадь, потребляемая мощность общая и на стойку, требуемый уровень надежности).

Мы стараемся прийти к заказчику именно в момент, когда он начинает прорабатывать такое решение, т.е. именно на концептуальном этапе, чтобы уберечь его от ошибок и преждевременных шагов. Когда задание на проектирование создано, после него или параллельно с ним проходит этап создания концепции, в которой достаточно в общих чертах без лишней конкретики излагается, как должен выглядеть будущий ЦОД. Проводится его зонирование, оценка и первичное размещение площадок под инженерное оборудование. Указываются требования к строительной подготовке здания.

Подготовленная концепция вместе с заданием на проектирование утверждаются руководством предприятия и становятся маяком для дальнейших действий по созданию ЦОД. Таким образом, у проектировщиков поставлены рамки, и они вынуждены их придерживаться, что помогает удержаться в рамках бюджета и получить то решение, которое хочет заказчик. Далее следуют этапы выбора проектной организации, проектирования, реализации проекта, поставки оборудования. Часто забывают про очень важный этап после строительства ЦОДа – этап сдачи в эксплуатацию. Сроки поджимают, времени нет, завозят и планируют запуск оборудования, заключены контракты на его поддержку. И этап испытания и сдачи в эксплуатацию "пробегают" формально, а потом возможны ситуации, когда инженерные системы ЦОДа не дают нужного функционала и мощности. Начинается новый проект по реконструкции, модернизации, поиск ошибок.

На этапе эксплуатации может подстерегать очередная ошибка, когда заказчик считает, что ему не требуется стороннее техническое обслуживание построенных систем: электрики, охлаждения, пожаротушения, безопасности. Но часто такие надежды не оправдываются, оборудование обслуживается или неправильно, или не обслуживается вообще. И инженерное оборудование ЦОДа находится в плохом состоянии, нечищеное, работает в неоптимальных режимах – "еле дышит". Часто заказчик не понимает, в чем проблема, и просто начинает наращивать по мощности свои инженерные системы, при этом зачастую решение кроется совсем в другом. Особенно это типично для системы кондиционирования и вентиляции ЦОД.

Почему это так важно? Основной ресурс, который тратится в ЦОД – это электроэнергия для вычислительного оборудования, при этом 99,99% энергии переходит в тепло. Это оборудование должно находиться в постоянных климатических условиях с узкими температурными рамками, и для нормальной работы это тепло нужно отводить с помощью системы кондиционирования и вентиляции. Она является вторым по мощности потребителем в ЦОДе после вычислительного оборудования. И именно за счет правильной оптимальной работы системы кондиционирования можно сократить электропотребление в ЦОде.

Часто выделенные на ЦОД мощности исчерпываются именно за счет того, что неэффективно работают его инженерные системы, что приводит к невозможности дальнейшего расширения ЦОДа и к необходимости выполнять новый проект по реконструкции электросети, что и проблематично, и затратно. Иногда просто неправильно, не по проекту расставлено вычислительное оборудование, нет заглушек на пустых юнитах в шкафах, неправильно настроены кондиционеры и чилеры. Или, например, на этапе строительства ЦОДа сэкономили незначительные деньги, не внедрив энергоэффективные технологии и оборудование, которые позволили бы в дальнейшем сэкономить на эксплуатации.

- Какие могут быть использованы энергоэффективные технологии?

- Например, технология "свободного охлаждения" в системах кондиционирования. В российском климате она позволяет снизить годовое электропотребление систем кондиционирования ЦОД на 40-50% и более. Технология, как вариант, позволяет полностью или частично отказаться от работы компрессоров фреоновых контуров чиллерных систем в холодный период года. Также следует упомянуть современные модульные системы бесперебойного питания, в том числе на технологиях дельтапреобразования, имеющие КПД вплоть до 97-98%.

- Какие бывают ошибки в эксплуатации?

- Часто видишь в корпоративных ЦОДах морально устаревшее оборудование, которое заказчик не утилизирует. Такое оборудование продолжает потреблять энергию, занимать место и решает третьестепенные задачи, которые можно было бы, например при помощи технологии виртуализации, переложить на новое оборудование и освободить место в ЦОД. Бывают запущенные случаи, когда ЦОД превращается в склад: стоят неиспользуемые стеллажи, системные блоки, рабочие станции, коробки. При этом владельцы ЦОД не понимают, что они этим хламом занимают одну из самых дорогих площадей на предприятии. Часто заказчик ради экономии или из-за консерватизма отказывается от автоматизированной системы мониторинга и управления ЦОД, полагаясь на дежурную IT-смену или общую дежурную службу предприятия. Такой вариант не всегда эффективен из-за человеческого фактора или стечения обстоятельств (например, дежурный персонал занят на устранении неисправностей на другом участке предприятия). Мы обычно предлагаем обращать особое внимание на системы диспетчеризации ЦОД, потому что их внедрение в итоге повышает доступность ЦОДа и его сервисов.

Следующая ошибка – часто при построении ЦОДа забывают о необходимости строительства вспомогательных помещений: для дежурной смены, склада, для временного размещения оборудования, под инженерные системы (щитовая, холодоцентр), тестовая зона. Часто об этом вспоминают после или в процессе проектирования, в итоге эти помещения получаются неадекватного размера или в неподходящих местах.

При выборе площадки одна из распространенных ошибок – это когда ЦОД размещается в неподходящем здании. Зачастую его пытаются любыми способами разместить в офисном здании, например в помещениях заводоуправления, объясняя желанием видеть его близко от ИТ-службы или необходимостью иметь полный контроль над хранящейся информацией. Но при современном развитии сетевых технологий делать это не обязательно. ЦОДу требуются электроэнергия, адекватные площади и адекватная нагрузочная способность перекрытий здания. Оборудование ЦОДа весит очень много, есть сервера, которые дают нагрузку на пол свыше 2т. на кв.м, источники бесперебойного питания могут весить еще больше. ЦОД можно разместить, например, на промышленной площадке в том случае, если там нет определенных вредных воздействий: электромагнитного излучения, коррозирующих газов, вибрации и т.д. При этом нужно решить задачу по организации надежной связи ЦОД с потребителями его услуг, а также по его удаленному мониторингу и управлению – построению системы диспетчеризации.

Машиностроительному предприятию, у которого обычно нет лишних средств, и оно работает по программам развития, логично строить свой ЦОД по модульному принципу, чтобы иметь возможность как наращивать его, так и при необходимости сокращать. По завершению программы лишние инфраструктурные мощности из ЦОДа можно перебросить на другую площадку или продать, утилизировать. Такие решения мы предлагаем, у нас есть модульные источники бесперебойного питания, что позволяет 1) достаточно легко их наращивать на определенную мощность путем установки стандартизованных силовых и батарейных модулей или 2) уменьшать мощность, убирая неиспользуемые модули, что проходит за секунды, и это может выполнить человек минимальной квалификации. Систему кондиционирования сразу надо продумывать так, чтобы можно было нарастить ее мощность за счёт дополнительных модулей, также нужно заранее подготовить трубную разводку для установки дополнительных модулей без остановки всей системы кондиционирования. Все подобные решения помогают перейти к планомерному развитию проекта, уменьшить горизонт планирования, быть уверенным в развитии проекта.

- Вы обучаете сотрудников предприятия, которые будут в дальнейшем заниматься ЦОДом?

- В типовой контракт по поставке мы стараемся включать и обучение сотрудников. На некоторое оборудование одно из условий предоставления гарантии – обучение сотрудников заказчика.

- Расскажите, пожалуйста, о стандартизации в области построения ЦОД.

- В настоящее время нет современного российского стандарта по построению ЦОД. Есть инструкция СН 512-78 по проектированию зданий и помещений для ЭВМ 1978г., с дополнениями 2000г. Фактически, при строительстве ЦОД проектировщики вынуждены опираться на международные и американские стандарты, в частности на американский стандарт TIA-942, и рекомендации экспертных организаций в этой области. Используются, конечно, российские стандарты по электробезопасности, правила устройства электроустановок, стандарты по проектированию систем безопасности, пожаротушения, стандарты по санитарным нормам.

- Насколько плохо использование стандартов других стран при проектировании ЦОД?

- С одной стороны мы таким образом перепрыгнули через этап подготовки своего стандарта. С другой стороны, иногда бывают сюрпризы, когда приходишь в проект, а заказчик говорит, что будет пользоваться древним советским стандартом, или жестко следовать американскому стандарту даже в тех случаях, когда это не нужно в российских условиях, или будет применять немецкий стандарт. Например, одно из российских предприятий нефтегазовой отрасли пользуется при построении ЦОД рекомендациями Центробанка РФ в части обеспечения технической безопасности, хотя никакого отношения к банковской деятельности они не имеют.

- Обращаются ли к вам заказчики с задачей по эффективному использованию или реконструкции имеющегося ЦОД?

- Да, бывают такие проекты. Первый вариант, когда у заказчика есть программа или желание создать программу по модернизации ЦОДа и его расширению без остановки работы центра. Второй вариант предполагает выполнение ряда отдельных мероприятий для увеличения эффективности работы ЦОДа при минимальном бюджете. Проводится аудит ЦОДа: определяются проблемы и пути их решения с минимальными затратами. Возможно, просто неправильно расставлено оборудование, нет заглушек в шкафах, помещение загромождено. Решение таких проблем не требует серьезных вложений, но улучшение воздухоснабжения в ЦОДе, проверка и удаление старого оборудования, сервисное обслуживание инженерных систем (даже не нашего производства), введение минимального мониторинга позволяет сделать использование ЦОД более эффективным.

- Вы часто сталкиваетесь с такими проектами на машиностроительных предприятиях?

- В наше подразделение приходит порядка десяти таких запросов в год, наше сервисное подразделение решает больше таких задач. Одна из интересных услуг в этой области – моделирование воздушных потоков в ЦОДе. Строится модель центра обработки данных с имеющимся оборудованием, указывается температура воздуха, различные условия в ЦОДе (проницаемость плиток фальшпола, наличие или отсутствие заглушек в шкафах...). В итоге мы получаем картину воздушных потоков в ЦОДе, которая наглядно демонстрирует источник проблем, соответственно, мы также можем показать, как картина меняется в лучшую сторону при определенных мероприятиях по реконструкции.


Рис. 1 Воздушный поток в помещении



Рис. 2 Температура в 1.5 м над фальшполом

- Расскажите, пожалуйста, про проекты на машиностроительных предприятиях.


- Мы участвовали в проекте по построению суперкомпьютера – вычислительного кластера "АЛ-100" для НПО "Сатурн". В рамках проекта мы участвовали в создании инженерной инфраструктуры для обеспечения работоспособности вычислительного комплекса: поставили комплекс инженерного оборудования, стоечные решения, систему мониторинга. Таким образом, мы помогли построить предприятию современный красивый ЦОД, которым можно гордиться.

Еще один интересный проект – суперкомпьютер "Ломоносов" в МГУ им. М.В. Ломоносова. На нем обсчитываются различные задачи, в т.ч. из области машиностроения, материаловедения, химии. Была реализована инженерная платформа для суперкомпьютера: применены достаточно интересные решения по распределению электропитания, по охлаждению. Сейчас мы также занимаемся несколькими проектами в технопарках, ориентированных на работу с машиностроительными предприятиями.

- Илья, спасибо Вам за беседу и подробные ответы на вопросы!

  Беседовала Елена Абашева (Портал машиностроения)

Источник информации
Компании
Опубликовано 17.07.2013