Модульный ЦОД для Группы «Черкизово»

Группа «Черкизово» – крупнейший в России производитель мяса и комбикормов. Группа входит в тройку лидеров на рынках мяса птицы, свинины, колбасных изделий. Наиболее известные бренды Группы – «Черкизовский», «Петелинка», «Куриное царство», «Моссельпром».

Модульная структура позволила обеспечить полноценный запуск дата-центра на Черкизовском мясоперерабатывающем заводе за 10 месяцев, что примерно в полтора раза меньше срока среднестатистического проекта по постройке ЦОД корпоративного уровня.

Модульный ЦОД построен с учетом требований международного стандарта TIA-942, уровень надежности комплекса инженерных систем соответствует TIER II, а коэффициент отказоустойчивости равен 99,749%. Площадь – около 200 м². В ЦОД расположены 32 высоконагруженные стойки, на которых размещены ядро корпоративной сети и серверные платформы для всех основных бизнес-приложений (SAP, 1C, CSB, корпоративной почты и др.).

«Наша ИТ-стратегия ориентирована на обеспечение надежного высокотехнологичного ландшафта для растущего бизнеса, консолидацию вычислительных ресурсов, снижение затрат на их эксплуатацию, повышение отказоустойчивости и централизацию управления ИТ-инфраструктурой. В этом контексте строительство ЦОД приобрело статус повышенной важности, – комментирует Владислав Беляев, директор по информационным технологиям Группы "Черкизово". – В результате мы получили современный корпоративный дата-центр с высокопроизводительной инфраструктурой, позволяющий оперативно решать задачи, связанные с расширением производства и наращиванием мощностей. Более того, реализованная конструкция технологически обеспечивает высокий уровень мобильности самого дата-центра – мы в прямом смысле слова можем при необходимости переместить его в другое место в сжатые сроки».

Впервые в российской практике строительства модульных ЦОД применена технология активного охлаждения с помощью плит фальшпола HydroLogic, позволившая на 30% увеличить пространство дата-центра.

Модульный ЦОД

Задача выглядела следующим образом: правильно разместить вычислительные мощности, рассчитанные на решение ИТ-задач.

«Вариантов у нас было довольно много – и собственный ЦОД, и облака, и collocation. Только на их подбор и сравнение мы потратили около трех месяцев, – рассказывает Владислав Беляев. – Скрупулезная оценка совокупности экономических, технологических и прочих факторов, таких как стоимость владения в перспективе 5-7 лет, надежность, безопасность данных, доступность, позволила принять однозначное решение в пользу строительства своего дата-центра».

Еще одним аргументом в пользу «выращивания» ЦОД на своей территории послужило наличие готовой для строительства площадки с подведенными магистральными каналами, электроснабжением и транспортными путями.

«“Черкизово” – ИТ-зависимое производство. Каждый батон колбасы и каждая коробка имеет этикетку со штрих-кодом, которая наклеивается в момент комплектования и упаковки продукции. Мастер, сканируя штрих-код, получает всю информацию о сырье, сроках годности и дальнейшей логистике. Остановка сети даже на несколько минут означает невозможность маркировать продукцию, а простой в несколько часов приводит к порче продукции и крупным штрафным санкциям от ритейлеров. Как показывает наша практика, подобные компании не переносят свои критические ИС во внешние среды», – подчеркивает Сергей Андронов, директор Центра сетевых решений компании «Инфосистемы Джет».

«Капитальное строительство – это серьезные временные и финансовые вложения, которые мы сочли ненужными. Более того, нам пришлось бы нести ряд сопутствующих затрат, например, расширять площадку и приспосабливать дороги для подвоза оборудования. Модульное решение не только позволяло ввести ЦОД в эксплуатацию в сжатые сроки, но и не тратить время на разработку проектной документации, проработку и интеграцию решений различных вендоров», – поясняет Владислав Беляев.

МЦОД состоит из трех модулей, соответствующих по размерам морскому контейнеру. Это позволило избежать дополнительных затрат, связанных с транспортировкой модулей от производителя до площадки. Кроме того, модульное решение исключает такие риски, как ошибки при проектировании и монтаже.

«Модули от немецкого производителя Contain-RZ поставлялись с готовой проектной документацией и собранными инженерными системами, что существенно сократило сроки строительства, – рассказывает Вячеслав Бурковский, начальник отдела инженерных систем “Инфосистемы Джет“. – Но адаптировать немецкое решение под отечественные реалии все же пришлось: система пожаротушения была переработана с учетом требований российского законодательства. Полученный опыт мы можем тиражировать в других проектах».

9 преимуществ МЦОД

• Отсутствие временных затрат на разработку проектной документации
• Моновендорный подход: не нужно тратить время на подбор производителей конструктивных элементов ЦОД
• Один логистический канал – небольшой срок поставки МЦОД
• Минимальный срок строительной подготовки
• Сокращенный временной интервал для ввода МЦОД в эксплуатацию
• Минимальный риск проектных ошибок и ошибок скрытого монтажа – МЦОД TIER I−IV Ready
• Гарантия проверенности решения
• Простота масштабирования
• Высокая мобильность конструкции

Выбор исполнителя

Помимо «классических» критериев выбора исполнителя – проектного опыта и стоимости решения – значительную роль играл и субъективный фактор. Оценивалась готовность и желание компании-партнера вкладываться в предпроектную и пресейловую работу.

«Мы – заказчик непростой, долго выбираем и сомневаемся. Нам было очень важно убедиться, что партнер готов проявлять терпение и понимание, не “перегорев” на этапе пресейла», – говорит Владислав Беляев.

«Мы были готовы искать и находить оптимальные способы достижения нужного результата. В “Черкизово” ЛПР по проекту находятся на разных уровнях, и нам потребовалось найти для каждого свой набор аргументов – для бизнеса, для ИТ, для производства и т.д.», – рассказывает Сергей Андронов.

Особенности строительства на непрерывном производстве

C технической точки зрения монтаж модульного ЦОД не представляет сложностей: на подготовленной площадке ставятся блоки, производится монтаж оборудования и подводятся коммуникации. Но построить ЦОД на непрерывно работающем заводе – задача со своими особенностями.

«Бывали и такие ситуации, когда машина с оборудованием не могла заехать, потому что отгрузка продукции идет непрерывным потоком по 300 тонн в сутки, и такие, когда технологические окна для работ выделялись с двух до трех часов ночи, – вспоминает Владислав Беляев. – Каждый наш шаг приходилось согласовывать с технологами и логистами».

«Мы ввели в процедуру монтажных работ “репетиции”, на которых моделировали и отрабатывали последовательность действий вплоть до мельчайших деталей и шагов. Это необходимо было для того, чтобы безупречно и с первого раза “сыграть акт пьесы“ – второй попытки после неудачного этапа могло уже и не быть», – подчеркнул Вячеслав Бурковский.

Уникальные технологии

Впервые в российской практике цодостроения в проекте были применены активные охлаждающие плиты HydroLogic.

«Думаю, многие знают, что задача эффективного теплоотвода в ЦОД входит в число первостепенных, – рассказывает Сергей Андронов. – Contain-RZ – единственная компания, использующая в своих решениях МЦОД активные плиты охлаждения HydroLogic. Их применение позволило вынести системы кондиционирования дата-центра в зону фальшполов. Каждая из активных плит “забирает“ 10–20 кВт нагрузки со стойки (стандартные решения такой же мощности требуют установки оборудования внутри ЦОД)».

В результате пространство ЦОД увеличилось примерно на 30%: стало возможно разместить больше стоек на единицу площади, тем самым сократив общее количество модулей с 4–5 до 3, а следовательно и бюджет проекта.

Техническое решение

Модульный ЦОД

• 3 модуля ISO 40, F90: 1 – под энергетику, 2 – под стойки
• 32 интегрированные стойки, в среднем по 10 кВт каждая
• Резервируемые вводы + ДГУ (8 часов работы без дозаправки)
• ИБП N+1
• Фальшпол и активные плиты HydroLogic
• Чиллеры N+1
• Слаботочные системы
• Система газового пожаротушения
• Система контроля и мониторинга
• Система видеонаблюдения и видеорегистрации
• Система вентиляции и кондиционирования
• Структурированная кабельная сеть

Система бесперебойного электроснабжения обеспечивает не менее 15 минут работы дата-центра в нормальном режиме.

Для обеспечения отказоустойчивости большая часть подсистем имеет резервирование не менее «N+1». Предусмотрен автоматический перевод ЦОД на электроснабжение от ДГУ.

Подсистемы ЦОД увязаны с инженерными системами всех зданий завода, а также подключены к комплексной системе мониторинга, отслеживающей температурные показатели, нагрузку на наиболее критичное оборудование и пр. Система мониторинга оперативно оповещает ответственного администратора, а ее интерфейс позволяет управлять инженерными устройствами удаленно.

Бизнес-выгоды ЦОД

Создание ЦОД с современной и мощной инженерной инфраструктурой позволяет снизить риски эксплуатации информационных систем Группы «Черкизово».

«Наш ЦОД обеспечивает работоспособность систем, защищен от сбоев по питанию, по температуре, из-за отключения одного провайдера. Когда речь идет об ИТ, сложно посчитать окупаемость в точных цифрах, но оценивая время простоев, мы можем определить, насколько минимизированы потери, – подытоживает Владислав Беляев. – Минимизация потерь, в свою очередь, приводит к увеличению прибыли компании».

Владислав Беляев:

«Недавно в Германии я посетил несколько мясокомбинатов, и теперь могу с уверенностью сказать, что уровень наших ИТ-решений не уступает таковым на заводах, построенных там 2-3 года назад. А заводы, построенные 10 лет назад, мы и вовсе превосходим. Тем более что в Германии ИТ закладываются на этапе green field, а мы совместно с компанией “Инфосистемы Джет” реализовали уникальный проект, создав ИТ-инфраструктуру в “историческом” здании на работающем 24 часа в сутки производстве».

Модульная структура дала возможность построить и запустить дата-центр на Черкизовском мясоперерабатывающем заводе за 10 месяцев. Это примерно в полтора раза меньше срока среднестатистического проекта по постройке ЦОД корпоративного уровня. ЦОД строился на непрерывно работающем заводе. Использование модулей с готовой проектной документацией и собранными инженерными системами позволило исключить риски ошибок при проектировании и монтаже.

Площадь ЦОД – около 200 м².  В нем расположены 32 высоконагруженные стойки, на которых размещены ядро корпоративной сети и серверные платформы для всех основных бизнес-приложений. Уровень надежности комплекса инженерных систем соответствует TIER II, а коэффициент отказоустойчивости равен 99,749%. Система бесперебойного электроснабжения обеспечивает не менее 15 минут автономной работы дата-центра.  Предусмотрен автоматический перевод ЦОД на электроснабжение от ДГУ.

Впервые в российской практике строительства модульных ЦОД применена технология активного охлаждения с помощью плит фальшпола HydroLogic. Она  позволила на 30% увеличить полезное пространство дата-центра.

Большая часть подсистем имеет резервирование не менее «N+1». Подсистемы ЦОД увязаны с инженерными системами всех зданий завода, а также подключены к комплексной системе мониторинга, отслеживающей температурные показатели, нагрузку на наиболее критичное оборудование и пр.