Группа «Черкизово» – крупнейший в России производитель мяса и комбикормов. Группа входит в тройку лидеров на рынках мяса птицы, свинины, колбасных изделий. Наиболее известные бренды Группы – «Черкизовский», «Петелинка», «Куриное царство», «Моссельпром».
Модульная структура позволила обеспечить полноценный запуск дата-центра на Черкизовском мясоперерабатывающем заводе за 10 месяцев, что примерно в полтора раза меньше срока среднестатистического проекта по постройке ЦОД корпоративного уровня.
Модульный ЦОД построен с учетом требований международного стандарта TIA-942, уровень надежности комплекса инженерных систем соответствует TIER II, а коэффициент отказоустойчивости равен 99,749%. Площадь – около 200 м2. В ЦОД расположены 32 высоконагруженные стойки, на которых размещены ядро корпоративной сети и серверные платформы для всех основных бизнес-приложений (SAP, 1C, CSB, корпоративной почты и др.).
«Наша ИТ-стратегия ориентирована на обеспечение надежного высокотехнологичного ландшафта для растущего бизнеса, консолидацию вычислительных ресурсов, снижение затрат на их эксплуатацию, повышение отказоустойчивости и централизацию управления ИТ-инфраструктурой. В этом контексте строительство ЦОД приобрело статус повышенной важности, – комментирует Владислав Беляев, директор по информационным технологиям Группы "Черкизово". – В результате мы получили современный корпоративный дата-центр с высокопроизводительной инфраструктурой, позволяющий оперативно решать задачи, связанные с расширением производства и наращиванием мощностей. Более того, реализованная конструкция технологически обеспечивает высокий уровень мобильности самого дата-центра – мы в прямом смысле слова можем при необходимости переместить его в другое место в сжатые сроки».
Впервые в российской практике строительства модульных ЦОД применена технология активного охлаждения с помощью плит фальшпола HydroLogic, позволившая на 30% увеличить пространство дата-центра.
Модульный ЦОД
Задача выглядела следующим образом: правильно разместить вычислительные мощности, рассчитанные на решение ИТ-задач.
«Вариантов у нас было довольно много – и собственный ЦОД, и облака, и collocation. Только на их подбор и сравнение мы потратили около трех месяцев, – рассказывает Владислав Беляев. – Скрупулезная оценка совокупности экономических, технологических и прочих факторов, таких как стоимость владения в перспективе 5-7 лет, надежность, безопасность данных, доступность, позволила принять однозначное решение в пользу строительства своего дата-центра».
Еще одним аргументом в пользу «выращивания» ЦОД на своей территории послужило наличие готовой для строительства площадки с подведенными магистральными каналами, электроснабжением и транспортными путями.
«“Черкизово” – ИТ-зависимое производство. Каждый батон колбасы и каждая коробка имеет этикетку со штрих-кодом, которая наклеивается в момент комплектования и упаковки продукции. Мастер, сканируя штрих-код, получает всю информацию о сырье, сроках годности и дальнейшей логистике. Остановка сети даже на несколько минут означает невозможность маркировать продукцию, а простой в несколько часов приводит к порче продукции и крупным штрафным санкциям от ритейлеров. Как показывает наша практика, подобные компании не переносят свои критические ИС во внешние среды», – подчеркивает Сергей Андронов, директор Центра сетевых решений компании «Инфосистемы Джет».
«Капитальное строительство – это серьезные временные и финансовые вложения, которые мы сочли ненужными. Более того, нам пришлось бы нести ряд сопутствующих затрат, например, расширять площадку и приспосабливать дороги для подвоза оборудования. Модульное решение не только позволяло ввести ЦОД в эксплуатацию в сжатые сроки, но и не тратить время на разработку проектной документации, проработку и интеграцию решений различных вендоров», – поясняет Владислав Беляев.
МЦОД состоит из трех модулей, соответствующих по размерам морскому контейнеру. Это позволило избежать дополнительных затрат, связанных с транспортировкой модулей от производителя до площадки. Кроме того, модульное решение исключает такие риски, как ошибки при проектировании и монтаже.
«Модули от немецкого производителя Contain-RZ поставлялись с готовой проектной документацией и собранными инженерными системами, что существенно сократило сроки строительства, – рассказывает Вячеслав Бурковский, начальник отдела инженерных систем “Инфосистемы Джет“. – Но адаптировать немецкое решение под отечественные реалии все же пришлось: система пожаротушения была переработана с учетом требований российского законодательства. Полученный опыт мы можем тиражировать в других проектах».
9 преимуществ МЦОД
- Отсутствие временных затрат на разработку проектной документации
- Моновендорный подход: не нужно тратить время на подбор производителей конструктивных элементов ЦОД
- Один логистический канал – небольшой срок поставки МЦОД
- Минимальный срок строительной подготовки
- Сокращенный временной интервал для ввода МЦОД в эксплуатацию
- Минимальный риск проектных ошибок и ошибок скрытого монтажа – МЦОД TIER I−IV Ready
- Гарантия проверенности решения
- Простота масштабирования
- Высокая мобильность конструкции
Выбор исполнителя
Помимо «классических» критериев выбора исполнителя – проектного опыта и стоимости решения – значительную роль играл и субъективный фактор. Оценивалась готовность и желание компании-партнера вкладываться в предпроектную и пресейловую работу.
«Мы – заказчик непростой, долго выбираем и сомневаемся. Нам было очень важно убедиться, что партнер готов проявлять терпение и понимание, не “перегорев” на этапе пресейла», – говорит Владислав Беляев.
«Мы были готовы искать и находить оптимальные способы достижения нужного результата. В “Черкизово” ЛПР по проекту находятся на разных уровнях, и нам потребовалось найти для каждого свой набор аргументов – для бизнеса, для ИТ, для производства и т.д.», – рассказывает Сергей Андронов.
Особенности строительства на непрерывном производстве
C технической точки зрения монтаж модульного ЦОД не представляет сложностей: на подготовленной площадке ставятся блоки, производится монтаж оборудования и подводятся коммуникации. Но построить ЦОД на непрерывно работающем заводе – задача со своими особенностями.
«Бывали и такие ситуации, когда машина с оборудованием не могла заехать, потому что отгрузка продукции идет непрерывным потоком по 300 тонн в сутки, и такие, когда технологические окна для работ выделялись с двух до трех часов ночи, – вспоминает Владислав Беляев. – Каждый наш шаг приходилось согласовывать с технологами и логистами».
«Мы ввели в процедуру монтажных работ “репетиции”, на которых моделировали и отрабатывали последовательность действий вплоть до мельчайших деталей и шагов. Это необходимо было для того, чтобы безупречно и с первого раза “сыграть акт пьесы“ – второй попытки после неудачного этапа могло уже и не быть», – подчеркнул Вячеслав Бурковский.
Уникальные технологии
Впервые в российской практике цодостроения в проекте были применены активные охлаждающие плиты HydroLogic.
«Думаю, многие знают, что задача эффективного теплоотвода в ЦОД входит в число первостепенных, – рассказывает Сергей Андронов. – Contain-RZ – единственная компания, использующая в своих решениях МЦОД активные плиты охлаждения HydroLogic. Их применение позволило вынести системы кондиционирования дата-центра в зону фальшполов. Каждая из активных плит “забирает“ 10–20 кВт нагрузки со стойки (стандартные решения такой же мощности требуют установки оборудования внутри ЦОД)».
В результате пространство ЦОД увеличилось примерно на 30%: стало возможно разместить больше стоек на единицу площади, тем самым сократив общее количество модулей с 4–5 до 3, а следовательно и бюджет проекта.
Техническое решение
- 3 модуля ISO 40, F90: 1 – под энергетику, 2 – под стойки
- 32 интегрированные стойки, в среднем по 10 кВт каждая
- Резервируемые вводы + ДГУ (8 часов работы без дозаправки)
- ИБП N+1
- Фальшпол и активные плиты HydroLogic
- Чиллеры N+1
- Слаботочные системы
- Система газового пожаротушения
- Система контроля и мониторинга
- Система видеонаблюдения и видеорегистрации
- Система вентиляции и кондиционирования
- Структурированная кабельная сеть
Система бесперебойного электроснабжения обеспечивает не менее 15 минут работы дата-центра в нормальном режиме.
Для обеспечения отказоустойчивости большая часть подсистем имеет резервирование не менее «N+1». Предусмотрен автоматический перевод ЦОД на электроснабжение от ДГУ.
Подсистемы ЦОД увязаны с инженерными системами всех зданий завода, а также подключены к комплексной системе мониторинга, отслеживающей температурные показатели, нагрузку на наиболее критичное оборудование и пр. Система мониторинга оперативно оповещает ответственного администратора, а ее интерфейс позволяет управлять инженерными устройствами удаленно.
Бизнес-выгоды ЦОД
Создание ЦОД с современной и мощной инженерной инфраструктурой позволяет снизить риски эксплуатации информационных систем Группы «Черкизово».
«Наш ЦОД обеспечивает работоспособность систем, защищен от сбоев по питанию, по температуре, из-за отключения одного провайдера. Когда речь идет об ИТ, сложно посчитать окупаемость в точных цифрах, но оценивая время простоев, мы можем определить, насколько минимизированы потери, – подытоживает Владислав Беляев. – Минимизация потерь, в свою очередь, приводит к увеличению прибыли компании».
Владислав Беляев:
«Недавно в Германии я посетил несколько мясокомбинатов, и теперь могу с уверенностью сказать, что уровень наших ИТ-решений не уступает таковым на заводах, построенных там 2-3 года назад. А заводы, построенные 10 лет назад, мы и вовсе превосходим. Тем более что в Германии ИТ закладываются на этапе green field, а мы совместно с компанией “Инфосистемы Джет” реализовали уникальный проект, создав ИТ-инфраструктуру в “историческом” здании на работающем 24 часа в сутки производстве».
Модульная структура дала возможность построить и запустить дата-центр на Черкизовском мясоперерабатывающем заводе за 10 месяцев. Это примерно в полтора раза меньше срока среднестатистического проекта по постройке ЦОД корпоративного уровня. ЦОД строился на непрерывно работающем заводе. Использование модулей с готовой проектной документацией и собранными инженерными системами позволило исключить риски ошибок при проектировании и монтаже.
Площадь ЦОД – около 200 м2. В нем расположены 32 высоконагруженные стойки, на которых размещены ядро корпоративной сети и серверные платформы для всех основных бизнес-приложений. Уровень надежности комплекса инженерных систем соответствует TIER II, а коэффициент отказоустойчивости равен 99,749%. Система бесперебойного электроснабжения обеспечивает не менее 15 минут автономной работы дата-центра. Предусмотрен автоматический перевод ЦОД на электроснабжение от ДГУ.
Впервые в российской практике строительства модульных ЦОД применена технология активного охлаждения с помощью плит фальшпола HydroLogic. Она позволила на 30% увеличить полезное пространство дата-центра.
Большая часть подсистем имеет резервирование не менее «N+1». Подсистемы ЦОД увязаны с инженерными системами всех зданий завода, а также подключены к комплексной системе мониторинга, отслеживающей температурные показатели, нагрузку на наиболее критичное оборудование и пр.

Модульный ЦОД для Группы «Черкизово»