В июле 2015 г. был запущен в эксплуатацию новый, четвертый по счету дата-центр ВТБ24. ЦОД объединил ИТ-инфраструктуру ВТБ24 в единый отказоустойчивый узел, что позволило банку исключить разобщенность данных, дублирование информации и операций по ее обработке, а также упростило поиск нужных данных. Все четыре ЦОД связаны единой структурированной кабельной системой на базе оптического кабеля, которая позволяет передавать данные на скорости до 40 Гбит/с. Снижению затрат на эксплуатацию ЦОД суммарной мощностью 1600 кВт способствует его энергоэффективность: применение технологии free cooling (охлаждение уличным воздухом) и организация внутри помещения гермозон для высоконагруженного оборудования. Надежность инженерной инфраструктуры ЦОД соответствует уровню Tier III.

ВТБ24 – один из крупнейших участников российского рынка банковских услуг. Банк специализируется на обслуживании физических лиц, индивидуальных предпринимателей и предприятий малого бизнеса. Сеть банка формируют 1062 офиса в 72 регионах страны. Динамичный рост бизнеса ВТБ24 сопровождается увеличением объемов обрабатываемой информации. Это обусловило потребность в развертывании дополнительных вычислительных мощностей. 

Начало строительства

Потребность в вычислительных мощностях в банке растет очень быстро.

«После того как мы ввели в эксплуатацию третий ЦОД, он оказался заполнен буквально за пару недель, – рассказывает Алексей Таракин, начальник отдела инженерного обеспечения и эксплуатации сервисного центра ВТБ24. – Поэтому практически сразу началось строительство четвертого ЦОД. Новый ЦОД начал заполняться еще до момента его официального запуска. Он позволяет размещать оборудование разного номинала мощности – всего около 100 стоек. Надеемся, его ресурсов нам хватит до 2018 г.».

Под новый ЦОД было выделено несколько помещений на первом этаже офисного здания.  Необходимо было выполнить их строительную подготовку, в том числе усилить перекрытия до уровня 1,5 тонн на квадратный метр. Для прокладки коммуникаций и размещения вентиляторной группы был смонтирован фальшпол высотой 1 м.

Инженерная инфраструктура

Оборудование STULZ системы кондиционирования было выбрано исходя из соотношения производительности, занимаемой площади и энергоэффективности. Одноконтурная система кондиционирования построена на двух чиллерах в outdoor-исполнении с низкими энергопотреблением и уровнем шума. В них применяется технология free cooling. Каждый из чиллеров в штатном режиме загружен на 50%. Кондиционеры внутри помещений зарезервированы по схеме N+2.

Трубная разводка вынесена в подвал, что позволило исключить риски протечек в серверном зале, сэкономить место и повысить удобство монтажа. Благодаря использованию пространства подвала, фальшпола и применению компактных, но производительных кондиционеров, удалось сэкономить до 20% пространства серверного зала.

Автоматическая система защиты от протечек в случае аварии перекрывает часть контура, при этом остальная часть системы кондиционирования остается работоспособной. Это дает возможность ликвидировать протечку без останова системы.

Внутри серверного зала построены 2 гермозоны – сборные конструкции, внутри которых поддерживается нужный микроклимат. Гермозоны позволяют размещать высоконагруженные стойки до 16 кВт, работа которых не создает локального перегрева ЦОД. 

Бесперебойность электропитания поддерживается ИБП повышенной емкости и двумя дизель-генераторами. Возможность автономной работы – до 20 минут на ИБП и до 8 часов от дизель-генератора.

«Обычно выхлопная труба ДГУ выводится выше здания, чтобы выхлопные газы рассеивались, – рассказывает Сергей Андронов, директор Центра сетевых решений компании "Инфосистемы Джет". – Для данного проекта такое решение не подходило. Поэтому мы снабдили каждый дизель-генератор специальным фильтром каталитической очистки отработанных газов. Фильтр препятствует выбросу вредных веществ и обеспечивает соблюдение экологических норм».  

Единая СКС

В ходе проекта была построена СКС – единая для всех четырех дата-центров банка.

«В СКС дата-центров ВТБ24 используется исключительно оптический кабель, – комментирует Сергей Андронов. – У заказчика очень высокие требования к скорости и объемам передачи данных. СКС поддерживает работу не только существующих сетевых устройств, подключаемых на скорости 10G, но и новых моделей, требующих соединения 40G.  Это одна из уникальных реализаций СКС, полностью выполненных на оптических компонентах класса OM4 и OS2 с применением претерминированных кабельных сборок».

Кросс общей емкостью более 5000 дуплексных портов вынесен в отдельное помещение, для оптимизации емкости и габаритов использованы MTP-патч-корды. Место, традиционно занимаемое коммутационными шкафами, сократилось в 6 раз. Для ранее построенных дата-центров был разработан детальный план миграции на новую CКC, работы проводились без останова дата-центров.

Система диспетчеризации

Все инженерное оборудование четвертого ЦОД подключено к единой автоматизированной системе диспетчерского управления (АСДУ) дата-центров ВТБ24. Система контролирует состояние оборудования, при необходимости формирует тревожные сигналы и посылает их на мониторы или мобильные телефоны ответственных лиц.  Система отслеживает загрузку и производительность оборудования, позволяя строить оперативные отчеты и быстро перераспределять нагрузку в дата-центре.

«АСДУ мы разрабатывали самостоятельно, – рассказывает Сергей Андронов. – Готовых решений на рынке нет, любое нуждается в существенной доработке. Наша система настроена на контроль именно тех параметров, которые важны для заказчика. Первая версия системы была разработана для третьего ЦОД, в процессе создания четвертого она была модернизирована и расширена. Теперь заказчик может контролировать все 4 площадки через единый интерфейс. Этот опыт можно тиражировать в других проектах». 

Новый дата-центр суммарной мощностью 1600 кВт объединил четыре действующих ЦОД банка в единый отказоустойчивый узел посредством общей для всех дата-центров структурированной кабельной системы. СКС полностью выполнена на оптических компонентах с применением претерминированных кабельных сборок, она позволяет передавать данные на скорости до 40 Гбит/с. Уровень надежности инженерной инфраструктуры – Tier III. ЦОД позволяет размещать оборудование разного номинала мощности – всего около 100 стоек.

В ходе проекта выполнена строительная подготовка помещений, усиление перекрытий, монтаж фальшпола. Внутри серверного зала построены две гермозоны для размещения высоконагруженных стоек без риска локального перегрева ЦОД. В системе кондиционирования используется технология free cooling. Благодаря эффективному способу размещения трубной проводки и применению компактных, но производительных кондиционеров удалось сэкономить до 20% пространства серверного зала. Все инженерное оборудование нового ЦОД подключено к единой автоматизированной системе диспетчерского управления дата-центров ВТБ24.

Скачать (pdf, 467.4 Кб)

ЦОД повышенной мощности для ВТБ24