Консолидация сети хранения данных SAN на платформе Brocade

Заказчик: ВымпелКом

ОАО «ВымпелКом» – ведущий провайдер мобильных телекоммуникационных услуг. В группу компаний входят операторы сотовой связи, предоставляющие свои услуги в России, Казахстане, Украине, Таджикистане и Узбекистане, а также недавно приобретенные операторы в Грузии и Армении. Лицензии группы компаний «ВымпелКом» на предоставление услуг сотовой связи охватывают территорию, на которой проживает около 250 миллионов человек. «ВымпелКом» предоставляет услуги более 57 миллионам мобильных абонентов. ОАО «ВымпелКом» стало первой российской компанией, включенной в листинг Нью-Йоркской фондовой биржи (NYSE).

Задача

Более чем пятикратный рост абонентской базы за три года и экспоненциальный рост объема данных потребовали построения новой ИТ-инфраструктуры компании.

Сеть хранения данных (Storage Area Network, SAN) — ключевой элемент инфраструктуры ИТ. Она является высокоскоростной и масштабируемой средой передачи данных между серверами, системами хранения данных (дисковыми массивами) и устройствами резервного копирования, обеспечивая доступность и защиту данных, адекватную их ценности для бизнеса, а также гибкость и эффективность использования вычислительных ресурсов.

2002 год стал началом построения SAN в «ВымпелКоме». В начале SAN обеспечивала работу биллинговой системы «ВымпелКома», в то время количество оборудования, входящего в состав биллингового комплекса был в 10 раз меньше, чем сегодня. Сеть строилась на коммутаторах компании CNT и ее первоначальная емкость была 64 порта. «ВымпелКом» динамично развивающаяся компания. Вместе с ростом комапнии, росла ее ИТ-инфраструктура. В 2003 году емкость SAN удвоилась и стала 128 портов, а в 2004 – уже 256 портов. В 2005 году «ВымпелКом», пересмотрев политику построения ИТ-инфраструктуры, сформулировал новые требования к ней на ближайшие 5 лет:

  • обеспечение высокой надежности и отказоустойчивости для бизнес-критичных приложений;
  • обеспечение гарантированной производительности и доступности сервисов в зависимости от их класса;
  • однородность технических решений;
  • обеспечение требуемой емкости и масштабируемости сети.

Используемое оборудование и топология SAN уже не могли обеспечить требуемый уровень надежности работы бизнес-приложений и возможности расширения. Без кардинального изменения подхода к организации SAN дальнейшее развитие ее в «ВымпелКоме» не представлялось возможным. Для поддержки большей готовности и масштабируемости «ВымпелКом» принял решение о создании новой инфраструктуры SAN.

Разработчиком решения выступила компания «Инфосистемы Джет» — авторизованный сервисный партнер Brocade (Qualified Support Partner, Professional Services Partner). В качестве производителя оборудования инфраструктуры SAN была выбрана компания Brocade — благодаря подтвержденному технологическому лидерству и совместимости с оборудованием существующих поставщиков систем хранения данных «ВымпелКома» — компаний Hewlett-Packard и Hitachi Data Systems.

Проект новой SAN был разработан с учетом всех требований по надежности и масштабируемости. Описаны топология сети, соединения активного оборудования, необходимые настройки, учтены вопросы разграничения доступа и управления системой, определены параметры доступности серверов и работающих на них приложений, разработана классификация сервисов. Подключение оборудования вычислительного комплекса было проведено в соответствии с классом сервиса, характеризующим скорость и доступность бизнес-приложений.

Новая инфраструктура SAN «ВымпелКома» состоит из 3-х частей:

  1. SAN главного вычислительного центра (ГВЦ)
  2. SAN резервного вычислительного центра (РВЦ)
  3. Сеть для организации резервного копирования и репликации данных между ГВЦ и РВЦ.

Инфраструктура SAN «ВымпелКома» включает 14 директоров Brocade 48000 и более 20 коммутаторов Brocade с общим числом Fibre Channel портов более 2800. При построении SAN использовалось не только новое оборудование Brocade, но и использовавшееся ранее. Для подключения серверов и дисковых массивов, уровень доступности которых должен быть 99,99%, использовалось оборудование класса Director. Для подключения оборудования с меньшими требованиями по доступности — коммутаторы Brocade 4100, 4900 и 3900. Это позволило оптимизировать финансовые вложения и защитить инвестиции.

Все SAN «ВымпелКома» построены на основе отказоустойчивой архитектуры с двумя независимыми зеркально-симметричными сегментами сети (dual-fabric). В каждом сегменте сети использовалась топология «Core-Edge».

Активное оборудование, входящее в состав SAN, соединено между собой дублированными каналами связи. Все «жизненно важные» компоненты Brocade продублированы и поддерживают «горячую замену». Подключения серверов и дисковых массивов в SAN также продублировано.

Таким образом, отказ любого компонента SAN не приводит к потере работоспособности, а значит — и к прерыванию функционирования производственных систем.

Для оптимизации загрузки межкоммутаторных каналов использовался программный продукт Brocade Trunking. Для мониторинга оборудования SAN — продукты Perfomance Monitor и Fabric Watch. Управления оборудованием SAN осуществляется ПО Brocade Fabric Manager.

Внедрение

Проектирование и внедрение SAN выполнено специалистами компании «Инфосистемы Джет». - авторизованным партнером компании Brocade (Qualified Support Partner, Professional Services Partner). Специалисты компании осуществляют текущую поддержку SAN в режиме 24х7х365 и принимают активное участие в развитии проекта.

Поставка оборудования произведена преимущественно через Hitachi Data Systems, при участии Sun Microsystems, Альянс Партнерами Brocade: «Инфосистемы Джет» и «ТехноСерв А/С».

Самым сложным этапом в построении новой SAN на площадках ГВЦ и РВЦ была замена коммутационного оборудования CNT на оборудование Brocade без остановки серверов и бизнес-приложений. Это потребовало тщательной подготовки. Изучалось буквально все – от механических характеристик стоек до длины соединительных кабелей. Проектные и подготовительные работы длились больше двух месяцев. В результате были подготовлены схемы, инструкции, план действий и процедуры тестирования. В ГВЦ работы начались в 11 часов вечера, и за одну ночь (7 часов) были переключены более 60 серверов и около десятка дисковых систем; физически заменено крупногабаритное оборудование – старое демонтировано, а новое установлено на его место; перекоммутировано более 250 кабелей. Миграция прошла успешно – все работы проведены в оговоренные сроки, без заметного влияния на функционирование производственных систем.

Задача построения новой инфраструктуры SAN предприятия решена полностью и в срок, обеспечив «ВымпелКому» возможность и дальше предоставлять своим абонентам услуги связи высокого качества. Достигнуты плановые показатели по емкости, надежности, производительности и однородности сети. Заложены возможности по дальнейшему росту, минимизировано влияние эксплуатационных работ на функционирование производственных систем. Построена база для развития ИТ-инфраструктуры компании на ближайшие несколько лет. Высокая надежность и производительность оборудования Brocade, качественное обслуживание со стороны компании «Инфосистемы Джет» позволяют «ВымпелКому» оптимально использовать инвестиции в информационные технологии и предоставлять своим абонентам услуги связи высокого качества.

Рис. 1. Схема построения инфраструктуры SAN в ОАО «ВымпелКом»

«Значительный рост бизнеса в последние несколько лет потребовал модернизации существующего решения по хранению данных, – сказал Сергей Шилин, директор по ИТ-инфраструктуре «ВымпелКома». – Ключевыми требованиями к поставщику SAN были надежность, готовность, масштабируемость и удобство обслуживания. Всем им компания Brocade отвечает. Сейчас проект успешно реализован, мы рассчитываем на работу с Brocade и на следующем этапе развития инфраструктуры хранения».

«В работе над проектом принимали участие десятки специалистов нашей компании. Понимая, насколько высок уровень ответственности компании «ВымпелКом» перед ее клиентами и как важно сохранить непрерывность предоставления услуг, мы разработали уникальные решения. Во время перехода на новую SAN все услуги, предоставляемые «ВымпелКомом» абонентам были доступны, ни один совершенный платеж не пропал, т.е. производственные системы работали без остановки. Это все равно, что заменить на ходу колеса у едущего автомобиля. На примере этого проекта специалисты компании «Инфосистемы Джет» еще раз доказали, что обладают знаниями и умением создавать сложные технологические решения для нестандартных бизнес-задач», – говорит Андрей Самойлов, директор по работе с клиентами компании «Инфосиситемы Джет».

«ВымпелКом» стал самым большим и успешным проектом Brocade 2006 года в России и СНГ, наглядно показав как могут развиваться сети SAN крупных заказчиков, инвестирующих в развитие. Большая командная работа завершилась красивым результатом. Теперь по этому пути пошли многие компании нашего региона – рынок хранения данных взрослеет». – сказал Николай Умнов, региональный менеджер по продажам, Brocade Россия и СНГ.

Скачать (pdf, 4 Мб)

Консолидация сети хранения данных SAN на платформе Brocade