Центр высокопроизводительных вычислений

Заказчик: ФГУП НИИ Радио

О заказчике

ФГУП НИИР создан в 1949 г. по постановлению Правительства СССР и является системным институтом Министерства связи и массовых технологий Российской Федерации в области создания систем радиосвязи, спутниковых и наземных систем телевизионного звукового вещания и развития радиотехнологий.

Институт вносит весомый вклад в развитие современных инфокоммуникационных технологий, специалистами института выполняются актуальные научные исследования, осуществляется разработка перспективной радиоаппаратуры, реализуются проекты телекоммуникационных сетей.

Задачи

В 2006 г. Министерство информационных технологий и связи РФ в целях развития систем связи, цифрового телевидения, Интернета, беспроводного широкополосного доступа к информационным ресурсам и других перспективных технологий приняло решение о проведении конверсии радиочастотного спектра России. Возглавило реализацию федеральной программы ФГУП НИИР.

Сотрудники ФГУП НИИР выполняют вычисления для анализа электромагнитной совместимости (ЭМС) между наземными системами и сетями радиосвязи, анализа ЭМС станций сухопутной подвижной связи, моделирования помехового воздействия систем спутниковой связи на наземные системы радиосвязи, анализа эффективности использования частотного ресурса на территории РФ, моделирования антенных систем и др. Задачи подобной сложности требуют проведения множества параллельных вычислений, и на вычислительном комплексе (ВК)_обычной конфигурации этот процесс может затянуться на несколько месяцев. Поэтому для обслуживания этих задач было принято решение о создании ВК на базе HPC-кластера (High Perfomance Computing) – кластера высокопроизводительных вычислений.

Партнером ФГУП НИИР в реализации этого проекта стала компания «Инфосистемы Джет»: её специалисты имеют опыт строительства вычислительных центров с использованием технологии высокопроизводительных вычислений и их сопровождения.

Трифаленков И.А., директор по развитию бизнеса компании «Инфосистемы Джет»:

«Специалисты нашей компании постоянно стремятся к расширению объема работ в инновационных ИТ-проектах, требующих использования нестандартных решений и услуг. Мы стремимся определить те технологии и решения, которые могут стать ключевыми в кратко- и среднесрочной перспективе. Это позволяет нашим заказчикам занять лидирующее положение на рынке и сохранить его в дальнейшем. Высокопроизводительные вычисления, несомненно, являются одной из инновационных и перспективных областей деятельности».

Специалисты компании «Инфосистемы Джет» изначально рассматривали этот проект как комплексный: ВК необходимо было не только спроектировать и построить, но и обеспечить его стабильную работу.

Сложность построения инфраструктуры ВК была обусловлена несколькими факторами:

  • средоточием на ограниченной площади большого количества оборудования;
  • потреблением значительного количества энергии;
  • существенным объемом выделяемого тепла.

Специалисты нашей компании дали рекомендации по перестройке помещения, где планировалось разместить вычислительное оборудование, построению систем электропитания, кондиционирования, отвода тепла.

HPC-кластер ФГУП НИИР построен на базе оборудования Sun Microsystems. В настоящее время в его составе:

  • 56 вычислительных узлов Sun Fire Х4100;
  • 50 вычислительных узлов Sun Blade Х8420 в 5 шасси Sun Blade 8000;
  • 312 процессоров AMD Opteron (624 ядра);
  • 2 Тбайта оперативной памяти;
  • 20 Тбайт дискового хранилища.

Для организации передачи сообщений между узлами кластера были использованы коммутаторы InfiniBand Voltaire ISR 9288. Они обеспечивают передачу сообщений между узлами кластера с исключительно низкой задержкой (~4мкс) и позволяют создавать активно взаимодействующие параллельные вычислительные алгоритмы.

Кластер обеспечивает следующие возможности:

  • проведение массивно-параллельных вычислений;
  • моделирование процессов различной степени сложности;
  • проектирование и разработка автоматизированных информационных систем;
  • использование ресурсоемких моделей, программ и систем управления базами данных.

Пиковая производительность кластера - 3 TeraFLOPs.

Для того, чтобы обеспечить высокий уровень доступности и производительности HPC-кластера, специалисты компании «Инфосистемы Джет» внедрили комплексную автоматизированную систему мониторинга на основе программного обеспечения компании BMC Software. В состав системы мониторинга входят следующие решения производителя:

  • Performance Manager (Patrol);
  • Patrol Enterprise Manager.

Они позволяют реализовать следующие функции:

  • контроль состояния программного и аппаратного обеспечения HPC-кластера;
  • локализация проблемной ситуации;
  • управление процессом устранения проблемной ситуации;
  • ликвидация (устранение) причин проблемной ситуации и восстановление работоспособности систем.

ВК был разработан специалистами компании «Инфосистемы Джет» при участии большой группы внешних специалистов, традиционно работающих в архитектуре HPC. В состав комплекса входят СУБД Oracle, средства разработки Sun GRID и специализированное прикладное программное обеспечение.

Обслуживание нового ВК выполняет один системный администратор.

В настоящее время это первый суперкомпьютер в отрасли связи. Он входит в десятку самых мощных суперкомпьютеров РФ. ВК обеспечивает научно-техническую и информационную поддержку решения государственных задач по использованию и конверсии радиочастотного спектра.

На его базе в апреле 2008 г. был открыт единственный в Восточной Европе и первый в России центр компетенций по высокопроизводительным вычислениям компании Sun Microsystems.

Бутенко В. В., генеральный директор ФГУП НИИР:

"Открытие центра компетенции Sun Microsystems на базе вычислительного центра ФГУП НИИР позволит объединять мощности подобных центров как в отраслевых институтах отрасли связи, так и в других учреждениях и организациях, что является хорошей предпосылкой для создания в России информационного общества, построения той самой цифровой России, о которой мы так часто слышим в последнее время и которая станет Россией будущего".

Развитие

В настоящее время на вычислительном комплексе ФГУП НИИР проводится тестирование набора прикладного программного обеспечения, включающего в себя программы:

  • проведения математических расчетов MatLab для уменьшения времени выполнения расчетных задач. На базе этой программы планируется организация внешней услуги для других структур и институтов Минкомсвязи;
  • расчета электромагнитной совместимости, позволяющей определять возможность совместного размещения электронных устройств и средств связи в рамках одного объекта;
  • автоматизированного проектирования и моделирования электронных схем и устройств на основе ПО «Mentor Graphics».

Скачать (pdf, 128.57 Кб)

Центр высокопроизводительных вычислений