2.2.8 Суперкомпьютеры и кластерные системы

С начала 50 гг. быстродействие больших компьютеров для научных исследований удваивалось, в среднем, каждые два года. Возрастание быстродействия привело к увеличению емкости памяти, необходимой для хранения данных и результатов. Высокий уровень мощности суперкомпьютеров определяется успехами быстро развивающейся микроэлектроники и принципиально новыми концепциями в архитектуре компьютеров.

Архитектурой называется логическая организация вычислительной машины в представлении программиста. Важнейшими из нововведений в архитектуре компьютерной техники оказались те, которые позволили одновременно (параллельно) выполнять множество похожих операций. Если в середине XX века программистам приходилось разбивать решаемую задачу на ряд последовательно выполняемых элементароных шагов, современная компьютерная техника позволяет при программировании выделить множество выполняющихся одновременно различных элементарных шагов.

Суперкомпьютеры применяются в:

• метеорологии;

• аэродинамике;

• сейсмологии;

• различные военные исследованиях;

• атомной и ядерной физике;

• физике плазмы;

• математическом моделировании сплошных сред.

Основная причина использования суперкомпьютеров в данных областях заключается в следующем. Моделирование процессов ведется с целью изучения изменения параметров вычислений от точки к точке в условиях внешнего воздействия в течение времени. А так как любая область пространства содержит бесконечное множество точек, то для полного описания материальной среды требуется бесконечное число данных. Рассматривая среду как сетку, состоящую из конечного множества точек или узлов, распределенных по всей области, ученые концентрируют свое внимание на изменении параметров среды только в узлах сетки. Для того чтобы получить более точное решение, необходимо в значительной степени увеличить объем арифметических вычислений.

Производительность суперкомпьютеров измеряется в миллионах операций с "плавающей точкой" в секунду, так называемых "мегафлопах" (MFLOPS или Мфлоп). Термин "плавающая точка" относится к двоичной версии представления чисел, когда число записывается в виде произведения, где один множитель имеет величину между 0,1 и 1, а другой является степенью числа 10. К примеру, число 12000 записывается как 0,12 х 105. В компьютерах принимается двоичная форма представления чисел с плавающей точкой, когда высчисления представляются последовательностью нулей и единиц. Операции с плавающей точкой: сложение, вычитание, умножение, деление, в результате которых также получаются числа с плавающей точкой.

В разрабатываемых суперкомпьютерах постоянно увеличивается объем мультипроцессирования. Это приводит к росту производительности, которая достигает в ряде случаев уже не мегафлопов, гигафлопов (миллиардов операций с плавающей запятой в секунду — Гфлоп) или даже десятков терафлоп (Тфлоп), то есть триллионов операций с плавающей запятой в секунду.

Оценка производительности суперкомпьютеров производится программным пакетом Unpack. Он разработан Джеком Донгарра (Jack Dongarra) — работником Университета штата Теннеси. Программный продукт оценивает производительность в миллионах операций с плавающей запятой в секунду.

Развитие суперкомпьютеров сдерживает два фактора. Первый из них заключается в ограниченности возможности разбиения данных для одновременного выполнения на потоке. Второй фактор — увеличение объема вычислений ограничивается стоимостью используемых процессорных систем для параллельной обработки данных. Стоимость такой системы линейно растет с увеличением числа простых процессоров, производительность ее увеличивается медленнее из-за возникающих здесь связей и низкой эффективности использования составляющих систему процессоров.

Эффективность разработки и использования суперкомпьютеров зависит от времени их создания, стоимости изготовления, степени удовлетворения насущных нужд науки, возможности обмена информацией с другими суперкомпьютерами.

Разработка сети передачи данных, объединяющей суперкомпьютеры, является важной и насущной задачей для многих научных и коммерческих организаций. Кроме того, данные сети позволяют получить доступ индивидуальных пользователей к суперкомпьютерам в разных точках планеты.

Кластерная система представляет собой объединение машин, являющееся единым целым для операционной системы, системного программного обеспечения, прикладных программ и пользователей.

Кластерные системы в последнее время получили широкое распространение, так как обеспечивают высокую степень отказоустойчивости за счет возможности мгновенного автоматического перехода с вышедшего из строя узла на работающий. Другое достоинство таких систем — более низкая, чем у суперкомпьютеров, стоимость создания и эксплуатации.

Разработчиком идеологии кластерной системы можно назвать компанию DEC. Разработанная фирмой система кластеров характеризуется возможностью разделения ресурсов, высокой готовностью (быстрым переводом пользователей на другой компьютер кластера), высокой пропускной способностью, удобством обслуживания системы, расширяемостью.

Практической областью применения кластерных систем может служить реализация технологии параллельных баз данных. При этом большое число процессоров разделяет доступ к одной базе данных, что позволяет достичь высокого уровня пропускной способности транзакций и поддерживать быструю работу большого числа одновременно работающих пользователей. Параллельные базы данных формируются на основе симметричной многопроцессорной архитектуры с общей памятью (Shared Memory SMP Architecture), архитектуры с общими дисками (Shared Disk Architecture) и архитектуры без разделения ресурсов (Shared Nothing Architecture).

Для практической работы в современных условиях использование параллельных баз данных весьма актуально, так как может проходить в режиме непосредственного доступа. Особое значение данные технологии приобретают для предприятий и организаций с непрерывным циклом производства.

Согласно проекту "Беовульф" в ряде университетов Европы и США были построены кластерные конфигурации, которые имеют высокую производительность при минимальной стоимости. Несмотря на это, так как отдельные станции взаимодействуют между собой по локальной сети, происходит ограничение области применения таких систем задачами с массовым параллелизмом. Однако, при замене существующей сети сетью устройств памяти SAN (Storage Area Network), ядром системы становится общая для процессоров память, что в значительной степени повышает производительность.

Практическим воплощением таких усовершенствований стал первый суперкомпьютерный кластер в Центре высокопроизводительных вычислительных систем (High Performance Computing System), в лаборатории систем прогнозирования (Forecast Systems Laboratory). Кластер заказан министерством торговли США для Национального управления по атмосферным и океаническим явлениям (National Oceanic and Atmospheric Administration). Производительность первой системы составит 1 терафлоп с последующим увеличением до 4 терафлоп.

Приведем различные примеры применения суперкомпьютеров и кластерных систем в различных областях науки и техники.

Одним из примеров использования суперкомпьютеров в прогнозировании возможных природных катаклизмов и моделировании погодных условий является мощнейший NEC Earth Simulator. Как следует из имени, производителем стала компания NEC, а исследования проводятся японским "Научным и технологическим центром моря" в г. Канагава (JAMSTEC —Japan Marine Science and Technology Center). Этот суперкомпьютер состоит из 640 узлов, каждый из которых содержит 8 специализированных процессоров NEC Vector. Таким образом, суперкомпьютер работает на базе 5120 специализированных векторных процессоров. Производительность суперкомпьютера зафиксирована на уровне свыше 35 Тфлоп. Однако высокий уровень производительности возможен лишь из-за исключительной специализации примененных векторных процессоров.

Компания NEC постоянно совершенствует свои разработки векторных суперкомпьютеров. Например, модель SX7, состоящая из 64 узлов по 32 процессора и 256 Гбайт оперативной памяти в каждом, имеет производительность до 18,1 Тфлоп и скорость обмена данными между процессорами и памятью достигает 1130,2 Гбайт/с. Характерной особенностью подобных суперкомпьютеров является специализированное програмное обеспечение для моделирования испытаний на прочность, гидравлических процессов, анализа электромагнитных полей, химических и многих других научно-прикладных расчетов.

Важное мирное использование суперкомпьютеры находят при предсказании погоды. Таким примером может быть 1024-процессорный компьютер Cray T3E-900 фирмы SGI, показавший производительность 69 Гфлоп (миллиардов операций с плавающей точкой в секунду) на программе HILARM — прогнозировании погодных катаклизмов. Этот компьютер, оснащённый 1328 процессорами, показал производительность до 1,195 Тфлоп. Такая производительность позволила увеличить время предсказания стихийных бедствий с 30 мин до 6 ч. Cray T3E-900 используют не только в области мереорологии, а также для создания трёхмерных моделей гелиосферы, моделирования процессов, протекающих в земной коре, и решения медицинских задач в сфере молекулярной динамики.

Французская комиссия по атомной энергетике (СЕА) также заинтересовалась возможностью использования супервычислений и предложила компании Compaq создать суперкомпьютер производительностью 5 трлн операций в секунду. Таким образом, в 2001 г. создан один из самых мощных суперкомпьютеров в мире, состоящий из 2000 процессоров Alpha.

NASA в 2001 г. запустила в эксплуатацию два 512-процессорных суперкомпьютера и объединила их в одну систему. Цель создания системы -изучение климата на Земле и попытки его предсказания. Каждый суперкомпьютер имеет по 192 Гбайта оперативной памяти и накопители по 2 Тбайта.

В 2002 г. завершилась работа над новым суперкомпьютером для одного из престижных научных учреждений Европы, немецкого Сообщества Макса Планка. Суперкомпьютер основан на IBM ©Server POWER4, его производительность на уровне 3,8 трлн операций в секунду, что приблизительно в десять раз превышает вычислительные мощности их прежнего суперкомпьютера.

Компания IBM также создала мощный кластер на базе серверов IBM ©Server и рабочих станций IntelliStation, базирующихся на процессорах Intel Itanium под управлением операционной системы Linux. Кластер состоит из 160 систем и имеет производительность до 1 трлн операций в секунду. Заказчиком является Национальный центр сложных прикладных вычислений Университета штата Иллинойс.

На базе процессоров Athlon компании AMD также создаются кластерные суперкомпьютеры. К примеру, суперкомпьютер Гонконгского Университета Науки и Технологий основан на 80 процессорах Athlon. В Токийском Технологическом Институте строится кластер PRESTO III, содержащий 78 процессоров Athlon. А ряд американских университетов собираются установить 18 и 32 процессорные системы. Применение мультипроцессорных чипсетов расширит сферу эксплуатации таких процессоров.

Калифорнийский университет собирается установить кластерный суперкомпьютер на базе 32 процессоров Athlon с частотой 1,2 ГГц. Суперкомпьютер под эгидой NASA найдет применение в исследованиях процессов, происходящих в Солнечной Системе.

Крупнейшие автомобильные корпорации также стремяться использовать прогрессивные методы разработки своей продукции. Так, для Ford Motor Company американская компания Cray создала большой вычислительный кластер из 192 процессоров, работающих на базе операционной системы Linux. Применение подобной системы для создания компьютерных моделей автомобилей в вычислительном центре (Дирборн, штат Мичиган) ускоряет время разработки новых машин и повышает качество производимой продукции.

Автомобильная корпорация General Motors также использует суперкомпьютерные системы, только не от Cry (как Ford), а от другого крупнейшего производителя суперкомпьютеров — компании IBM. Технически суперкомпьютер представляет собой кластер из 10 расположенных в различных странах (США — г. Детройт, Германия — г. Расселсхайм, Швеция — г. Тролльхаттане) серверов р690, состоящих в свою очередь из процессоров Power4 с тактовой частотой 1,3 ГГц и оперативной памяти 64 Гбайт. Производительность системы составляет 2,3 Тфлоп, а ее стоимость превышает 20 млн USD. Однако расходы должны окупиться за счет ускорения разработки новых моделей и уменьшения количества реальных испытаний (путем применения виртуальных крэш-тестов), более точного моделирования поведения оборудования автомобиля в различных дорожных и погодных условиях, углубленного исследования системы гашения вибраций и шумоизоляции.

В России также применяются суперкомпьютеры. Так, в Межведомственном суперкомпьютерном центре 31 июля 2001 г. был введен в эксплуатацию суперкомпьютер МВС-ЮООМ с производительностью 1Тфлоп. Проект осуществлялся при поддержке Минпромнауки России, РФФИ, программы "Интеграция", Фонда технологического развития и Российской академии наук. Фактически это кластерная система из 768 процессоров Alpha 21264 с тактовыми частотами 667МГц, большого объема оперативной памяти в вычислительном узле, высокоскоростной сети Myrinet, используемой для межпроцессорных коммуникаций во время параллельных вычислений, операционной системы на узлах Red Hat Linux 6.2. Система смонтирована в 8 стоек с общим энергопотреблением 120 Кватт. Ее стоимость составляет 10 млн USD. А в 2003 г. планируется запуск в эксплуатацию суперкомпьютера МВС-5000 с пиковой производительностью более 5 Тфлоп.

В России кластерные системы находят широкое применение. Так, к примеру, Институт высокопроизводительных вычислений и баз данных (ИВВБД) Миннауки РФ оснащен самым мощным в России суперкомпьютерным парком, в который входят системы HP CONVEX, машины серии Sun Enterprise, массивно-параллельные компьютеры фирмы Parsytec и специализированные графические станции SGI Octane. Они объединены в кластер общей производительностью 46,76 гигаопера-ций в секунду. Данный кластер используется для: развития технологии параллельных СУБД для суперЭВМ, компьютерного моделирования, прогноза экономических ситуаций, разработки интеллектуальных систем проектирования и поддержки баз знаний в слабоструктурированных и трудноформализуемых предметных областях и создания систем виртуальной реальности.

В рамках программы Союзного государства Беларуси и России "СКИФ" по разработке и освоению серийного производства семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) разработан суперкомпьютер семейства "СКИФ", производительностью до 20 Гфлоп (миллиардов операций в секунду).