2.Особенности построения кластерных систем.

Практика создания высокопроизводительных кластерных систем подошла к определенному (и очень важному) этапу, который требует переосмысления достигнутых результатов и выбора стратегического пути дальнейшего развития. В настоящее время не составляет особой проблемы выбор компонент и конфигурация специализированной кластерной системы, состоящей из 32-128 вычислительных узлов и обладающей реальной производитель-ностью до 60 Гфлоп. Возможность дальнейшего увеличения производительности таких систем упирается в две фундаментальные проблемы.

1. Возможность масштабирования кластера ограничена значением отношения скорости процессора к скорости связи, которое не должно быть слишком большим (реально это отношение для больших систем не может быть более 3-4, в противном случае не удается даже реализовать режим единого образа операционной системы). С другой стороны, последние 10 лет истории развития процессоров и коммуникаторов показывают, что разрыв по скорости между ними все увеличивается.

2. Для конфигурации более чем 128-и процессорных систем приходится использовать несколько коммуникаторов и при распараллеливании задачи возникает очень серьезная проблема балансировки процессоров более чем через один рутер. Стандартные статические средства балансировки по ряду причин не могут справиться с этой задачей, а разработанные динамические пакеты эффективны лишь в пределах одного рутера.

Частичное решение этой задачи возможно на базе суперскалярных процессоров нового поколения, имеющих относительно низкую тактовую частоту, и поэтому очень эффективно масштабируемых при использовании современных коммуникаторов.

С другой стороны, из-за наличия большого числа конвейеров ввода/вывода и нескольких вычислительных конвейеров они выполняют несколько операций за такт и могут обеспечить очень существенное увеличение производительности даже при конфигурации кластера с одним коммуникатором.

Поскольку производительность суперскалярных процессоров уже сейчас достигает 4-6 Гфлоп, а современные коммуникаторы позволяют объединять до 128-и процессоров в компактную конфигурацию, открывается замечательная возможность производить балансировку стандартных программ под фиксированные конфигурации с двумя и четырьмя рутерами, достигая пиковой производительности в 1 Тфлоп без революционного изменения сервисного математического обеспечения на кластере.

Таким образом, оптимальное решение для создания высокопроизводительной системы терафлопного уровня должно быть реализовано в два этапа:

• На первом этапе создается конфигурация с одним коммуникатором до 64 процессоров, имеющая пиковую производительность от 256 Гфлоп.

• После отработки системы динамической балансировки эта система расширяется до 128-и процессоров, возможно с модернизацией процессоров, и пиковой производительностью до 0,6-0,8 Тфлоп.

Обзор рынка процессоров показывает, что в настоящее время единственные процессоры с требуемыми качествами в более или менее доступном ценовом диапазоне это — Itanium 2. Ориентация на этот процессор может оказаться весьма эффективной через несколько месяцев, когда появление на рынках новых процессоров Оптерон и Мадисон, существенно снизит на него цену.

При выборе собственно кластерной конфигурации можно опираться на имеющийся значительный опыт у основных производителей. Ниже приводится обзор кластерных решений ведущих фирм. Обзор составлен на основе мониторинга Веб-сайтов известных компьютерных компаний IBM, HP и SGI, опыта создания вычислительных кластеров разных архитектур и результатов тестирования сотрудниками Института высокопроизводительных вычислений и информационных систем (ИВВИС, Петербург) высокопроизводительных кластеров фирм IBM и SGI.