Кластерные проекты

Один из первых проектов, давший имя целому классу параллельных сис­тем — Beowulf-кластеры.

Проект Beowulf стартовал летом 1994 года, и вскоре был собран 16-процессорный кластер на процессорах Intel 486DX4/100 МГц. На каждом узле было установлено по 16 Мбайт оперативной памяти и по: 3 сетевых карты для обычной сети Ethernet.

Для работы в такой конфигурации были разработаны специальные драйвера, распределяющий трафик между доступными сетевыми картами.

В 1998 году в Лос-Аламосской национальной лаборатории на базе процессо­ров Alpha 21164А с тактовой частотой 533 МГц был создан Linux-кластер Avalon. Первоначально Avalon состоял из 68 процессоров, затем их число было увеличено до 140. В каждом узле установлено по 256 Мбайт оператив­ной памяти, жесткий диск на 3 Гбайт и сетевой адаптер Fast Ethernet. Об­щая стоимость проекта Avalon составила 313 тысяч долларов.

В апреле 2000 года в рамках проекта АСЗ в Корнельском университете для проведения биомедицинских исследований был установлен кластер Velocity+. Идея разбиения кластера на разделы получила интересное воплощение в проекте Chiba City, реализованном в Аргонской Национальной лаборатории.

Коммуникационные технологии построения кластеров

Различные варианты построение кластеров очень много. Существенных различий лежит в используемой сетевой технологии, выбор которой определяется, прежде всего, классом решаемых задач.

Первоначально Beowulf-кластеры строились на базе обычной 10-мегабитной сети Ethernet. Сегодня часто используется сеть Fast Ethernet, как правило, на базе коммутаторов. Основное достоинство такого решения — это низкая стоимость. Вместе с тем, большие накладные расходы на передачу сообщений в рамках Fast Ethernet приводят к серьезным ограничениям на спектр задач, эффективно решаемых на таких кластерах.

Если от кластера требуется большая универсальность, нужно переходить на другие, более производи­тельные коммуникационные технологии.

Исходя из соображений стоимости, производительности и масштабируемости, разработчики кластерных систем делают выбор между Fast Ethernet, Gigabit Ethernet, SCI, Myrinet, cLAN, ServerNet и рядом других сетевых технологий.

Производительность кластера вычислительной системы выражается специальными характеристиками: латентностью и пропускной способностью сети.

Латентность — это время начальной задержки при посылке сообщений. Пропускная способность сеты определяется скоростью передачи информа­ции по каналам связи . Если в программе много маленьких сооб­щений, то сильно скажется латентность. Если сообщения передаются боль­шими порциями, то важна высокая пропускная способность каналов связи. Из-за латентности максимальная скорость передачи по сети не может быть достигнута на сообщениях с небольшой длиной.

Для данного класса компью­теров выделить факторы, снижающие производительность вычислительных систем с распределенной памятью.

Поскольку компьютеры данного класса имеют распределенную память, то взаимодействие процессоров между собой осуществляется с помощью пере­дачи сообщений. Отсюда два замедляющих фактора — латентность и скорость передачи данных по каналам коммуникационной среды. Если аппаратура или программное обеспечение не поддерживают возмож­ности асинхронной посылки сообщений на фоне вычислений, то возникнут не­избежные накладные расходы, связанные с ожиданием полного завершения взаимодействия параллельных процессов.

Для достижения эффективной параллельной обработки необходимо добиться максимально, равномерной загрузки всех процессоров. Если равномерности нет, то часть процессоров неизбежно будет простаивать.

Существенный фактор — это реальная производительность одного процессора вычислительной системы.

Суммарность изложенных факторов может снизить реальную производительность в десятки сотни раз по сравнению с пиковой производительностью.

Крайняя точка построение такой системы является Интернет.