9.3. Системы с неоднородным доступом к памяти (numa) (non uniform memory access)

Система состоит из однородных базовых модулей (плат), состоящих из небольшого числа процессоров и блока памяти. Модули объединены с помощью высокоскоростного коммутатора. Поддерживается единое адресное пространство, аппаратно поддерживается доступ к удаленной памяти, т.е. к памяти других модулей. При этом доступ к локальной памяти в несколько раз быстрее, чем к удаленной.

В случае, если аппаратно поддерживается когерентность кэшей во всей системе (обычно это так), говорят об архитектуре cc-NUMA (cache-coherent NUMA)

Обычно вся система работает под управлением единой ОС, как в SMP. Но возможны также варианты динамического "подразделения" системы, когда отдельные "разделы" системы работают под управлением разных ОС (например, Windows NT и UNIX в NUMA-Q 2000)

9.4. Параллельно-векторные системы (pvp)

При поддержке команд обработки векторных данных говорят о векторно-конвейерных процессорах, которые, в свою очередь могут объединяться в системы с использованием общей или распределенной памяти.

Основным признаком PVP-систем является наличие специальных векторно-конвейерных процессоров, в которых предусмотрены команды однотипной обработки векторов независимых данных, эффективно выполняющиеся на конвейерных функциональных устройствах. Как правило, несколько таких процессоров (1-16) работают одновременно над общей памятью (аналогично SMP) в рамках многопроцессорных конфигураций. Несколько таких узлов могут быть объединены с помощью коммутатора (аналогично MPP).

Эффективное программирование подразумевает векторизацию циклов (для достижения разумной производительности одного процессора) и их распараллеливание (для одновременной загрузки нескольких процессоров одним приложением).

9.5. Кластерные системы

Набор рабочих станций (или даже ПК) общего назначения, используется в качестве дешевого варианта массивно-параллельного компьютера. Для связи узлов используется одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора.

Кластер состоит из двух или более узлов, удовлетворяющих следующим требованиям:

• каждый узел работает со своей копией ОС;

• каждый узел работает со своей копией приложения;

• узлы делят общий пул других ресурсов, таких как накопители на дисках и, возможно, накопители на лентах

В отличие от кластеров, в МРР-системах узлы не делят ресурсы для хранения. Это главное отличие между кластерными SMP-системами и традиционными МРР-системами.

Глава 10. Межпроцессорные сети связи в эвм mpp типа (Interconnect Network)

Рассмотрим межпроцессорные сети связи для MPP машин, т.к. в SMP это всего лишь обычно тот или иной вариант шины.

Многопроцессорные системы обработки информации классифицируются на системы с общей памятью и системы с коммутацией сообщений. Первый тип систем называют еще системами с сильной связью, а вторые - со слабой связью. Каждый процессор в многопроцессорной системе второго типа имеет особую память и канал, обеспечивающий связь с другими процессорами через сеть связи.

В системах с общей памятью одно (единое) пространство памяти совместно используется всеми процессорами. Фактически общая память организуется с помощью системы связи (коммутации), как это показано на рис. 18.

Рис. 18.

Общее пространство памяти разбивается на множество модулей памяти (МП), которые соединяются с процессорами при помощи системы связи. Число процессоров, которые можно использовать для реализации многопроцессорной системы с общей памятью, ограничивается конфликтами при доступе к общей памяти. Для смягчения этих конфликтов каждый процессор снабжают локальной памятью небольшого объема или кэш-памятью.

В системах с коммутацией сообщений рис. 19 связь между процессорами осуществляется в форме передачи сообщений через посредство каналов или портов ввода-вывода и процессорную сеть связи. В таких системах часто используется пакетный режим передачи. По сравнению с системами с общей памятью таким системам свойственен большой перерасход времени при передаче данных, поэтому их не выгодно использовать в тех случаях, когда сложные структуры данных обрабатываются несколькими процессорами, однако, если частота передач и объем передаваемых данных небольшие, такую систему можно использовать даже при большом числе процессоров.

Рис. 19.

Для взаимосвязи между процессорами можно использовать различные типы сетей. В системах с общей памятью наиболее распространенными являются сети типа общей шины, использующие одну или несколько шин

Самой эффективной была бы топология, в которой любой узел мог бы напрямую связаться с любым другим узлом. Однако в MPP-системах это технически трудно реализуемо.

В системе с коммутацией сообщений процессоры могут связывать линейные рис. 20 а), кольцевые рис. 20 б), решетчатые (плоскостные) рис. 20 в), древовидные, кубические и гиперкубические сети. Наиболее распространенными являются кольцевые, решетчатые и гиперкубические сети связи.

Р ис. 20.