2.7. Организация межпроцессорного обмена в системах с
разделяемой памятью и общей шиной
Рассмотрим принципы организации обмена между
вычислительными модулями на примере многопроцессорной системы
с разделяемой памятью, использующей в качестве коммуникационной
среды общую шину.
2.7.1. Структура системы с разделяемой памятью
Структура многопроцессорной системы с общей шиной и разделяемой (общей) памятью (рис.2.13) содержит n вычислительных модулей BM1,…,BMn, m модулей оперативной памяти МОП1,…,МОПm, работающих под управлением контроллера. В составе вычислительных
модулей находится центральный процессор (ЦП) и шинный интерфейс, сопрягающий его с общей шиной.
стр.52
Функции шинного интерфейса следующие:
• управление занятием/освобождением общей шины;
• управление обменом между вычислительным модулем и общей памятью;
• распознавание собственного адреса, выставленного на общую
шину контроллером разделяемой памяти или другим устройством;
• организация внешних прерываний от запросов из системного
контролера прерываний;
• буферизация передаваемых данных.
Каждому вычислительному модулю присваивают уникальный номер, который будем называть собственным адресом. Протоколом обмена предусматривается распознавание собственного адреса, когда
сообщение передаётся извне в данный вычислительный модуль. Для этого шинный интерфейс постоянно отслеживает код присвоенного ему адреса. Как только он обнаружит собственный адрес, производится коммутация вычислительного модуля на общую шину и осуществляется приём данных с ОШ в приемный буфер интерфейса или в процессор.
Будем считать, что обмен процессор - память может производиться
пословно или группами слов. Если применяется обмен без буферизации (в шинном интерфейсе и контроллере памяти отсутствуют буферы данных), то используется обычный машинный цикл (его ещё называют циклом шины) чтения или записи в память. По окончании цикла шины память освобождается и может быть передана в распоряжение другому вычислительному модулю.
Время обмена составит tb =τ + tmc , где τ - время занятия общей
шины; tмс - машинный цикл процессора, связанный с обращением к
стр.53
памяти. Время занятия τ зависит от способа управления общей шиной.
Цикл обращения к памяти, в свою очередь, зависит от типа процессора и не зависит от быстродействия модуля памяти. Из этого следует, что при способе обмена без буферизации сообщений в системе можно иметь только один модуль общей памяти, т.к. параллельная работа нескольких модулей невозможна. Это обстоятельство не позволяет достичь высокой степени параллельности выполнения работ
из-за частых конфликтов, которые будут возникать между
вычислительными модулями в борьбе за доступ к общей памяти. В связи с этим потенциальная производительность таких систем низкая.
Чтобы обеспечить параллельность работы модулей памяти, необходимо значительно увеличить пропускную способность общей шины и общей(разделяемой) памяти.
Первое достигается за счёт сокращения цикла шины, связанного с
записью (считыванием) данных в память. Для этого передаваемые
сообщения буферизуются в быстрых регистрах шинного интерфейса. В
режиме записи процессор инициирует обмен, передав в буферную память шинного интерфейса адрес ячейки памяти, управляющую информацию и данные. Контроллер шинного интерфейса самостоятельно, после получения доступа к общей шине, быстро передаёт всю информацию в буфер общей памяти. Для этих целей в контроллер разделяемой памяти так же как и в устройство шинного интерфейса вычислительного модуля включают быстродействующий буфер небольшого объёма. В этом случае цикл шины может быть значительно меньше цикла памяти. Следовательно в течение цикла памяти возможна передача нескольких слов по общей шине. Поэтому число модулей памяти может быть увеличено во столько раз, во сколько цикл памяти больше цикла шины. Такой способ обмена называют с буферизацией передаваемых данных. Для повышения пропускной способности разделяемой памяти применяют её расслоение на ряд независимых модулей МОП1-МОПn (см. рис.3.9) с использованием чередования адресов.
Время записи составит t W =τ + t BF, где tBF - время обращения к
буферному регистру. При чтении данных процессором из разделяемой памяти в режиме с буферизацией потребуется уже два, но таких же коротких, как и при записи, цикла шины. Вычислительный модуль, требующий данные из общей памяти, выставляет собственный адрес, адрес модуля памяти, адрес ячейки памяти внутри модуля и необходимые управляющие сигналы. Эта информация запоминается в быстродействующей буферной памяти шинного интерфейса. Контроллер шинного интерфейса самостоятельно организует их отправку адресату, т.е. контроллеру разделяемой памяти.
Контроллер производит выборку операнда из адресуемого модуля памяти и в свою очередь формирует кадр обмена с вычислительным модулем- адресантом. В него включают адрес вычислительного модуля- адресанта (берут его из сообщения, которое было направлено в память) и прочитанные из памяти данные .Время, необходимое для чтения данных из общей памяти, составит t R = 2( τ + t BF ) . Среднее время обмена вычислительного модуля за время выполнения программы, если в ней содержится h команд записи и g команд
чтения, определится выражением
стр.54
htW+ gtR
t обм = ----------- .
h+ g
Подставив в(*) выражения для tW и tR, получим:
g(τ + tBF)
tB= τ+ tBF + ------------------
h + g
При таком способе обмена совмещается работа процессора, памяти и
интерфейсного оборудования, улучшаются возможности масштабирования и, как следствие, может быть увеличена общая производительность системы.
Пропускную способность общей шины может варьироваться,
поскольку она зависит от ширины шины, которая определяется величиной, обратной числу циклов шины, необходимых для передачи одного слова (байта) данных.
Если обозначить ширину шины буквой b, то при b=1 число линий
в шине равно числу разрядов в информационной части передаваемого
сообщения. Для небольших многопроцессорных систем, как правило, b<1. В современных крупных многопроцессорных системах b>>1, где разрядность только системной шины данных составляет 128 или более
разрядов.
От ширины шины зависят характеристики межмодульного
интерфейса. Чем меньше ширина шины, тем меньше затраты на
изготовление интерфейсного оборудования, однако ниже пропускная
способность, и следовательно, потенциальная производительность и
масштабируемость системы.