- •Понятия эвм и вс. Понятие архитектуры вс
- •Архитектура как набор взаимодействующих компонентов. Архитектура как интерфейс между уровнями физической системы
- •Теория эволюции компьютеров. Закон Мура. Дуализм в развитии техники Теория эволюции компьютеров
- •Дуализм в развитии техники
- •Механическая эра вычислений
- •Счетно-аналитические машины
- •Общее описание и анализ вычислительной машины eniac
- •Общее описание и анализ вычислительной машины edvac Анализ eniac
- •Принципы фон-Неймана. Поколения эвм
- •Многоуровневая компьютерная организация. Уровни для прикладных и системных программистов
- •Многоуровневая компьютерная организация
- •Архитектура системы команд
- •Cisc и risc архитектуры процессоров Архитектура системы команд
- •Cisc и risc архитектуры процессоров
- •Организация risc мп dec Alpha 21x64 Организация risc мп dec Alpha 21x64
- •Развитие архитектур современных мп. Расширение архитектуры x86 Развитие архитектур современных мп
- •Архитектура vliw
- •Архитектура epic
- •Технология ia-64
- •Предпосылки развития вс. Закон Гроша для вс
- •Модель вычислителя
- •Возможности совершенствования эвм
- •Модель коллектива вычислителей
- •Структура коллектива вычислителей
- •Алгоритм работы коллектива вычислителей
- •Принципы технической реализации модели коллектива вычислителей
- •Архитектурные свойства вс Архитектурные свойства вычислительных систем
- •Системы (языки) параллельного программирования Системы (языки) параллельного программирования
- •Параллельные модели программирования. Модель передачи сообщений. Реализация на основе mpi.
- •Параллельные модели программирования. Модель общей памяти. Реализация на основе OpenMp Системы (языки) параллельного программирования
- •1. По назначению (универсальные и специализированные)
- •2. По типу (многомашинные и многопроцессорные) (ниже)
- •3. По типу эвм или процессоров (однородные и неоднородные)
- •4. По степени территориальной разобщенности (сосредоточенные и распределенные)
- •6. По режиму работы вс (оперативные и неоперативные)
- •Многомашинные вс. Режимы работы. Отличия от многопроцессорных вс
- •Классификация Флинна архитектур
- •Основные классы вычислительных систем
- •Параллельные алгоритмы. Параллельная программа. Локальное и глобальное распараллеливание
- •Модель вычислений в виде графа "операции-операнды"
- •Показатели эффективности параллельных вычислений: ускорение, эффективность, масштабируемость
- •Оценка максимально достижимого параллелизма. Закон Амдала. Парадокс параллелизма
- •Многомашинные вс. Режимы работы. Отличия от многопроцессорных вс
- •Уровни комплексирования в вычислительных системах Многомашинные вс. Режимы работы. Отличия от многопроцессорных вс
- •Уровни комплексирования в вс
- •Алгоритмы маршрутизации. Методы передачи данных. Латентность и пропускная способность сети
- •Передача данных между двумя процессорами и широковещательная передача. Реализация точечных методов передачи и широковещательной рассылки в mpi
- •Сложные задачи. Масштабируемость параллельных вычислений. Функция изоэффективности
- •Системы с общей и распределенной памятью. Многоуровневая организация общей памяти
- •Память с чередованием адресов
- •Симметричные (smp) многопроцессорные вс. Архитектура типа uma, coma, numa
- •Мультипроцессор Sun Enterprise 10000
- •Мультипроцессоры numa
- •Векторные системы. Понятие вектора и размещение данных в памяти. Векторный процессор. Pvp-система
- •Структура векторного процессора Структуры типа "память-память" и "регистр-регистр". Ускорение вычислений в векторных системах
- •Вычислительная система star-100
- •Вычислительная система cray c-90
- •Матричные вычислительные системы. Обобщенная модель матричной вс. Интерфейсная вм. Контроллер массива процессоров
- •Вычислительная система illiac IV
- •Ассоциативная память. Ассоциативные вс Ассоциативная память
- •Систолические структуры Систолические структуры
- •Кластеры. Виды кластеров
- •Топологии кластеров. Кластер Beowulf
- •Топологии кластеров
- •Кластер Beowulf
- •Архитектура с массовой параллельной обработкой Системы с массовым параллелизмом (mpp-системы)
Системы с общей и распределенной памятью. Многоуровневая организация общей памяти
Системы с общей и распределенной памятью
Особенность ВС – множество параллельно работающих процессоров. Важная задача – задача организации памяти.
Две проблемы: 1) Различие между быстродействием процессора и памяти (как и в однопроцессорных системах); 2) Одновременный доступ к памяти нескольких процессоров.
В зависимости от организации памяти различают:
ВС с общей памятью (shared memory, мультипроцессоры, сильно связанные, closely coupled systems);
ВС с распределенной памятью (distributed memory, слабо связанные, loosely coupled systems, мультикомпьютеры).
Различие между общей и распределенной памятью - это разница в структуре виртуальной памяти, то есть в том, как память выгладит со стороны процессора. Физически почти каждая система памяти разделена на автономные компоненты, доступ к которым может производиться независимо. Общую память от распределенной отличает то, каким образом подсистема памяти интерпретирует поступивший от процессора адрес ячейки. Для примера положим, что процессор выполняет команду LoadR0,i, означающую «Загрузить регистр R0 содержимым ячейки i». В случае общей памяти i - это глобальный адрес, и для любого процессора указывает на одну и ту же ячейку. В распределенной системе памяти i - это локальный адрес. Если два процессора выполняют команду LoadR0,i, то каждый из них обращается к i-й ячейке в своей локальной памяти, то есть к разным ячейкам, и в регистры R0 могут быть загружены неодинаковые значения.
Различие между двумя системами памяти должно учитываться программистом, поскольку оно определяет способ взаимодействия частей распараллеленной программы.
Мультипроцессоры сложно строить, но легко программировать. Мультикомпьютеры легко строить, но сложно программировать.
Поэтому стали предприниматься попытки создания гибридных систем, которые относительно легко конструировать и относительно легко программировать. Это привело к осознанию того, что совместную память можно реализовывать по-разному, и в каждом случае будут какие-то преимущества и недостатки.
Практически все исследования в области архитектур с параллельной обработкой направлены на создание гибридных форм, которые сочетают в себе преимущества обеих архитектур. Здесь важно получить такую систему, которая расширяема, то есть которая будет продолжать исправно работать при добавлении все новых и новых процессоров. Рассмотрим многоуровневую организацию общей памяти.
Память с чередованием адресов
Память с чередованием адресов
Физически память вычислительной системы состоит из нескольких модулей (банков), при этом существенным вопросом является то, как в этом случае распределено адресное пространство (набор всех адресов, которые может сформировать процессор). Один из способов распределения виртуальных адресов по модулям памяти состоит в разбиении адресного пространства на последовательные блоки. Если память состоит изn банков, то ячейка с адресом i при поблочном разбиении будет находиться в банке с номером i/n. В системе памяти с чередованием адресов (interleaved memory) последовательные адреса располагаются в различных банках: ячейка с адресом i находится в банке с номером i mod n. Пусть, например, память состоит из четырех банков, по 256 байт в каждом. В схеме, ориентированной на блочную адресацию, первому банку будут выделены виртуальные адреса 0-255, второму - 256-511 и т. д. В схеме с чередованием адресов последовательные ячейки в первом банке будут иметь виртуальные адреса 0, 4, 8, … во втором банке — 1, 5, 9 и т. д.
Распределение адресного пространства по модулям дает возможность одновременной обработки запросов на доступ к памяти, если соответствующие адреса относятся к разным банкам. Процессор может в одном из циклов затребовать доступ к ячейкеi, а в следующем цикле - к ячейке j. Еслиi и j находятся в разных банках, информация будет передана в последовательных циклах. Здесь под циклом понимается цикл процессора, в то время как полный цикл памяти занимает несколько циклов процессора. Таким образом, в данном случае процессор не должен ждать, пока будет завершен полный цикл обращения к ячейкеi.Рассмотренный прием позволяет повысить пропускную способность: если система памяти состоит из достаточного числа банков, имеется возможность обмена информацией между процессором и памятью со скоростью одно слово за цикл процессора, независимо от длительности цикла памяти.
Решение о том, какой вариант распределения адресов выбрать (поблочный или с расслоением), зависит от ожидаемого порядка доступа к информации. Программы компилируются так, что последовательные команды располагаются в ячейках с последовательными адресами, поэтому высока вероятность, что после команды, извлеченной из ячейки с адресом i, будет выполняться команда из ячейки i +1. Элементы векторов компилятор также помещает в последовательные ячейки, поэтому в операциях с векторами можно использовать преимущества метода чередования. По этой причине в векторных процессорах обычно применяется какой-либо вариант чередования адресов. В мультипроцессорах с совместно используемой памятью, тем не менее, используется поблочная адресация, поскольку схемы обращения к памяти в MIMD-системах могут сильно различаться. В таких системах целью является соединить процессор с блоком памяти и задействовать максимум находящейся в нем информации, прежде чем переключиться на другой блок памяти.