Параллельные вычислительные системы, закон Амдала
Параллельные вычислительные системы
Параллелизация вычислений и ВС – главное направление для повышения вычислительной мощности.
Традиционные виды:
Параллельный ввод/вывод
Многоядерность
Параллелизация модулей оперативной памяти
Постоянная память (структура SSD)
Организация параллельных вычислений (на каждом из уровней ВС)
Параллелизация по уровням
1) Микроуровень (обработка команды из набора, преобразование в сигналы) – конвейерная обработка, каждый из сигналов может занимать несколько тактов, однако результаты выполнения будут следовать с одним интервалом.
Показатель CPI – clocks per instruction (такты за инструкцию) CPI = 1 – 1 такт, если последовательность команд идеально ложится на конвейер, конвейеризация). Идеальной конвейеризации мешают условные и безусловные переходы.
Для решения проблемы переходов следует предварительно анализировать исполняемый программный код и предсказывать переходы. Из-за этого задача носит вероятностный характер. В современных ЦП для этого предусмотрен специальный динамический планировщик.
Создание идеального динамического планировщика – трудная техническая задача, решение которой год от года совершенствуется.
Более известный показатель – производительность на ядро.
2) Уровень набора команд (ISO). Использование VLIW позволяет исполнять несколько команд за 1 такт. Перспективное направление получения PCI <<1.
Показатель IPC – instructions per clock
3) Уровень потоков и заданий. Параллелизацию обеспечивают архитектуры SIMD и её аналоги (массовый сегмент ВС). Для суперкомпьютеров используют архитектуры типа MIND. Много частных решений (Intel SMT).
Однако самое эффективное решение на данном уровне – увеличение вычислительных блоков и ядер.
Принципиальное ограничение – подходы программирования. Очевидно, что необходимо развитие параллельного программирования для использования потенциала параллелизации вычислительной техники. Сегодня эффективность алгоритмов должна рассматриваться с учётом параллельности вычислений.
Стремиться надо к векторно-матричным вычислениям (MatLab).
Эффективность параллельных вычислительных систем. Закон Амдава.
Насколько увеличивается скорость вычислений при использовании не 1 блока, а 10?
Рассматривается задача с 1 вычислительным блоком и n.
1 => T1, n => Tn
Sn – коэффициент ускорения вычислений.
Закон Амдава:
f – доля последовательной части программы, которая не может быть распараллелена.
При f = 1 пророста в скорости вычислений не будет.
При n => ∞ Sn = 1/f
Таким образом проблемой является наличие последовательной части в программном коде.
F = 0,5
N = 2
S2 = 1,33
F = 0,5
N = 4
S4 = 1,6
S4 приращение равно 27% относительно S2 меньше приращения S2 относительно S
Увеличение ядер без изменения размеров последовательной части постепенно
Обратный закон Густавсона. Рассматривается замедление выполнения программы при переходе от 1 к n вычислительным блокам.
Выполнение программы можно контролировать по загруженным ядрам в операционной системы.
В новых программах (не старше 10 лет) загрузка по ядрам происходит параллельно.
В старых программах загрузка может быть распределена на несколько ядер за счёт средств операционной системы.
ОС чаще всего организует параллельное выполнение, однако в ряде случаев это правило не действует.
Лучше использовать последние редакции ПО для задействования более полной параллелизации вычислений.
Сама ОС является многозадачной и на ряду с рабочим процессом пользователя существуют процессы ОС, которые идут постоянно и по расписанию.
(
Параллельные вычислительные системы — это физические компьютерные, а также программные системы, реализующие тем или иным способом параллельную обработку данных на многих вычислительных узлах.
Например, для быстрой сортировки массива на двухпроцессорной машине можно разделить массив пополам и сортировать каждую половину на отдельном процессоре. Сортировка каждой половины может занять разное время, поэтому необходима синхронизация.