Лекции / Лекция 5

Технологии и методы программирования. Лекция 5.

Правила проектирования вычислительных систем.

1) Выбор вычислительной схемы должен выполняться так, чтобы диаметр графа был минимален.

2) T_p<=T_∞+T₁/p

3) p>=T₁/T_∞

4) если p>=T₁/T_∞ то T_p<=2*T_∞

Докажем теорему: Для любого количества процессоров верхняя граница времени выполнения параллельного алгоритма не превышает суммы минимального времени выполнения и времени выполнения алгоритма одним процессором, делённого на количество процессоров.

Доказательство:

Построим расписание H_∞ для бесконечного числа процессоров. N_τ – количество операций, происходящих на итерации τ, 0<=τ<=T_∞, измеряется в условных единицах. Время реализации итерации на бесконечном количестве процессоров — 1, на одном — N_τ следовательно, на p процессорах итерация τ будет обработана за N_τ /p условных единиц времени. T_p=Σ N_τ /p< Σ(N_τ /p+1)=T₁+T_∞, что и требовалос доказать.

Правила составления расписаний для p процессоров:

1) Сначала составляется расписание для T_∞:

Выделяются независимые итерации и составляется расписание из расчёта, что все дотупные независимые итерации могут быть сделаны за раз. В результате получается T_∞ итераций и набор значений N_τ — количество операций в итерациях

2) Адаптация для p процессоров:

Следует учесть, что каждая из T_∞ итераций на p процессорах будет выполнена за N_τ/p условных единиц времени.

Оценка эффективности параллельного алгоритма.

1) Оценка ускорения, то есть отношения времени работы на одном процессоре к времени работы на p процессорах. S_p(n)=T₁(n)/T_∞(n)

2) Оценка эффективности, то если отношения ускорения к числу процессоров: E_p=T₁(n)/(p*T_p(n)). Эффективность показывает, какую долю вносит в ускорение каждый процессор.

Возможна сверхлинейность ускорения — то есть возрастание эффективности с количеством процессоров. Она возникает из-за неравенства условий выполнения последовательного и параллельного алгоритмов. Так, для параллельного алгоритма данные могут полностью уместиться в оперативной памяти процессоров, в то время как при последовательном выполнении часть информации придётся хранить во внешней памяти, что увеличит время выполнения. Помимо этого, вычислительная схема параллельного алгоритма может быть сама по себе более эффективна, чем у последовательного.

Однако чаще повышение ускорения и количества процессоров ведёт к уменьшению эффективности. В реальных системах приходится искать компромисс между ускорением и эффективностью.

3) Оценка стоимости, то есть произведения количества процессоров на время выполнения. Cp=p*T_p(n). Критерий оптимальности утверждает, что алгоритм эффективен, пока стоимость параллельного алгоритма пропорциональна стоимости алгоритма последовательного.

Пример:

Вычисление частичных сумм.

Схема последовательного алгоритма:

Каждая итерация использует результаты предыдущих, поэтому распараллеливание невозможно.

Каскадная схема:

N/2 процессоров, N+1 операций сложения, log₂N времени. Ускорение: S_p(n)=(n-1)/log₂(n). Эффективность: E_p(n)=(n-1)/(n/2*log₂(n)), стремится к 0 при увеличении количества процессоров. Для получения алгоритма с не стремящейся к 0 эффективностью, необходимо уменьшить число процессоров, причём в зависимости от размера задачи.

Пусть p=n/log₂(n). Тогда часть операций в итерациях приходится делать последовательно.

На первом этапе делается log2(n) операций последовательно, на втором — столько же итераций. Таким образом, общее время — 2log₂(n), S_p(n)=(n-2)/(2*log₂(n)), E_p(n)=(n-1)/2n, что при увеличении количества процессоров стремится к 0,5 — цель достигнута. Вообще, уменьшение числа процессоров в log₂n раз — стандартное решение. Стоимость алгоритма — C_p=p*T_p=2n=2*T₁ – пропорциональна времени последовательного алгоритма.