[ООП] / Лекции / Lecture_4

2

Отметим также, что с помощью рассмотренного алгоритма логарифмического сдваивания можно не только суммировать, но выполнять множество других операций: умножение, логические операции, операции сравнения.

Ускорение параллельного алгоритма

Ускорением параллельного алгоритма называется отношение времени выполнения алгоритма на одном процессоре к времени выполнения алгоритма на p -процессорной системе:

T

Sp = Tp .

Видеальном случае Tp = Tp1 , тогда S p max = p , т.е. максимально возможное ускорение не1

может превышать число процессоров, участвующих в параллельном вычислении.

Под временем выполнения подразумевается реальное время, т.е. время учитывающее подготовку данных, пересылки и т.п. В алгоритме сдваивания помимо операций суммирования необходимо пересылать данные между процессорами.

Пусть для операции сложения необходимо время t , а для пересылки числа - αt , где α - некоторое положительное число, тогда для алгоритма сдваивания:

Таким образом, для алгоритма сдваивания ускорение это - средняя степень параллелизма, деленная на 1+α. Если α =0 , то ускорение максимально, а если α =1, то ускорение

Ускорение позволяет сравнить поведение некоторого алгоритма для однопроцессорной и многопроцессорной системах. Недостаток этой меры заключается в том, что мы сравниваем одинаковые алгоритмы, выполненные на этих вычислительных системах. Но не всегда такое сравнение корректно. Действительно, существуют алгоритмы, которые лучше выполняются на последовательных, и наоборот, алгоритмы, которые эффективны для параллельных систем. Поэтому иногда пользуются характеристикой, которая называется ускорением параллельного алгоритма по сравнению с наилучшим последовательным:

S 'p = T1н , Tp

где T1н – время выполнения наилучшего последовательного алгоритма на последовательной

машине.

Наряду с понятием ускорения параллельного алгоритма вводят характеристику, называемую эффективностью параллельного алгоритма.

Эффективностью параллельного алгоритма называется отношение:

E p = Spp .

Эффективностью параллельного алгоритма по отношению к наилучшему последовательному алгоритму:

E'p = S 'p . p

Т.к. максимальное значение ускорения алгоритма равно числу процессоров в параллельной системе, то справедливы следующие соотношения:

Высокопроизводительные вычислительные системы и параллельное программирование. Кудерметов Р.К.

3

S p ≤ p , S 'p ≤ S p , E' ≤ E ≤1 .

Таким образом, эффективность параллельного алгоритма в идеальном случае может равняться 1. Понятно, что максимальную эффективность, равную 1, достигнуть не всегда возможно ввиду таких факторов как отсутствие максимального параллелизма на всех этапах решения задачи (например, в алгоритме логарифмического сдваивания), конфликты при обращении к общей памяти, наличие критических участков алгоритма, где возможна только последовательная обработка данных и т.п. Все названные факторы иногда называют затратами на подготовку данных и вводят понятие время подготовки данных – т.е. задержка, вызванная обменами, конфликтами, загрузкой данных из памяти и размещение их в нужные регистры.

Вбольшинстве случаев параллельные программы представляют собой смесь фрагментов с различными степенями параллелизма: максимальной, частичной и минимальной.

Втеории и практике параллельных вычислений часто употребляют термин балансировки нагрузки, под которым понимают распределение заданий между процессорами с целью получения максимальной загрузки процессоров параллельной вычислительной системы.

Балансировка нагрузки может быть статической, когда задания процессорным элементам планируются до начала решения задачи, и динамической, если задания и данные распределяются в ходе решения. Понятно, последняя может оказаться чрезвычайно сложной задачей оптимизации и требовать больших затрат времени, в результате чего даже потерять всякий смысл.

Формальная модель ускорения

В связи с выше изложенным рассмотрим модель ускорения для параллельной вычислительной системы в виде, который называют формальной моделью ускорения:

S p = (α1 +α2 / k +T1α3 / p)T1 +td ,

где T1 – время решения всей задачи на одном процессоре;

α1 – доля операций, выполняемая для данного алгоритма на одном процессоре;

α2 – доля операций, выполняющихся на k процессорах, т.е. с некоторой средней степенью параллелизма;

α3 – доля операций, выполняющихся с максимальной степенью параллелизма, равной p ;

td – общее время, необходимое для подготовки данных в течение всего процесса решения

задачи.

Рассмотрим три возможных случая для формальной модели ускорения:

Sp = k < p ;

3)α2 = 0 , td =0 . Введем обозначение α = α1 , тогда α3 =1−α. В этом случае получим формальную модель ускорения в виде, выражающем закон Амдала (Amdahl):

Этот случай соответствует процессу, в котором вычисления производятся либо с максимальным параллелизмом, либо с минимальным. Пусть, например, α =12 (т.е. половина

всех вычислений выполняется на последовательно, а другая половина – идеально распарал-

Высокопроизводительные вычислительные системы и параллельное программирование. Кудерметов Р.К.

4

лелена), тогда, очевидно, S p < 2 . Таким образом, даже при отсутствии затрат на обмены и

конфликты, ускорение меньше двух.

Рассмотрим график функции ускорения, выраженной законом Амдаля при различных значениях α, приняв, для определенности, число процессоров в системе p =100 (рис 2). Из

графика можно сделать вывод, что даже, если только 1% операций выполняется последовательно, т.е. на одном процессоре, то ускорение уменьшается с 100 до 50.

Рис 4.2 – К закону Амдала

Возможен еще четвертый случай, когда td велико. Этот случай демонстрирует, что возможна ситуация, при которой при любых αi , k и p ускорение S p <1, т.е. параллельный

алгоритм будет работать дольше, чем последовательный и, следовательно, вообще непригоден. Отсюда можно сделать вывод: в задаче может существовать некоторый предел параллелизма, то есть дальнейшее увеличение числа процессоров может привести к замедлению решения.

Рассмотренные характеристики алгоритмов касались параллельных компьютеров. По аналогии эти характеристики можно распространить на векторные компьютеры.

Степень векторизации – это длина используемых в вычислениях векторов. Если на разных этапах вычислений длины векторов различны, то их средняя длина – средняя степень векторизации.

Обратим внимание, степень параллелизма может не совпадать со степенью векторизации. Например, если необходимо вычислить n функций f1(x) , f2 (x) ,…, fn (x) , то степень

параллелизма может быть максимальной, то есть равной n , или меньше в случае, если время на вычисление каждой из этих функций отличается друг от друга. О степени векторизации мы здесь не говорим, так как мы не затрагиваем характер этих функций. Если все функции одинаковы (одна) и необходимо вычислить их значения в n точках аргумента x , то степень векторизации может достигнуть значения n .

Ускорение векторного вычисления – это отношение времени выполнения алгоритма на скалярном процессоре к времени выполнения этого алгоритма на векторном процессоре.

Имеется также понятие ускорения векторного вычисления по сравнению с временем выполнения быстрейшего последовательного алгоритма на последовательном компьютере.

Для векторных вычислений так же можно рассматривать формальную модель ускорения и по аналогии с максимальным параллелизмом можно говорить об оптимальной векторизации, то есть случае, когда длины векторов позволяют максимально использовать производительность векторного процессора. Аналогом минимального параллелизма в векторных вычислениях соответствует случай скалярной обработки векторов.

Известны параллельные и векторные алгоритмы, которые при умеренных значениях параллелизма и векторизации превосходят по времени выполнения соответствующие ска-

Высокопроизводительные вычислительные системы и параллельное программирование. Кудерметов Р.К.

5

лярные алгоритмы, однако при более высоких значениях векторов или параллелизма скалярные алгоритмы по затратам времени превосходят их. Поэтому вводят ещё определение:

Говорят, что векторный алгоритм, решающий задачу порядка n согласован с наилучшим последовательным алгоритмом, если отношение Cv (n)Cs (n) остаётся ограниченным

при n →∞, где Cv – число арифметических операций для векторного (параллельного) алгоритма, Cs – число операций для скалярного (последовательного) алгоритма. Если это отно-

шение стремится к бесконечному значению при n →∞, то алгоритм называется несогласованным.

Суммирование методом рекурсивного удвоения

Рассмотрим снова задачу суммирования n чисел. Предположим, что нам необходимо получить не только окончательную сумму n чисел, но и все частичные суммы:

S11 = a1;

S12 = a1 + a2 = S11 + a2 ;

L

S1,n = a1 +K+ an = S1,n−1 + an .

Будем далее придерживаться такого обозначения: Sij = ai +L+a j . Решение задачи заключается в нахождении всех Sij . Для иллюстрации метода рассмотрим пример сложения восьми чисел:

ных сумм S23 , S34 … Второе сложение порождает ещё две суммы S13 и S14 , а также ещё

несколько промежуточных сумм. Таким образом, в результате двух векторных операций получаются четыре искомые частичные суммы: S11 , S12 , S13 , S14 . И, наконец, после

третьего суммирования мы получим все частичные суммы: S11 … S18 . Этот алгоритм

называется суммированием методом рекурсивного удвоения.

Проведём анализ проведённых вычислений. Первая векторная операция состоит из семи скалярных сложений, вторая – из шести; третья – из четырёх. Если количество слагаемых

n = 2k , то процесс состоит из k этапов, т.е. k = log n , причём вектора состоят из n −2i эле-

ментов, где i = 0,..., k −1. Сдвиг производится на каждом этапе на 2i . Средняя длина векторов при сложении равна:

Высокопроизводительные вычислительные системы и параллельное программирование. Кудерметов Р.К.

сложений со средней длиной векторов

n(log n −1) +1 . log n

Всего операций сложения в этом алгоритме n log n − n +1, а при выполнении на ска-

ниченном возрастании n. Поэтому данный алгоритм представляет собой пример несогласованного алгоритма. Однако он может оказаться очень полезным. Рассмотрим некоторые условия его выполнения.

Предположим, что векторный компьютер производит векторное сложение векторов длиной n за время T = S + τn , где S – время запуска процессора на сложение, τ – такт выполнения элементарных подопераций. Тогда время вычисления n −1 суммы S1 j ,

j = 2,..., n , по алгоритму рекурсивного удвоения при n = 2k , будет:

k −1

Tv = ∑[S +τ(n −2i )] = kS +τ(kn −2k +1) = S log n +τ(n log n −n +1)

i =0

Пусть µ - затраты времени на операцию сложения на скалярном процессоре, тогда общее время на сложение n чисел будет равно Ts = µ(n −1). Если предположить, что

S=1000 нс, τ=10 нс, µ=200 нс, то вычисления показывают:

Согласно таблице, скалярный алгоритм эффективней векторного при малых значениях векторов, что объясняется доминированием времени запуска в векторных операциях. В диапазоне больших длин векторов, но всё ещё реальных – эффективнее векторное сложение по методу рекурсивного удвоения. Далее, снова скалярный алгоритм становится эффективнее, т.к. при векторных вычислениях в формуле (2) член n log n начинает доминировать.

Таким образом, отношение

где Cv – общее число арифметических операций для векторного алгоритма; Cs - общее число арифметических операций для последовательного алгоритма;

Следовательно, согласно данному выше определению алгоритм рекурсивного удвоения можно отнести к несогласованному.

Высокопроизводительные вычислительные системы и параллельное программирование. Кудерметов Р.К.