Программирование для многопроцессорных систем в стандарте MPI - Шпаковский Г.И., Серикова Н.В

for (i = myid +1; i <= n; i+= numprocs) { x = h * ( (double)i – 0.5);

sum += (4.0 / (1.0 + x*x));

}

mypi = h * sum;

printf (" mypi in process %d = %f /n",myid,mypi);

MPI_Reduce(&mypi, &pi, 1, MPI_DOUBLE, MPI_SUM, 0, MPI_COMM_WORLD);

if (myid == 0)

printf ("pi is approximately %.16f. Error is %.16f\n", pi, fabs(pi – PI25DT));

}

}

MPI_Finalize(); return 0;

}

Каждый процесс отмечает начало работы, получение переменной n и вычисление частичной суммы. Эти операции в программе выделены жирным шрифтом. В результате будет получена трассировка программы, анализ которой позволит найти ошибку.

11.2.2. Использование последовательных отладчиков

Параллельная программа может содержать различные исполняемые файлы. Этот стиль параллельного программирования называется MPMD (множество программ при множестве данных). Во многих случаях программу MPMD можно преобразовать в программу SPMD (одна программа при множестве данных), которая использует номер процесса для вызова различных процедур. Это облегчает старт параллельных программ и их отладку, поскольку тексты процессов становятся идентичными. Для таких программ часто достаточно отладить единственный процесс, обычно процесс 0. Такая отладка производится обычными отладчиками, например, отладчиками dbx, gdb, xdbx для

Unix или обычным отладчиком msdev studio для Windows.

В Unix существует возможность запустить один из процессов с помощью обычного отладчика. Например, команда:

mpirun -dbg=<name of debugger> -np 2 program

запускает program на двух машинах, но отладчик работает только на одной, а, именно, на хост машине.

Часто удобно запускать отладчик, когда в программе возникает ошибка. Если mpich сконфигурирован с опцией -mpedbg, то это вы-

231

зовет попытку mpich запустить отладчик (обычно dbx или gdb), когда возникает ошибка. Команда может, например, выглядеть следующим образом:

mpirun –np 4 a.out -mpedbg

Если преобразование программы MPMD в SPMD невозможно или принципиально необходимо отлаживать одновременно несколько ветвей (пусть идентичных по тексту), то в этом случае нельзя для запуска программ использовать mpirun. Вместо этого можно запустить процессы вручную, каждый под управлением обычного отладчика.

Опишем возможность параллельной отладки двух процессов произвольной параллельной программы program для ОС Windows.

Для организации параллельной отладки создадим два файла с расширением bat, в которых произведем установку необходимых переменных окружения для запуска приложений вручную [1] и вызов msdev studio. Файлы могут выглядеть следующим образом:

Из командной строки (command prompt) запускаем файл номер один. В результате его работы запустится msdev studio с программой program и номером процесса, равным 0. Аналогично из другой командной строки (second command prompt) запускаем файл номер два. Запускается еще раз msdev studio с программой program и номером процесса, равным 1. Затем вызываем в обоих окнах отладчик msdev. Переключаясь между окнами, можно шаг за шагом выполнять оба процесса. При этом имеем все необходимые возможности отладки: выполнение по шагам, установки точек прерываний, просмотр необходимых переменных и т. д.

11.2.3. Псевдопараллельный отладчик

Устройство ADI ch_p4mpd в mpich содержит “параллельный отладчик”, который состоит просто из нескольких копий отладчика gdb и механизма перенаправления stdin. Команда mpigdb является верси-

232

ей mpirun, оторая запускает каждый процесс под управлением gdb и управляет stdin для gdb. Команда `z' позволяет направить ввод с терминала в определенный процесс или разослать его всем процессам. Продемонстрируем это запуском просраммы cpi на языке Си для вычисления числа π под управлением простого отладчика:

Если отлаживаемый процесс зависает (нет приглашения mpigdb) из-за ожидания текущим процессом действий другого процесса, ctrl-C вызовет меню, позволяющее переключать процессы. mpigdb не так развит, как параллельный отладчик TotalView, но часто полезен и свободно распространяется с mpich.

233

11.2.4. Отладка программ MPI с помощью TotalView

Коммерческий отладчик TotalView (TV) является переносимым отладчиком для параллельных программ [26]. TotalView – единственный встроенный высокоуровневый отладчик оконного типа, специально спроектированный для современных распределенных многозадачных систем. TotalView воспринимает множество реализаций MPI, включая mpich. С помощью TV разработчики способны быстро и точно отладить приложения с многими процессами, потоками и процессорами. TV имеет следующие возможности:

•Процессы и потоки могут быть легко запущены, остановлены, перезапущены, просмотрены и удалены.

•Пользователь может легко подключиться к любому процессу в системе простым щелчком мыши. Точки останова легко управляются и изменяются.

•Программа может быть исправлена «на лету», поэтому различные сценарии исполнения проверяются быстро и без перекомпиляции.

•Множественные процессы на множественных процессорах могут быть сгруппированы, и когда один процесс достигает точки останова, все сгруппированные процессы будут остановлены. Это может существенно помочь при отладке распределенных систем, построенных по принципу клиент-сервер.

•Распределенная архитектура TV позволяет отлаживать удаленные программы на всей сети.

Для реализации указанных возможностей в TV имеется три окна:

•Root Window – корневое окно,

•Process Window – окно процесса,

•Variable Window – вспомогательное окно.

Root Window дает обзор состояния выполняемой программы. Его также можно использовать как навигационный инструмент. Это окно появляется при запуске TV. Окно имеет следующие четыре выделенные страницы:

1.Attached (подключенные процессы). Показывает список всех отлаживаемых процессов и нитей.

2.Unattached (неподключенные процессы). Показывает процессы, над которыми TV имеет контроль. Если нельзя подключиться к какому-то процессу, например, нельзя подключиться к процессу TV, то TV изображает этот процесс серым.

234

3.Groups (группы). Представляет список групп, используемых выполняемой программой.

4.Log (регистрация). Окно отображает собранную отладочную информацию о процессе и потоке внутри этого процесса. Панели внутри этого окна показывают трассу стека, границу стека и код для избранной нити. В этом окне в основном и затрачивается основная часть времени отладки.

Process Window имеет пять информационных панелей:

1.Source Pane (панель исходного кода). Эта панель содержит исходный код. Левый край этой панели, называемый областью поля тэга, показывает номера строк и иконки, указывающие определенные свойства программы. Можно разместить точку останова на любой строке программы. При этом TV заменяет номер строки на иконку STOP. Стрелка в поле тэгов указывает текущее положение программного счетчика.

2.Threads Pane (панель нитей) – показывает список нитей, которые существуют в процессе. Когда выбирается некоторая нить в этом процессе, TV изменяет содержимое Stack Trace Pane, Stack Frame Pane и Source Pane, показывая информацию по этой нити.

3.Stack Trace Pane (панель трассы стека) показывает стек вызова процедур, которые выполняет выделенная нить.

4.Stack Frame Pane (панель фрейма стека) показывает функциональные параметры, локальные переменные и регистры для избранного фрейма стека. Информация, представляемая панелями Stack Trace и Stack Frame, отражает состояние процесса на момент его последней остановки. Соответственно, эта информация не корректируется во время выполнения нити.

5.Action Points Pane (панель активных точек) показывает список точек останова, точек вычислений и точек наблюдения за процессом.

Variable Window (переменное окно) содержит список адресов, типов данных, значения локальных переменных, регистров или глобальных переменных. Окно также показывает значения, хранимые в памяти.

КОНТРОЛЬНЫЕ ВОПРОСЫ К ГЛАВЕ 11

Контрольные вопросы к 11.1

1.Что такое ошибки времени исполнения?

2.Какие предопределенные обработчики ошибок доступны в MPI?

235

3.Опишите возможности предопределенных обработчиков ошибок.

4.Какие функции используются для создания новых обработчиков ошибок?

5.Что такое классы ошибок?

Контрольные вопросы к 11.2

1.Назовите основные функции отладчика.

2.Какие способы отладки параллельных приложений используются на практике?

3.Что такое трассировка?

4.Как использовать последовательный отладчик для параллельных приложений?

5.Как можно использовать последовательный отладчик для отладки нескольких параллельных процессов, выполняемых под Windows NT?

6.Что такое псевдопараллельные отладчики и как они используются?

7.Опишите возможности параллельного отладчика программ MPI TotalView.

Глава 12. ЭФФЕКТИВНОСТЬ ПАРАЛЛЕЛЬНЫХ ВЫЧИСЛЕНИЙ

12.1. АНАЛИТИЧЕСКАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ ВЫЧИСЛЕНИЙ

Время выполнения параллельной программы зависит от многих факторов: от параллелизма математического алгоритма, от его программного представления, от возможностей и качества реализации языка параллельного программирования, количества процессоров, объема памяти, размещения данных по процессорам, быстродействия коммуникационного оборудования и от множества других обстоятельств. При некоторых упрощениях ускорение вычислений характеризуется сетевым законом Амдала (глава 1):

есть коэффициент сетевой деградации. При этом CА =Wс/W определяет алгоритмическую составляющую коэффициента деградации, обусловленную свойствами алгоритма, а CТ – техническую составляющую, которая зависит от соотношения технического быстродействия процессора и аппаратуры сети. Таким образом, для повышения скоро-

236

сти вычислений следует воздействовать на обе составляющие коэффициента деградации. Как правило, обе составляющие коэффициента деградации С известны заранее для многих алгоритмов[14] и аппаратных средств, или их можно при некоторых упрощениях относительно легко вычислить. В качестве примера рассмотрим сетевую эффективность вычислений умножения матрицы на вектор и умножение матрицы на матрицу [4].

Умножение матрицы на вектор. Предположим, что матрица А квадратная, размера m m . Тогда для каждого элемента результирующего вектора С, получаемого от перемножения матрицы А на вектор b, нужно выполнить m умножений, и m-1 сложений. Имеется m элементов вектора C, поэтому общее количество операций с плавающей точкой будет

Для простоты предполагаем, что на сложение и умножение затрачивается одинаковое количество времени, равное Tвыч. Далее предполагаем, что полное время вычисления в основном зависит от операций с плавающей точкой. Таким образом, грубая оценка времени на вы-

числения равна (2m2 -m) * Tвыч.

Оценим затраты на коммуникацию. Не будем учитывать затраты на посылку b каждому подчиненному процессу, предположим, что он прибывает туда другим способом (например, может быть там вычислен). Тогда количество чисел с плавающей запятой, которые должны быть переданы, равно m (чтобы послать строку матрицы A), + 1 (чтобы послать ответ назад) для каждого из m элементов C, что дает в результате

Если предположить, что время, требуемое на сообщение числа с плавающей запятой равняется TКОМ, то полное время связи примерно равно (m2 + m) *ТКОМ. Поэтому отношение коммуникации к вычислению равно

Предположим, что:

1.Для больших m (именно для таких задач нужны параллельные ЭВМ) можно пренебречь m по сравнению с m2.

237

2.В качестве коммуникационной сети используется сеть Fast Ethernet с пропускной способность V = 10 Мбайт/сек.

3.Объединенное время tОП плавающей операции (умножение, сложение, 2 обращения в память) требует 20 нс при частоте процессора

500 Мгц.

4.Длина слова с плавающей запятой может составлять 10 байтов. Тогда согласно выражению (12.5) получаем:

Следовательно, даже при идеальном распараллеливании (а=0)

матрично-векторное умножение всегда будет выполняться в многопроцессорной системе с замедлением по отношению к однопроцессорному варианту. Это же верно и для самопланирующего алгоритма умножения матриц, так как здесь основной операцией также является пересылка одной строки и умножение этой строки на один столбец.

Необходимы другие алгоритмы матрично-векторного умножения, обеспечивающие ускорение.

Умножение матрицы на матрицу. Для матрично-матричного ум-

ножения вектор b становится матрицей B, которая копируется в каждом процессе, и после вычислений каждый процесс посылает обратно целую строку конечной матрицы С.

Пусть A и B – квадратные матрицы. Тогда число операций для каждого элемента матрицы С будет (как и прежде) равно m умножений и m-1 сложений, но теперь вычисляется m2 элементов, а не m. Поэтому число операций с плавающей запятой равно

Количество чисел с плавающей запятой, передаваемых каждой строке, равно m (чтобы послать строку матрицы A плюс m, чтобы послать строку матрицы С назад), и имеются m строк, отсюда ответом является m * 2m. Тогда отношение коммуникации к вычислению можно вычислить по формуле 12.9, результат стремится к 1/m при увеличении m. Поэтому для этой задачи мы должны ожидать, что коммуникационные перерасходы будут играть все меньшую роль при увеличении размера задачи.

238

Тогда с помощью рассуждений, которые проводились выше для векторно-матричного умножения, учитывая формулу (12.9) и необходимость посылки равного объема данных туда и обратно, получаем:

Поскольку для коммуникационной системы SCI (Scalable Coherent Interface) V = 80 Мбайт/сек, то для сетей Fast Ethernet (FE) и SCI полу-

чаем:

Ниже для операции умножения матрицы на матрицу приводятся два графика (рис. 12.1, 12.2), построенные по выражениям (12.11) и (12.12). Справа на графиках указано число процессоров в порядке расположения графиков (для n = 32 график и значение n расположены вверху).

Приведенные графики позволяют сделать следующие выводы: Ускорение существенно зависит от объема вычислений, вызванного однократной передачей данных. Согласно (12.7) для самопланирующего алгоритма это соотношение неудовлетворительное, поэтому при любом числе процессоров происходит замедление, а не ускорение вычислений. В алгоритме с дублированием матрицы В объем вычислений при однократной передаче данных велик и повышается при увеличении размера матриц. Это видно из обоих

графиков.

Сравнение графиков для Fast Ethernet и SCI также показывает сильную зависимость ускорения от пропускной способности коммуникационной сети, причем для SCI высокое ускорение достигается при меньших размерах матриц.

Реальные данные по производительности 36-процессорного кластера SCI и 40-процессорного кластера SKY, установленных в НИВЦ МГУ, приведены в [27].

239

12.2. СПОСОБЫ ИЗМЕРЕНИЯ ЭФФЕКТИВНОСТИ ВЫЧИСЛЕНИЙ

Последовательные программы тестируют, чтобы убедиться, дают ли они правильный результат. Для параллельных программ этого недостаточно – для них необходимо определять ускорение, а следовательно, необходимо измерять время выполнения параллельной про-

240