- •(Вопросы 34-40) содержание
- •5.2. Введение в разработку параллельных программ с использованием mpi
- •5.3. Операции передачи данных между двумя процессами
- •5.1. Mpi: основные понятия и определения
- •5.1.1. Понятие параллельной программы
- •5.1.2. Операции передачи данных
- •5.1.3. Понятие коммуникаторов
- •5.1.4. Типы данных
- •5.1.5. Виртуальные топологии
- •5.2. Введение в разработку параллельных программ с использованием mpi
- •5.2.1. Основы mpi
- •5.2.1.1. Инициализация и завершение mpi-программ
- •5.2.1.2. Определение количества и ранга процессов
- •5.2.1.3. Передача сообщений
- •5.2.1.4. Прием сообщений
- •5.2.1.5. Первая параллельная программа с использованием mpi
- •5.2.2. Определение времени выполнение mpi-программы
- •5.2.3. Начальное знакомство с коллективными операциями передачи данных
- •5.2.3.1. Передача данных от одного процесса всем процессам программы
- •5.2.3.2. Передача данных от всех процессов одному процессу. Операция редукции
- •5.2.3.3. Синхронизация вычислений
- •5.2.3.4. Аварийное завершение параллельной программы
- •5.3. Операции передачи данных между двумя процессами
- •5.3.1. Режимы передачи данных
- •5.3.2. Организация неблокирующих обменов данными между процессами
- •5.3.3. Одновременное выполнение передачи и приема
- •5.4. Коллективные операции передачи данных
- •5.4.1. Обобщенная передача данных от одного процесса всем процессам
- •5.4.2. Обобщенная передача данных от всех процессов одному процессу
- •5.4.3. Общая передача данных от всех процессов всем процессам
- •5.4.4. Дополнительные операции редукции данных
- •5.4.5. Сводный перечень коллективных операций данных
- •5.5. Производные типы данных в mpi
- •5.5.1. Понятие производного типа данных
- •5.5.2. Способы конструирования производных типов данных
- •5.5.2.1. Непрерывный способ конструирования
- •5.5.2.2. Векторный способ конструирования
- •5.5.2.3. Индексный способ конструирования
- •5.5.2.4. Структурный способ конструирования
- •5.5.3. Объявление производных типов и их удаление
- •5.5.4. Формирование сообщений при помощи упаковки и распаковки данных
- •5.6. Управление группами процессов и коммуникаторами
- •5.6.1. Управление группами
- •5.6.2. Управление коммуникаторами
- •5.7. Виртуальные топологии
- •5.7.1. Декартовы топологии (решетки)
- •5.7.2. Топологии графа
- •5.8. Дополнительные сведения о mpi
- •5.8.1. Разработка параллельных программ с использованием mpi на алгоритмическом языке Fortran
- •5.8.2. Общая характеристика среды выполнения mpi-программ
- •5.8.3. Дополнительные возможности стандарта mpi-2
- •5.9. Краткий обзор лекции
- •6. Параллельные методы умножения матрицы на вектор
- •6.1. Принципы распараллеливания
- •6.2. Постановка задачи
- •6.3. Последовательный алгоритм
- •6.4. Разделение данных
- •6.5. Умножение матрицы на вектор при разделении данных по строкам
- •6.5.1. Выделение информационных зависимостей
- •6.5.2. Масштабирование и распределение подзадач по процессорам
- •6.5.3. Анализ эффективности
- •6.5.4. Программная реализация
- •6.5.5. Результаты вычислительных экспериментов
- •6.6. Умножение матрицы на вектор при разделении данных по столбцам
- •6.6.1. Определение подзадач и выделение информационных зависимостей
- •6.6.2. Масштабирование и распределение подзадач по процессорам
- •6.6.3. Анализ эффективности
- •6.6.4. Результаты вычислительных экспериментов
- •6.7. Умножение матрицы на вектор при блочном разделении данных
- •6.7.1. Определение подзадач
- •6.7.2. Выделение информационных зависимостей
- •6.7.3. Масштабирование и распределение подзадач по процессорам
- •6.7.4. Анализ эффективности
- •6.7.5. Результаты вычислительных экспериментов
- •6.8. Краткий обзор лекции
6.5.5. Результаты вычислительных экспериментов
Рассмотрим результаты вычислительных экспериментов, выполненных для оценкиэффективностиприведенного выше параллельного алгоритма умножения матрицы на вектор. Кроме того, используем полученные результаты для сравнения теоретических оценок и экспериментальных показателей времени вычислений и проверим тем самым точность полученных аналитических соотношений. Эксперименты проводились на вычислительном кластере Нижегородского университета на базе процессоров Intel Xeon 4 EM64T, 3000 МГц и сети Gigabit Ethernet под управлением операционной системы Microsoft Windows Server 2003 Standard x64 Edition и системы управления кластером Microsoft Compute Cluster Server (см. п. 1.2.3).
Определение
параметров теоретических зависимостей
(величин τ,
w,
,
β) осуществлялось следующим
образом. Для оценки длительности τ
базовой скалярной операции проводилось
решение задачи умножения матрицы на
вектор при помощи последовательного
алгоритма и полученное таким образом
время вычислений делилось на общее
количество выполненных операций – в
результате подобных экспериментов для
величины τ было получено значение 1,93
нсек. Эксперименты, выполненные для
определения параметров сети передачи
данных, показали значения латентности
и
пропускной способности β соответственно
47 мкс и 53,29 Мбайт/с. Все вычисления
производились над числовыми значениями
типаdouble,
т.е. величина w равна 8 байт.
Результаты вычислительных экспериментовприведены втаблице 6.1. Эксперименты проводились с использованием двух, четырех и восьми процессоров. Времена выполнения алгоритмов указаны в секундах.
|
Таблица 6.1. Результаты вычислительных экспериментов для параллельного алгоритма умножения матрицы на вектор при ленточной схеме разделения данных по строкам | |||||||
|
Размер матрицы |
Последовательный алгоритм |
Параллельный алгоритм | |||||
|
2 процессора |
4 процессора |
8 процессоров | |||||
|
Время |
Ускорение |
Время |
Ускорение |
Время |
Ускорение | ||
|
1000 |
0,0041 |
0,0021 |
1,8798 |
0,0017 |
2,4089 |
0,0175 |
0,2333 |
|
2000 |
0,016 |
0,0084 |
1,8843 |
0,0047 |
3,3388 |
0,0032 |
4,9443 |
|
3000 |
0,031 |
0,0185 |
1,6700 |
0,0097 |
3,1778 |
0,0059 |
5,1952 |
|
4000 |
0,062 |
0,0381 |
1,6263 |
0,0188 |
3,2838 |
0,0244 |
2,5329 |
|
5000 |
0,11 |
0,0574 |
1,9156 |
0,0314 |
3,4993 |
0,0150 |
7,3216 |
Сравнение
экспериментального времени
выполнения
параллельного алгоритма и теоретического
времениTp,
вычисленного в соответствии с выражением
(6.8), представлено втаблице
6.2и в графическом виде на рис.6.3и6.4.
|
Таблица 6.2. Сравнение экспериментального и теоретического времени выполнения параллельного алгоритма умножения матрицы на вектор, основанного на разбиении матрицы по строкам | ||||||
|
Размер объектов |
2 процессора |
4 процессора |
8 процессоров | |||
|
Tp |
T'p |
Tp |
T'p |
Tp |
T'p | |
|
1000 |
0,0069 |
0,0021 |
0,0108 |
0,0017 |
0,0152 |
0,0175 |
|
2000 |
0,0132 |
0,0084 |
0,0140 |
0,0047 |
0,0169 |
0,0032 |
|
3000 |
0,0235 |
0,0185 |
0,0193 |
0,0097 |
0,0196 |
0,0059 |
|
4000 |
0,0379 |
0,0381 |
0,0265 |
0,0188 |
0,0233 |
0,0244 |
|
5000 |
0,0565 |
0,0574 |
0,0359 |
0,0314 |
0,0280 |
0,0150 |

Рис. 6.3. График зависимости экспериментального T'p и теоретического Tp времени выполнения параллельного алгоритма на двух процессорах от объема исходных данных (ленточное разбиение матрицы по строкам)

Рис. 6.4. Зависимость ускорения от количества процессоров при выполнении параллельного алгоритма умножения матрицы на вектор (ленточное разбиение по строкам) для разных размеров матриц
