parallel

3

4.4Параллельная программа расчета двойного интеграла методом повторного применения квадратурной формулы

4

5

ВВЕДЕНИЕ

Начиная с момента появления вычислительной техники, человек постоянно стремится улучшить ее производительность, т.е. повысить количество обрабатываемой информации в единицу времени или сократить временные затраты компьютера на выполнение конкретной программы. Осуществление этой цели достигается двумя путями. Первый – непрерывное совершенствование аппаратных элементов вычислительной техники, сокращение связей между ними, повышение скорости их работы. Другой путь повышения производительности – создание суперкомпьютеров за счет увеличения количества исполнителей программы или использования способа обработки информации, отличного от традиционного последовательного. Ясно, что второй путь требует дополнительных затрат при программировании. Но тем не менее он позволяет получать результат быстрее, чем на серийных компьютерах.

Суперкомпьютер – это высокопроизводительная вычислительная система для выполнения сложных расчетов и обработки больших массивов информации.

В настоящее время суперкомпьютерные технологии широко используются в научных исследованиях, при поиске оптимальных технических решений, а также в коммерческой деятельности. С помощью высокопроизводительных вычислительных средств решают задачи следующих научных и научно-технических направлений:

-предсказание погоды, климата и глобальных изменений в атмосфере;

-генетика человека;

-астрономия;

-гидрогазодинамика и теплоперенос;

-прогноз катастрофических явлений в окружающей среде;

-разведка нефти и газа;

-исследование сверхпроводимости;

-распознавание изображений; распознавание и синтез речи;

-автомобиле- и авиастроение;

-прогнозирование в финансовой и экономической областях;

-оптимизация транспортных потоков;

-управление и логистика на крупных и средних предприятиях;

-разработка фармацевтических препаратов;

-обработка больших баз данных;

-защита информации,

6

а также в стратегических областях:

-управляемый термоядерный синтез, расчет реакторов, расчет поведения плазмы;

-моделирование взрывов и ядерных испытаний;

-разработка военной и авиакосмической техники;

-системы ПВО (распознавание и слежение за большим количеством целей);

-космические разработки и исследования и т.д. Суперкомпьютеры делятся на:

-векторно-конвейерные, особенностью которых является конвейерная обработка данных на специальных функциональных устройствах с использованием векторных команд для работы с целыми массивами данных;

-массивно-параллельные компьютеры с распределенной памя-

тью (MPP-машины), построенные путем объединения большого числа (до нескольких тысяч) микропроцессоров с локальной памятью, связанных между собой некоторой высокоскоростной коммуникационной средой;

-параллельные компьютеры с общей памятью (SMP-машины),

которые отличаются тем, что общая оперативная память в процессе работы вычислительной системы делится между несколькими одинаковыми процессорами, количество которых, как правило, не велико;

-кластеры, подобно массивно-параллельным системам, представляют собой многопроцессорные компьютеры, образованные из вычислительных модулей высокой степени готовности, которые связаны между собой системой связи или разделяемыми устройствами внешней памяти. Сейчас часто для кластеров используют в качестве вычислительных узлов обычные серийно выпускаемые компьютеры, а также высокоскоростное сетевое оборудование и специальное программное обеспечение. Из-за малой стоимости комплектующих изделий, возможности постоянного обновления и применения свободно распространяемого программного обеспечения эти системы являются наиболее перспективными с точки зрения получения высокой производительности.

В Томском государственном университете высокопроизводительная многопроцессорная вычислительная система появилась в конце 2000 г. Это кластер Student, состоящий из 9 двухпроцессор-

7

ных узлов с локальной памятью на базе процессоров Intel Pentium III с тактовой частотой 650 МГц. Один узел, снабженный 512 Мб оперативной памяти и двумя жесткими дисками объемом 18 Гб, является сервером, на котором происходят компиляция и запуск программ, а также хранятся каталоги пользователей. На остальных узлах установлено по 256 Мб локальной памяти. Они используются наряду с сервером для параллельных расчетов. Вычислительные узлы кластера объединены в локальную компьютерную сеть Fast Ethernet с пропускной способностью 100 Мбит/с с коммуникационной топологией «звезда». Пиковая производительность кластера 11,7 Гфлопс, реальная производительность на тесте Linpack – 5,6 Гфлопс. На кластере установлено следующее программное обеспечение:

-операционная система Red Hat Enterprise Linux AS release 4;

-кластерный пакет LAM MPI для организации параллельных вычислений;

-специализированные библиотеки SCALAPACK, Intel MKL, FFTW для решения задач линейной алгебры и применения преобразования Фурье, SPRNG для генерации последовательностей псевдослучайных чисел, FLUENT и ANSYS для инже-

нерных расчетов.

В 2007 г. в ТГУ введен в эксплуатацию вычислительный кластер СКИФ Cyberia. Этот суперкомпьютер состоит из 283 вычислительных узлов (один узел – управляющий). На каждом вычислительном узле установлено 4 Гб оперативной памяти, два двухъядерных процессора Intel Xeon 5150 Woodcrest с тактовой частотой 2,66 ГГц с поддержкой 64-разрядных расширений, жесткий диск 80 Гб. Управляющий узел с объемом оперативной памяти 8 Гб является сервером, на котором производятся компиляция и запуск программ. Для хранения системных каталогов и каталогов пользователей используется внешняя дисковая система хранения данных объемом 10 Тб.

Вычислительные узлы кластера связаны:

-системной сетью InfiniPath для обеспечения одновременной работы всех вычислительных узлов;

-вспомогательной сетью Gigabit Ethernet для связывания управляющего и вычислительных узлов;

-сервисной сетью для удаленного независимого включения / выключения питания, консольного доступа к каждому вычислительному узлу.

8

Пиковая производительность кластера СКИФ Cyberia 12 Тфлопс, реальная на тесте Linpack – 9,013 Тфлопс. В 2007 г. по своим показателям этот суперкомпьютер занимал 105-е место в списке TOP-500 (29-я редакция) и 1-е место в списке TOP-50 (5-я и 6-я редакции). На кластере СКИФ Cyberia установлено следующее программное обеспечение:

операционная система Linux SUSE Enterprise Server 10.0;

операционная система Microsoft Windows Compute Cluster Server 2003;

поддержка стандартов параллельного программирования

MPI и OpenMP;

средства разработки приложений – высокопроизводительные оптимизирующие компиляторы с языков С/С++/Fortran (Intel 9.1, PGI 7.0);

средства параллельной отладки и трассировки приложений

(Intel Vtune, TotalView 8.3);

системы управления заданиями и мониторинга для суперкомпьютера (Ganglia);

специализированное программное обеспечение – пакеты для научных и инженерных расчетов Fluent и ANSYS, моделирующие системы для исследований погоды и климата MM5 и WRF, системы для решения задач охраны окружающей среды CAMx и CMAQ; программа для докинга низкомолекулярных лигандов в белковые рецепторы AUTODOCK и комплекс программ для визуализации и анализа молекулярной структуры MGLTools, квантовохимический комплекс

GAMESS;

библиотеки для проведения параллельных вычислений

PETSc, FFTW, MKL, SPRNG.

Прежде чем приступить к написанию параллельной программы для исследовательских целей, необходимо выяснить следующие вопросы:

1)Будет ли созданная параллельная программа работать быстрее, чем ее последовательные варианты?

2)Соизмерим ли полученный выигрыш во времени, который дает параллельная программа, с затратами на программирование?

Частичные ответы на эти вопросы могут быть получены на основе закона Амдаля. Он устанавливает связь между ускорением Sp

9

работы параллельной программы по сравнению с последовательной, числом процессоров p и долей вычислительных операций парал-

лельной программы 0 1 , которые выполняются сугубо по-

следовательно:

1

Sp 1 / p .

Обычно ускорение Sp определяется как отношение процессор-

ного времени T1 на выполнение последовательной программы на одном процессоре ко времени Tp выполнения вычислений парал-

лельной программой на p-процессорной машине. При этом пред-

полагается, что обе программы реализуют один и тот же алгоритм. Если в параллельной программе доля последовательных операций (т.е. операций, которые обязательно должны выполняться одна за другой, а не одновременно) не может быть уменьшена более чем наполовину 0,5 , то ускорение параллельной программы будет

невзирая на количество процессоров, используемых в расчетах. Заметим также, что формулировка закона Амдаля не учитывает

временных затрат на обеспечение обмена информацией между вычислительными узлами. Поскольку эти затраты (обусловленные необходимостью обеспечения коммуникационных обменов, предотвращения конфликтов памяти, синхронизации) лишь увеличивают общее время работы параллельной программы, то реальное ускорение Sp будет еще ниже.

Поэтому прежде чем приступить к распараллеливанию вычислительной процедуры и проектированию программы для многопроцессорной машины, необходимо путем простого пересчета оценить время, которое будет затрачено на осуществление арифметических операций и межпроцессорные обмены при выполнении параллельного алгоритма. После этого следует соотнести полученный результат с итогом аналогичных расчетов для последовательного алгоритма и сделать вывод о перспективности планируемых действий.

10