Запуск приложение в распределенной вычислительной среде на основе технологии облачных вычислений
В данной главе будут рассмотрены проблемы установки и настройки ПО для расчетов в распределенной вычислительной среде на основе технологии облачных вычислений. И будут проведено тестирование вычислительной среды на различных задачах.
NAS Parallel Bencmarks
Прежде всего хотелось бы проверить работу кластера на «хорошей» задаче, чтобы оценить перспективы его использования для реальных задач. Тесты NAS Parallel Benchmarks подойдут для этой задачи как нельзя лучше.
NAS Parallel Benchmarks — множество тестов производительности для проверки возможностей высокопараллельных вычислительных систем. Они были разработаны в NASA Advanced Supercomputing (NAS) Division [21],[84].
В этом наборе присутствуют такие тесты как:
LU – LU-разложение матриц;
EP – генерация независимых нормально распределенных случайных величин;
FT – быстрое преобразование Фурье;
IS – сортировка малых целых чисел;
DT – тесты нацеленные на оценку скорости передачи данных.
Тесты рассчитаны на вычислительные комплексы различного масштаба. Существует несколько классов задач для тестов:
S – небольшие задачи для тестовых целей;
W – задачи для отдельных рабочих станций;
A, B, C – стандартные задачи;
D, E, F – крупные задачи [100].
В данной работе будет использоваться тест LU класса S. Он позволит оценить производительность комплекса в самом первом приближении. Результаты данного теста приведены на рисунке .
Рисунок.3.4.Результаты теста NPB LU класса S
Как видно, мы имеем очень хорошие результаты: ускорение расчетов близко к идеальному. Но это всего лишь тест, теперь пора переходить к реальным приложениям.
OpenFOAM
OpenFOAM (Open Source Field Operation and Manipulation) – свободный пакет для численного моделирования задач механики сплошных сред (в частности, вычислительной гидродинамики) [99]. Его используют множество различных организаций по всему миру, как коммерческие, так и некоммерческие. Набор библиотек предоставляет инструменты для решения систем дифференциальных уравнений в частных производных, как в пространстве, так и во времени. Написан на C++. OpenFOAM позволяет решать такие задачи, как расчет гидродинамики ньютоновских и неньютоновских вязких жидкостей, как в несжимаемом, так и сжимаемом приближении с учётом конвективного теплообмена и действия сил гравитации; прочностные расчеты; задачи теплопроводности в твёрдом теле и другие [21],[40],[46]. Результаты при запуске задачи на OpenFoam (icoFoam) на виртуальном облачном вычислительном комплексе приведены на рисунке.
Рисунок.3.5. Результаты при запуске задачи на OpenFoam (icoFoam) на виртуальном облачном вычислительном комплексе
В работе реализовали матричное умножение при различных размерах матрицы в распределенной среде [82]. Как видно, мы имеем очень хорошие результаты: ускорение расчетов близко к идеальному.
No. Matrix |
2 Instances |
4 Instances |
200x200 |
0.029763 |
0.094822 |
1000x1000 |
16.619291 |
6.760375 |
1500x1500 |
64.405873 |
21.981079 |
2000x2000 |
172.414044 |
56.308349 |
3000x3000 |
904.551970 |
242.351147 |
Таблица.3.1. Результаты матричного умножения для матриц различных размеров
Рисунок.3.6. Результаты матричного умножения для матриц различных размеров
Выводы
В данной работе мы создали операционное окружение для системы безопасного доступа пользователей и запуска приложений в распределенной вычислительной среде на основе технологии облачных вычислений. Для использования ресурсов пользователю необходимо пройти процесс регистрации, чтобы получить персональный пользовательский сертификат. это своего рода электронный документ, подтверждающий личность пользователя при доступе к облачным ресурсам. На данном этапе разработана аутентификация и авторизация пользователей с помощью сертификатов. мы использовали технологию асимметричного шифрования (шифрование с«открытым ключом») для того, чтобы зашифровать ту информацию, которая передаётся в облако, особенно параметры, которые связаны с входом в систему облака. Каждый пользователь или ресурс имеет пару ключей: открытый(public), который доступен для всех, и закрытый (private), доступ к которому имеет только его обладатель. В качестве идентификаторов пользователей и ресурсов в GSI используются цифровые сертификаты X.509. Цифровой сертификат– это открытый ключ обладателя сертификата с интегрированной персональной информацией, такой как имя пользователя, его электронный адрес, место работы, срок действия сертификата и т. д. Каждый сертификационный центр проводит свою политику, которая определяет правила создания и подписания сертификатов.
Мы создали систему безопасности с использованием надежных методов аутентификации и авторизации для обеспечения системы безопасности облачных приложений. Теперь мы будем тестировать виртуальной облачной вычислительной комплекс на различных задачах и приступать к работе с сервисами. Сначала установим GridFTP – сервис для передачи данных по протоколу gsiftp. Для доступа к данным клиент использует команду globus-url-copy. Этот клиент может получить доступ к информации по различным протоколам (hhtp, https, ftp, gsiftp, file). Для запуска приложения использовались UGE и GRAM. Univa Grid Engine (UGE) используется для системы управления ресурсами облака. Компания Univa решила продолжить разработку проекта Sun Grid Engine независимо от Oracle. Univa Grid Engine предназначен для сетей класса Cluster Grid. Univa Grid Engine объединяет вычислительные ресурсы для решения особо сложных задач и предлагает эффективный подход для решения таких задач. В работе были использованы ПО для расчетов в распределенной вычислительной среде на основе Облака. И было проведено тестирование вычислительной среды на различных задачах.