- •Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений
- •Диссертация
- •Глава 1. Классификация распределенных вычислительных сред 15
- •Глава 1. Классификация распределенных вычислительных сред 6
- •2Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде 14
- •Введение
- •Глава 1. Классификация распределенных вычислительных сред
- •Клиент-сервер
- •Метакомпьютинг
- •Основные понятия
- •Кластерная технология
- •Технологии Грид
- •Архитектура Грид
- •Общие задачи Грида
- •Технологии и системы облачных вычислений
- •Основные характеристики Облачных вычислений
- •Особенности облачных вычислений
- •Вызовы облачных вычислений
- •Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде
- •Анализ системы безопасности для распределенных вычислений
- •Системы авторизации Grid
- •Системы авторизации облачных вычислений
- •Анализ Облачных платформ для эффективного построения облачной вычислительной среды
- •Облачная платформа ( eucalyptus)
- •Облачная платформа (OpenNebula )
- •Облачная платформа (Abicloud )
- •Облачная платформа (Nimbus )
- •Анализ безопасности программной интерфейса api для управления ресурсами и сервисами Облачных вычислений
- •Исследование производительности метакомпьютера с единым образом операционной системы
- •Исследование производительности pvm c и без миграции процессов mosix в гетерогенной среде
- •Исследование производительности mpi с и без миграции процессов mosix в виртуальной среде
- •Анализ продукты Globus Toolkit для организации системы доступа пользователей к распределенной вычислительной среде
- •Gridftp – для управления данными
- •Gram – для управления процессами
- •Разработка и исследование системы управления ресурсами Univa Grid Engine в многопроцессорных северах
- •Конфигурация Univa Grid Engine
- •Глава 3. Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений
- •Разработка системы безопасности грида в систему облачных вычислений
- •Разработка системы управления облачными ресурсами
- •Программный интерфейс drmaa для интеграции программных продуктов
- •Мosix вычислительный кластер на основе технологии облачных вычислений
- •Запуск приложение в распределенной вычислительной среде на основе технологии облачных вычислений
- •Глава 4. Консолидация и интеграция программных комплексов
- •Интеграция mpich2 и uge для запуска параллельных приложений
- •Интеграция uge и Globus toolkit для запуска приложений через drmaa
- •Интеграция системы безопасности Грида в систему Облачных вычислений
- •Разработка программного обеспечения OpenFoam в распределенной вычислительной среде
- •Часть исходного кода программы
- •Заключение
- •Литература
Исследование производительности pvm c и без миграции процессов mosix в гетерогенной среде
Для организации распределенной вычислительной среды наиболее часто используются следующие программные средства: MPI, MOSIX, PVM. PVM является популярной средой программирования, которая позволяет пользователям объединять подключенные к сети компьютеры и находить устройства, которые можно использовать для организации вычислений. Ее основные преимущества - поддержка неоднородных сетей и машин, возможность организации динамического процесса и управления отдельной виртуальной машиной, а так же простота и эффективность библиотеки и пользовательского интерфейса. Главная цель использования PVM — это повышение скорости вычислений за счет их параллельного выполнения. Функционирование PVM основано на механизмах обмена информацией между задачами, выполняемыми в ее среде. Основные недостатки PVM - это статическое закрепление задач за узлами, которое приводит к неспособности эффективно ответить на изменения загрузки узлов, и предположение, что все рабочие станции имеют близкие скорости [34],[51].
В нашем эксперименте кластеры MOSIX были созданы в гетерогенной среде и виртуальной среде. В гетерогенной среде были установлены программы PVM и MOSIX и в ней запускалось приложение, которое вычисляет процессорное время при умножении матриц. Сначала выполняется приложение - умножения матриц на PVM без MOSIX. И потом на MOSIX. Затем, та же процедура повторяется на PVM с MOSIX. В следующей таблице приведены результаты по измерению процессорного времени при умножении матриц. Эти результаты наглядно доказывают преиму щества использования приоритетных миграций процесса.
Размерности Матриц |
Время Вычислений (PVM without MOSIX) |
Время Вычислений (PVM with MOSIX) |
|
||||
|
6 processors |
10 processors |
6 processors |
10 processors |
|||
400X400 |
0.326 |
0.376 |
0.322 |
0.347 |
|||
600X600 |
1.082 |
1.066 |
1.065 |
1.053 |
|||
800X800 |
1.805 |
1.626 |
1.864 |
1.628 |
|||
1000X1000 |
3.032 |
2.378 |
2.8 |
2.670 |
|||
Таблица.2.3. Результаты по измерению процессорного времени при умножении матриц в гетерогенной среде
Рисунок.2.12. сравнение времени выполнения при умножении матриц
Исследование производительности mpi с и без миграции процессов mosix в виртуальной среде
В виртуальной среде были установлены программы MPI и MOSIX и в ней запускалось приложение по определению времени задержки при синхронизации процессов MPI. MPI — это стандарт на программный инструментарий для обеспечения связи между отдельными процессами параллельной задачи. MPI предоставляет программисту единый механизм взаимодействия процессов внутри параллельно исполняемой задачи независимо от машинной архитектуры (однопроцессорные, многопроцессорные с общей или раздельной памятью), взаимного расположения процессов (на одном физическом процессоре или на разных) и API операционной системы. Программа, использующая MPI, легко отлаживается и переносится на другие платформы, часто для этого достаточно простой перекомпиляции исходного текста программы[9],[34],[96].
В этом примере выполняется коммуникационный тест MPI (время задержки сообщений) . MPI-0 отправляет 1-байтовое сообщение к MPI-1, затрачивая время на ожидание ответа между ними. После этого производится синхронизация для каждого повторения, а при завершении подсчитывается среднее времени ожидания. Эти тесты были выполнены под управлением операционной среды MOSIX, с и без преимущественной схемы миграции процесса. Результаты этих тестов доказали достоинства использования преимущественной миграции процесса. Для сравнения времени задержки при выполнении тестового коммуникационного приложения на MPI и MOSIX, сначала было запущено приложение по определению времени задержки на MPI без MOSIX. И потом та же операция повторялась под MOSIX. Ниже в таблице показаны результаты по определению времени задержки на приложении MPI-latency. Эти Результаты так же доказывают преимущества использования приоритетных миграций процесса.
Number of Process (Round Trip Latency Timing Test ) |
Run MPI without MOSIX
|
Run with MOSIX |
|
||||
|
Avg round trip time |
Avg one way latency |
Avg round trip time |
Avg one way latency |
|||
2 |
12152 |
6079 |
11877 |
5938 |
|||
3 |
12643 |
6321 |
11975 |
5987 |
|||
4 |
11875 |
5937 |
11228 |
5614 |
|||
5 |
13296 |
6648 |
11623 |
5811 |
|||
6 |
13160 |
6580 |
11378 |
5689 |
|||
Таблица.2.4. Результаты (Время задержки - микросекунды) по определению времени задержки на приложении MPI-latency в виртуальной среде
Рисунок.2.13. Результаты (Время задержки - микросекунды) по определению времени задержки на приложении MPI-latency
Отличительными особенностями выполнения приложений на MOSIX являются адаптивная политика распределения ресурсов, симметрия и гибкость конфигурации. Комбинированный эффект этих свойств подразумевает, что пользователь не должен знать текущего состояния ресурсов на различных узлах и даже их количества. Параллельные приложения могут выполняться, позволяя MOSIX назначать и переназначать процессы на эффективнейшие из возможных узлов, почти так же, как и в SMP. В отличие от таких пакетов, как MPI или PVM, фиксирующих процессы в конкретных узлах кластера, MOSIX обеспечивает их прозрачную динамическую миграцию. При этом MPI и PVM могут использоваться совместно с MOSIX. Зависимость производительности от скорости процессора и объема памяти на стартовом узле и для повышения производительности на сильно связанных задачах необходимо повышать скорость сети, например используя Gigabit Ethernet или Myrinet [26].
Благодаря Технологии MOSIX может создать эффективную вычислительную систему, которая позволяет осуществлять динамическую балансировку вычислений на узлах вычислительной системы на основе технологии облачных вычислений.
