
- •Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений
- •Диссертация
- •Глава 1. Классификация распределенных вычислительных сред 15
- •Глава 1. Классификация распределенных вычислительных сред 6
- •2Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде 14
- •Введение
- •Глава 1. Классификация распределенных вычислительных сред
- •Клиент-сервер
- •Метакомпьютинг
- •Основные понятия
- •Кластерная технология
- •Технологии Грид
- •Архитектура Грид
- •Общие задачи Грида
- •Технологии и системы облачных вычислений
- •Основные характеристики Облачных вычислений
- •Особенности облачных вычислений
- •Вызовы облачных вычислений
- •Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде
- •Анализ системы безопасности для распределенных вычислений
- •Системы авторизации Grid
- •Системы авторизации облачных вычислений
- •Анализ Облачных платформ для эффективного построения облачной вычислительной среды
- •Облачная платформа ( eucalyptus)
- •Облачная платформа (OpenNebula )
- •Облачная платформа (Abicloud )
- •Облачная платформа (Nimbus )
- •Анализ безопасности программной интерфейса api для управления ресурсами и сервисами Облачных вычислений
- •Исследование производительности метакомпьютера с единым образом операционной системы
- •Исследование производительности pvm c и без миграции процессов mosix в гетерогенной среде
- •Исследование производительности mpi с и без миграции процессов mosix в виртуальной среде
- •Анализ продукты Globus Toolkit для организации системы доступа пользователей к распределенной вычислительной среде
- •Gridftp – для управления данными
- •Gram – для управления процессами
- •Разработка и исследование системы управления ресурсами Univa Grid Engine в многопроцессорных северах
- •Конфигурация Univa Grid Engine
- •Глава 3. Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений
- •Разработка системы безопасности грида в систему облачных вычислений
- •Разработка системы управления облачными ресурсами
- •Программный интерфейс drmaa для интеграции программных продуктов
- •Мosix вычислительный кластер на основе технологии облачных вычислений
- •Запуск приложение в распределенной вычислительной среде на основе технологии облачных вычислений
- •Глава 4. Консолидация и интеграция программных комплексов
- •Интеграция mpich2 и uge для запуска параллельных приложений
- •Интеграция uge и Globus toolkit для запуска приложений через drmaa
- •Интеграция системы безопасности Грида в систему Облачных вычислений
- •Разработка программного обеспечения OpenFoam в распределенной вычислительной среде
- •Часть исходного кода программы
- •Заключение
- •Литература
Анализ безопасности программной интерфейса api для управления ресурсами и сервисами Облачных вычислений
Провайдеры облачной инфраструктуры предоставляют пользователям набор программных интерфейсов для управления ресурсами, виртуальными машинами или сервисами. Безопасность всей системы зависит от безопасности этих интерфейсов. Начиная от процедуры аутентификации и авторизации и заканчивая шифрованием, программные интерфейсы должны обеспечивать максимальный уровень защиты от различного сорта атак злоумышленников.
Для Безопасности взаимодействия компонентов ec2 API используется протокол SOAP и WS-security. WS-Security является базой для облачных технологий в области безопасности веб-сервисов. WS-Security обеспечивает перемещение задач идентификации и авторизации в область обмена SOAP сообщениями. WS-Security определяет базовые механизмы и форматы использования security-token в составе SOAP-запросов. SecurityToken> это -WS-Security аутентификация пользователя посредством сертификата X.509 [22],[25],[76].
Рисунок 2.9. Компоненты WS-Security
WS-Policy определяет шаблоны и правила описания политики бeзопасности для Web-сервисов.
WS-Trust описывает правила организации доверенных отношений между участниками Web-взаимодействия.
WS-Privacy определяет форматы политики конфиденциальности при обмене SOAP-сообщениями.
WS-SecureConversation регламентирует правила безопасного обмена сообщениями в архитектуре.
WS-Federation является спецификацией, определяющей установление доверенных отношений между различными доменами безопасности.
WS-Authorization описывает форматы описания правил разграничения доступа к Web-сервисам[27].
Рисунок 2.10. WS-Security аутентификация пользователя в составе SOAP-запросов
Исследование производительности метакомпьютера с единым образом операционной системы
Современные компьютерные технологий позволяют создавать относительно дешевые многомашинные комплексы с общим математическим обеспечением и общими вычислительными ресурсами - вычислительные кластеры. Такие системы обеспечивают относительно низкую стоимость вычислений, хорошо масштабируемы, имеют высокий уровень надежности, имеют апробированные инструментальные средства для конструирования, отладки и анализа параллельных программ. В сообщении рассматривается MOSIX технология организации кластерных систем и средства тестирования её производительности, обсуждаются особенности и возможности. MOSIX — системное ПО для UNIX-подобных ОС, таких как Linux, состоящее из адаптивных алгоритмов разделения ресурсов. Это позволяет множеству однопроцессорных (UP) и SMP узлам использоваться для работы под единым управлением. Алгоритмы разделения ресурсов MOSIX разработаны в соответствии с использованием ресурсов узлов в режиме реального времени. Это достигается миграцией процессов с одного узла на другой, преимущественно и прозрачно, для балансировки загрузки (load-balancing) и предотвращения переполнения памяти. Целью такой организации вычислений является увеличение суммарной производительности и создание удобной многопользовательской и разделяемой по времени среды для запуска последовательных и параллельных приложений[2]. Она поддерживает и интерактивные процессы и пакетные задания. MOSIX можно рассматривать как операционную систему мульти-кластера, которая включает автоматическое обнаружение ресурса и динамическое распределение рабочей нагрузки, обычно она загружается на уединенных компьютерах с большим количеством процессоров. Система MOSIX обеспечивает автоматическое перемещение процессов между ними. Она расширяет ядро Linux механизмами миграции и предоставляет комплект управляющих утилит, предназначенных для настройки системы распределения процессов, а также для отладки и контроля. Особенностью MOSIX является отсутствие централизованного управления — каждый узел кластера может работать как автономная система и самостоятельно управлять вычислительными процессами. Это позволяет динамически конфигурировать кластер, наращивая или сокращая количество узлов без остановки системы. При необходимости MOSIX допускает использование статического управления, что позволяет накладывать явные ограничения для достижения максимальной эффективности конкретной кластерной архитектуры [13],[14],[29],[51].
Основной целью этой работы стало исследование и анализ возможностей оптимизации метакомпьютера с единым образом операционной системы на базе двух узлового кластера с различной аппаратной архитектурой процессоров и установленным программным обеспечением, обеспечивающим единый образ операционной системы для кластера в целом [45],[48].
Ключевым компонентом любой распределенной системы является файловая система. Как и в централизованных системах, в распределенной системе функцией файловой системы является хранение программ и данных, а также предоставление доступа к ним по мере необходимости. Здесь анализируется файловая система прямого доступа MOSIX (DFSA),условие, которая может улучшить производительность кластерных файловых систем, позволяя миграционному процессу непосредственно получить доступ к файлам в его текущем расположении. Такая возможность, в объединении с соответствующей файловой системой, могла бы существенно увеличить производительность ввода-вывода и уменьшить сетевую перегрузку, перемещая процесс, интенсивно использующий средства ввода-вывода, на файловый сервер. DFSA подходит для кластеров, которые управляют пулом общих дисков. С DFSA можно переместить параллельные процессы с клиентского узла на файловые сервера для параллельного доступа к различным файлам. Чтобы протестировать ее производительность, мы будем использовать файловую систему MOSIX (MFS), которая разрешает непротиворечивые параллельные операции на различных файлах.
Файловая система прямого доступа DFSA была разработана, чтобы уменьшить дополнительные издержки ввода-вывода, переориентируя системные вызовы миграционного процесса. Это было сделано, чтобы ограничить выполнение большинства таких системных вызовов локально на текущем узле процесса. В дополнение к DFSA новый алгоритм, который учитывает операции ввода-вывода, был добавлен к системе балансировки нагрузки MOSIX. В результате этих изменений процесс, который выполняет от умеренного до большого объема операций ввода-вывода, мигрирует на узел, который и занимается, в основном, операциями ввода-вывода. Еще одно очевидное преимущество состоит в том, что у процессоров, задействованных как в операциях ввод-вывод, так и для вычислений, появляется большая гибкость для такой их миграции с соответствующих узлов, которая лучше балансирует нагрузку. Система MOSIX распределена и масштабируема, поскольку она позволяет выполнять много процессов одновременно, и ей доступны различные файлы, которые были предварительно выделены различными узлами до выполнения параллельных процессов. Улучшения MOSIX реализованы в ядре операционной системы, без изменения интерфейса UNIX, и они полностью прозрачны для прикладного уровня[61],[80].
Рисунок.2.11. Схема технологий Mosix