
- •Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений
- •Диссертация
- •Глава 1. Классификация распределенных вычислительных сред 15
- •Глава 1. Классификация распределенных вычислительных сред 6
- •2Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде 14
- •Введение
- •Глава 1. Классификация распределенных вычислительных сред
- •Клиент-сервер
- •Метакомпьютинг
- •Основные понятия
- •Кластерная технология
- •Технологии Грид
- •Архитектура Грид
- •Общие задачи Грида
- •Технологии и системы облачных вычислений
- •Основные характеристики Облачных вычислений
- •Особенности облачных вычислений
- •Вызовы облачных вычислений
- •Глава 2. Проблемы доступа пользователей и анализ продуктов для запуска приложений в распределенной вычислительной среде
- •Анализ системы безопасности для распределенных вычислений
- •Системы авторизации Grid
- •Системы авторизации облачных вычислений
- •Анализ Облачных платформ для эффективного построения облачной вычислительной среды
- •Облачная платформа ( eucalyptus)
- •Облачная платформа (OpenNebula )
- •Облачная платформа (Abicloud )
- •Облачная платформа (Nimbus )
- •Анализ безопасности программной интерфейса api для управления ресурсами и сервисами Облачных вычислений
- •Исследование производительности метакомпьютера с единым образом операционной системы
- •Исследование производительности pvm c и без миграции процессов mosix в гетерогенной среде
- •Исследование производительности mpi с и без миграции процессов mosix в виртуальной среде
- •Анализ продукты Globus Toolkit для организации системы доступа пользователей к распределенной вычислительной среде
- •Gridftp – для управления данными
- •Gram – для управления процессами
- •Разработка и исследование системы управления ресурсами Univa Grid Engine в многопроцессорных северах
- •Конфигурация Univa Grid Engine
- •Глава 3. Организация системы доступа пользователей и разработка технических принципов запуска ресурсоемких приложений
- •Разработка системы безопасности грида в систему облачных вычислений
- •Разработка системы управления облачными ресурсами
- •Программный интерфейс drmaa для интеграции программных продуктов
- •Мosix вычислительный кластер на основе технологии облачных вычислений
- •Запуск приложение в распределенной вычислительной среде на основе технологии облачных вычислений
- •Глава 4. Консолидация и интеграция программных комплексов
- •Интеграция mpich2 и uge для запуска параллельных приложений
- •Интеграция uge и Globus toolkit для запуска приложений через drmaa
- •Интеграция системы безопасности Грида в систему Облачных вычислений
- •Разработка программного обеспечения OpenFoam в распределенной вычислительной среде
- •Часть исходного кода программы
- •Заключение
- •Литература
Введение
Прогресс в развитии современных информационных технологий заключается в стремлении удовлетворить самые жесткие, ресурсоемкие и все возрастающие требования потребителей, нуждающихся в обработке гигантских объемов информации, из совершенно разных областей. Такая необходимость возникла, прежде всего, в наукоемких исследованиях, а также в промышленных прикладных задачах, требующих объединения результатов работы многих производственных коллективов или нуждающихся во множестве натурных экспериментов: в авиастроении, судостроении, биотехнологии, фармацевтике, генетике и других передовых направлениях человеческой деятельности.
Для удовлетворения потребностей практики создатели информационных технологий в качестве решения поставленных задач существенного увеличения производительности средств обработки информации разработали и предложили распределенные вычисления в виде Грид-технологий и их дальнейшего развития в так называемых облачных вычислениях. При организации облачных вычислений поставщик услуг объединяет ресурсы для обслуживания большого числа потребителей в единый пул при динамическом перераспределении мощностей между потребителями в условиях постоянного изменения спроса на используемые мощности.
Облачные вычисления – это вычислительная модель, в которой ресурсы, такие как вычислительные мощности, системы хранения, сети и программное обеспечение абстрагированы и обеспечены как службы в интернете для удаленного пользователя. По его требованию обеспечиваются доступность выделения ресурсов, динамическая и фактически бесконечная масштабируемость при решении конкретных задач.
С точки зрения поставщика сервисов, благодаря объединению ресурсов и непостоянному характеру потребления со стороны потребителей, облачные вычисления позволяют экономить на масштабах, используя меньшие аппаратные ресурсы, чем требовались бы при выделенных аппаратных мощностях для каждого потребителя, а за счёт автоматизации процедур модификации выделения ресурсов, применения принципов виртуализации существенно снижаются затраты на абонентское обслуживание.
Преимущества технологии облачных вычислений включают экономию в расходах, высокую степень доступности, и легкую масштабируемость.
Однако, при всей казалось бы простой на словах постановке задачи обеспечения потребителей средой облачных вычислений, при ее практической реализации возникает целый ряд еще не решенных научных проблем, препятствующих полноценному использованию всех потенциальных достоинств такого подхода.
В частности, до сих пор представляет проблему, во-первых, обеспечение безопасности и высокой степени надежности сохранения индивидуальных данных, и, во-вторых, до сих пор отсутствует ряд конкретных разработок по запуску ресурсоемких приложений в облачной среде.
В настоящее время распределенные и виртуальные вычислительные среды не имеют достаточно эффективных средств защиты информации. Однако, при организации доступа произвольного числа пользователей степень надежности системы безопасности должна быть чрезвычайно высокой. Поэтому проблема безопасности данных и ресурсов при облачных вычислениях является одной из критических проблем в их реализации, в том числе, и с использованием принципа виртуальных машин, в которых содержатся важные приложения и чувствительные данные к общедоступным и совместно используемым облачным средам. Несмотря на то, что проблемы безопасности и интеграции окончательно не решены, компании все равно склоняются в пользу внедрения облачных технологий. Провайдеры облачной инфраструктуры предоставляют пользователям набор программных интерфейсов для управления ресурсами, виртуальными машинами или сервисами. Безопасность всей системы зависит от безопасности этих интерфейсов. Начиная от процедуры аутентификации и авторизации и заканчивая шифрованием, программные интерфейсы должны обеспечивать максимальный уровень защиты от различного сорта атак злоумышленников.
Поскольку облачные вычисления явились результатом развития Грид структур, а интерфейсы и протоколы Грида могут обеспечить некоторую степень безопасности при взаимодействии между ресурсами, имеет смысл взять эту систему за основу при обеспечении безопасности облачных платформ. Защита информации в облачных средах имеет свои особенности. В частности, необходимо обеспечить безопасность совместного использования ресурсов. При обеспечении безопасности в облаках необходимо предусмотреть проведение удобного и единообразного авторизованного доступа к ресурсам, учета их использования и защиту ресурсов и данных от несанкционированного использования.
Принимая во внимание, что множество из перечисленных проблем до сих пор не решены, можно полагать тему настоящего диссертационного исследования актуальной и практически значимой.
В данной работе выполнен анализ модели безопасности распределенных вычислений, использованы надежные методы аутентификации, авторизации, интерфейсы и протоколы Грида в качестве основы системы безопасности облачных вычислений.
Кроме того, в работе разработаны научно-технические принципы запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений.
Целью данной диссертационной работы является создание операционного окружения для организации системы безопасного доступа пользователей к вычислительным мощностям и разработка принципов запуска приложений в распределенной вычислительной среде на основе технологии облачных вычислений.
Для достижения поставленной цели необходимо решение следующих задач.
Теоретический анализ состояния вопроса организации доступа к распределенной вычислительной среде, включая анализ подходов к реализации системы безопасности данных и ресурсов.
Исследование надежных методов аутентификации и авторизации для обеспечения системы безопасности облачных приложений.
Разработка системы безопасности в распределенной облачной вычислительной среде.
Анализ системы управления ресурсами в распределенной вычислительной среде. Исследование и разработка методов использования распределенной вычислительной среды на основе технологии облачных вычислений.
Теоретический анализ и экспериментальное исследование состояния вопроса организации доступа к распределенной вычислительной среде с целью запуска конкретных ресурсоемких приложений.
Разработка методов повышения эффективности использования приложений при построении облачной вычислительной среды.
Разработка подходов к построению вычислительной системы, позволяющих повысить эффективность вычислений за счет динамической балансировки на узлах вычислительной системы.
Исследование методов эффективного проведения вычислений в условиях консолидации и интеграции гетерогенных программных комплексов.
Предмет исследования. Методы теоретического анализа и экспериментального исследования организации системы доступа пользователей к распределенной вычислительной среде на основе технологии облачных вычислений, метод авторизации пользователей по принципу одного окна, методы построения облачной инфраструктуры с открытым исходным кодом и эффективной распределенной вычислительной среды на основе технологии облачных вычислений. Методы интеграции и консолидации программных продуктов в распределенной вычислительной среде.
Методы исследований базируются на современных принципах параллельной и распределенной обработки информации, передачи данных в компьютерных системах, защиты компьютерных систем, на современных технологиях проектирования программного обеспечения, на теории надежности информационных систем, теории случайных процессов и потоков.
Научная новизна работы заключается в следующем:
Предложен новый подход к построению операционного окружения для эффективного доступа произвольного числа пользователей, запуска ресурсоемких приложений в распределенной вычислительной среде на основе технологии облачных вычислений.
Предложена методика организации эффективной вычислительной системы, позволяющая осуществлять динамическую балансировку вычислений на узлах облачной вычислительной среды.
Достоверность научных результатов и выводов подтверждена результатами тестирования алгоритмов и программного обеспечения, а также практическим использованием разработанных алгоритмических и программных методов и средств на действующем программно-аппаратном комплексе факультета ПМПУ СПбГУ. Кроме того, достоверность научных результатов и выводов подтверждена апробацией результатов исследований на ряде научных конференций, приведенных в списке научных трудов.
В результате проведенных исследований получены следующие основные научные результаты:
Разработан новый подход к построению операционного окружения, обеспечивающий доступ пользователей ресурсоемких приложений с требуемой степенью надежности и безопасности сохранения ресурсов и данных в распределенной вычислительной среде на основе технологии облачных вычислений.
Для обеспечения требуемой степени надежности системы хранения данных и использования вычислительных ресурсов разработаны авторские методики аутентификации и авторизации на базе интерфейсов и протоколов Грида в качестве основы системы безопасности в облачных вычислениях.
Разработана инфраструктура распределенной виртуальной информационной системы с открытым исходным кодом, позволяющая построить эффективную облачную среду.
Разработана методика, позволяющая осуществлять эффективную динамическую балансировку вычислений на узлах облачной вычислительной системы.
Экспериментально апробирована на функционирующем информационном комплексе разработанная вычислительная среда на основе технологии облачных вычислений, обеспечивающая запуск ресурсоемких приложений.
Научные положения, выносимые на защиту:
Научные основы методики построения и принципов функционирования облачной инфраструктуры с открытым исходным кодом.
Методика аутентификации и авторизации пользователей по принципу одного окна, обеспечивающая требуемую степень надежности.
Разработанный комплекс программных продуктов, осуществляющих системную интеграцию и консолидацию в распределенной вычислительной среде на основе технологии облачных вычислений.
Методика построения эффективной распределенной вычислительной среды для гетерогенных структур на основе технологии облачных вычислений.
Практическая значимость исследования.
Важное народно-хозяйственное значение данной исследовательской работы состоит в создании и совершенствовании теоретической и технической базы вычислительных комплексов, обладающих высокими качественными и эксплуатационными показателями и обеспечивающих ускорение научно-технического прогресса.
Конкретные результаты составляют:
Программный комплекс удаленного доступа к гетерогенным распределенным вычислительным ресурсам, обеспечивающий требуемую степень безопасности данных.
Набор программных продуктов, осуществляющих системную интеграцию в распределенной вычислительной среде на основе технологии облачных вычислений для обеспечения запуска ресурсоемких приложений.
Внедрение результатов работы. Результаты диссертационной работы внедрены в вычислительном комплексе факультета ПМПУ СПбГУ для интеграции гетерогенных ресурсов, а также использованы в учебном процессе кафедр Вычислительной техники и ИТ СПбГМТУ и Вычислительной техники СПбГЭТУ «ЛЭТИ».
Апробация работы. Основные результаты работы докладывались и обсуждались на национальных и международных научно-технических конференциях:
4-ая Международная конференция «Distributed Computing and Grid Technologies in Science and Education». Dubna, 2010 г.
Международная конференция «Computer Science & Information Technologies»,Yerevan, Armenia, 2011 г.
XIX Всероссийская научно-методическая конференция "Телематика'2012 Санкт-Петербург, 2012 г. ".
5-ая Международная конференция «Distributed Computing and Grid Technologies in Science and Education». Dubna, 2012 г.
Публикации. Основные теоретические и практические результаты диссертации опубликованы в 7 статьях и докладах, из них по теме диссертации 7, среди которых 2 публикация в ведущем рецензируемом издании, рекомендованном в действующем перечне ВАК. Доклады доложены и получили одобрение на 4 международных, всероссийских и межвузовских научно-практических конференциях.
Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав с выводами, заключения и списка литературы, включающего 100 наименований. Основная часть работы изложена на 143 страницах машинописного текста. Работа содержит 31 рисунков.