Лекция 3

Первый стандарт для архитектуры грид – OGSA. Основывается на понятии «грид сервис». Грид сервис – сервис, поддерживающий предоставления полной информации о текущем состоянии потенциально временного экземпляра сервиса, а также поддерживающий возможности надёжного и безопасного исполнения, управления временем жизни, рассылки уведомлений об изменении состояния экземпляра сервиса, управление политикой доступа к ресурсам, управления сертификатами доступа и виртуализация.

Грид сервис поддерживает стандарты интерфейса как:

1. Поиск – грид приложение необходимы механизмы для поиска доступных сервисов и определения их характеристик

2. Динамическое создание сервисов – один из базовых принципов OGSA требует наличие сервисов для создания новых сервисов

3. Управлением временем жизни – РОС должна обеспечивать удаление грид сервисов

4. Уведомление – обеспечение работы грид приложения набора грид сервисов должны иметь возможность асинхронно уведомлять друг друга об изменениях в их состоянии.

Первая реализация OGSA – OGSI (Infostruction) так как при разработке стандарта веб сервисов не могли обеспечить всех требований, предъявляемых разработчиков к функциональным возможностям грид сервисам, что привело к тому, что совместное использования веб сервисов и град сервисов невозможно. Был предложен стандарт WSRF. В котором специфичные универсальные механизмы для определения, просмотра и управления состоянием удаленного ресурса, что критически важно с точки зрения грид.

Унифицированный интерфейс с вычислительными ресурсами (UNICORE). Предоставляет учёным и инженерам ресурсы суперкомпьютерных центров, объединённых в грид, и делает их доступными через интернет. Среда UNICORE поддерживает высокий уровень безопасности, а аутентификация осуществляется совместимым между ресурсами и прозрачным для пользователей способом.

Параметрические модели системы грид

Основное отличие грид приложений от последовательных и параллельных систем – возможность агрегирования и совместного использования больших наборов гетерогенных ресурсов, распределённых между географически распределёнными областями. Но высокого гетерогенный динамически формируемый в распределённой среде достаточно трудно на прямую применять традиционные метрики производительности (скорость вычисления, пропускная способность и т.д.).

Пусть в грид среде доступно m ресурсов/ Есть система распределения заданий (символ тау как j зеркальная) которой принадлежат заданий j. В рамках данной системы, каждое задание может быть разбито на действие k которые принадлежать задании j. Количество заданий модуль тау, действий – модуль j. При постановке задачи указывается время d_j для которого должен получить время. Каждая задача j и все действия k поступают в грид в момент времени r_j Грид в онлайн режиме, значение r_j заранее не известна для многих задач. Как только появляется задача производится планирование работы, после чего идет поиск и выделение ресурсов нужных для запуска. Пусть в результате финального распределения S каждое действие k принадлежит j будет исполнено за время C_k(S) -> задача j не может быть решена дольше за время чем maxC_k(S)

Пусть время реализации p_k – время реализации действия k. Тогда время решения Pj = C_j(S) – min[C_k(S) - P_k]

Качество сервисов, предоставляемых грид средой можно определить по средствам показателя максимальной опоздания задач Lmax = max[C_j(S) - dj]. При оптимизации работы распределённой среды нужно стремиться к минимизации значений данного показателя. Показатель Tj – кол-во опоздавших задач. (сумма задач где Cj> dj). Данный показатель показывает кол-во невыполненных пользовательских запросов.

Потребление ресурсов RCk – процедура отдельная, которая является произведением времени на m тогда потребление ресурсов определённой заданием, RCj = сумма RCk. А потребление ресурсов всего перечня задача RC(S) = сумма RSj. Величина характеризующая использование доступных ресурсов U = RC(S)/m * [min * C(s) + min[Cj(S) + Pj]]. Данная величина характеризует насколько оптимально используются ресурсы, доступные в распределённой сети.

Если в процессе работы грид при исполнении задачи происходит сбой, то задание должно быть запущено по новой. Тогда возможно определить полное потребление ресурсов и полную величину использования ресурсов Uдейтст.

Метрика затрат WASTE = Uдейств. Полная величина используемых ресурсов и величина использования доступных ресурсов. Данная метрика определяет динамическую величину ошибку грид системы и должна быть минимизирована владельцем вычислительный ресурсов. Исходя из того, что пользователь и владелец предъявляют различные требования к грид системе, то единую метрику довольно сложно выбрать. С точки зрения пользователя есть метрика среднего времени ответа ART = (1/тау ) * сумму Cj(S). Среднее время ожидания AWT = (1/тау )* сумма [Cj(S) - pj] .

Значение параметра ART характеризует насколько быстро происходит решение задач пользователю. Значение параметра AWT интересует пользователей, которые производят постановку, относительной небольших заданий. Справедливый метод – расчет девиации среднего времени ожидания AWDT = (1/тау) * корень(сумма(WTj)^2 – [сумма(WTj / тау)]^2), WTj = Cj(S) – Pj

Для достижения оптимального результат работы грид нужна минимизация параметров девиации среднего времени ожидания КАЖДЫМ ВЛАДЕЛЬЦОМ РЕСУРСА.

Метрика эффективности грид получается из обработки результатов мониторинга работы грид системы GE

Метрики зависящие от объема работы

В грид системах исполнение данного объема работы более важно, чем ускорение, полученное путем такого исполнения, так как задача, исполняемых в грид среде значительно сложнее тех заданий, решаемых в традиционных параллельных системах. Грид приложения которое не смогло успешно выполниться в рамках отведенного ей бюджета, генерирует сообщение об ошибке, как только обнаружится возможность не успешного исполнения, например, сбой из-за того, что не могут быть найдены ресурсы для решения. Тогда отказоустойчивость грид системы- возможность на как можно больший срок переносить время появления ошибки, пока есть возможность того, что приложение может завершиться успешно.

Метрика завершенного объема работы WC = объем выполненных задач/объем всех задач. Данная метрика позволяет определить ограничения грид системы, а ее максимизация может быть основной целью как пользователей, так и владельцев ресурсов. С точки зрения владельца ресурса WC имеет ограничения, т.к. задачи с меньшим кол-вом действий имеют большее влияние на данную метрику. Тогда доп. метрика есть метрика решения действий TC

Метрика определяется как отношение кол-во завершенных действий к общему кол-ву действий, исполненных в рамках системы распределения заданий.

Метрика завершения разблокированных действий ETC. Это действие, которые может быть выполнены только после того как все зависимости для данного действия будут исполнены.

Владельцы ресурсов должны стремиться к максимизации ETC. В том случае если метрики TC и ETC расходятся, то нужно принять выполнения специальных мер для обеспечения критичных действий. Критичное действие такое – действие, от которого зависти исполнение другие действий.

Лекция3/4

Предпосылки облачных технологий

Согласно статистике, средний уровень загрузки процессорных мощности у серверов не превышает 20%. Низкая эффективность использования серверов слоилось с подходом одно приложение – один сервер. Без снижения производительности, доступности и безопасности серверных приложений. Виртуализация дает возможность запускать в разных разделах разные ОС.

Дает удобно размещать сервисы так, чтобы было удобно видеть. Подход – 1 сервер и несколько приложений. Виртуализация означает сокрытие настоящей визуализации какого-либо объекта или процесса от истинного процесса пользователю (Пользователю сложная структура заменяется на упрощенную и виртуализация абстрагирует ПО под аппаратуру).

В компьютерных приложениях виртуализация заключается в абстрагировании вычислительных ресурсов и предоставление пользователю системы, которая скрывает собственную реализацию (пользователь имеет дело с удобным представлением объекта и для него не существенно как на самом деле устроен объект).

Виртуальная машина (далее ВМ) – это программная или аппаратная среда, которая скрывает настоящую реализацию процесса или объекта от его видимого представления. ВМ является полностью изолированный контейнером, который работает в собственной ОС, которая работает по принципу физического устройства и содержит собственную/виртуальная АЗУ, HDD, сетевой адаптер. ОС не может различить виртуальную и физическую машину, тоже самое и для приложений других устройств сети «даже сама ВМ считает себя настоящим компьютером, но виртуальные машины состоят из программных компонентов и аппаратуру». Нужна среда для виртуализации. Стандартизация.

Преимущество виртуальной над физической. Уровни виртуализации

1. Виртуализация серверов – запуск на одном физическом сервере несколько виртуальных серверов. ВМ и ВС – приложения, запущенные на хостовой ОС, которая эмулирует физические устройства сервера. На каждой ВМ устанавливается ОС, приложения, службы. Типичные системы VM2.

2. Виртуализация на уровне ядра ОС. Одно ядро хостовой ОС применяется для создания независимых параллельно работающих операционных сред. Для пользовательского ПО создается собственное сетевое и аппаратное окружение. Высокая эффективность использование аппаратных средств, низкие накладных технические расходы, простая управляемость, минимизация затрат на получение лицензии. Из минусов: подходит только для реализации однородных вычислительных сред

3. Виртуализация приложений – … Приложение работает без процедуры инсталляции, запуск через внешние носители. Плюсы: ускорение развертывание настольных систем, возможность управлением ими, минимизация конфликтов и упрощение тестирование приложений, в рамках одной ОС могут работать несколько несовместимых приложений.

4. Виртуализация представления (или же рабочих мест) – эмуляция интерфейса пользователя. Пользователь работает по интерфейсу, но само приложение выполняется на удалённом сервере.