Глава 1. Метакомпьютинг и grid – Системы.
Концепция grid.
Любые вычислительные устройства можно считать параллельной вычислительной системой, если они работают одновременно и их можно использовать для решения одной задачи. В этом смысле уникальные возможности дает сеть Интернет, которую можно рассматривать как самый большой компьютер в мире. Никакая вычислительная система не может сравниться ни по пиковой производительности, ни по объему оперативной или дисковой памяти с теми суммарными ресурсами, которыми обладают компьютеры, подключенные к Интернету. Компьютер, состоящий из компьютеров, своего рода метакомпьютер. Отсюда происходит и специальное название для процесса организации вычислений на такой вычислительной системе – метакомпьютинг. В принципе, совершенно необязательно рассматривать именно Интернет в качестве коммуникационной среды метакомпьютера, эту роль может выполнять любая сетевая технология.
Сейчас существует множество объединений пользователей, которые предоставляют свои компьютеры для решения сложных задач в распределенном режиме. Например, проект GIMPS – Great Internet Mersenne Prime Search, созданный для поиска простых чисел Мерсенна, то есть простых чисел вида 2p – 1, где p является простым числом. В ноябре 2001 года в рамках данного проекта было найдено максимальное на данное время число Мерсенна 213 466 917 – 1. Десятки тысяч компьютеров по всему миру, отдавая часть своих вычислительных ресурсов, работали над этой задачей два с половиной года.
Распределенная вычислительная среда в англоязычной литературе получила название GRID или «вычислительная сеть». GRID (англ. Grid – решетка, сеть) – согласованная, открытая и стандартизованная компьютерная среда, которая обеспечивает гибкое, безопасное, скоординированное разделение вычислительных ресурсов и ресурсов хранения информации, являющихся частью этой среды, в рамках одной виртуальной организации.
1.2 Виды grid-систем
1) Настольный суперкомпьютер – это система, обеспечивающая удаленный доступ мощному вычислительному ресурсу
Ставится ПО такое, что пользователь может воспользоваться любым ресурсом, на котором хочет решить свою задачу. 2) Распределенный интеллектуальный инструментальный комплекс. В сети создается специальная система, которая объединяет специальные ресурсы. 3) Сетевой суперкомпьютер. Задачи распараллеливаются на все имеющиеся ресурсы (кластеры, серверы, ПК и др.) Ресурсы, входящие в сеть, становятся узлами глобальное метакомпьютерной системы.
Система управления ресурсами в Grid системах:
1.3 Метакомпьютинг
Идея метакомпьютинга стала активно обсуждаться в начале 90-х годов в связи с появлением высокоскоростной сетевой инфраструктуры и началом строительства vBNS (very high speed Backbone Network Services - первой суперскоростной опорной магистрали NSFNet) в США. Ее суть состоит в объединении информационно-вычислительных ресурсов сети для решения одной задачи. При этом задача может быть как ведомственного или корпоративного масштаба, для решения которой достаточно задействовать вычислительные ресурсы локальной сети организации или корпоративной сети, так и глобального масштаба, требующая информационно-вычислительных ресурсов, которыми не располагает ни одна корпоративная сеть. В этом случае для ее решения необходимо привлекать мощности сети более широкого масштаба или более подходящие ресурсы, в том числе, может быть, высокопроизводительные кластерные системы и суперкомпьютеры.
Таким образом, конечной, стратегической целью метакомпьютерного направления является создание сверхвысокопроизводительной среды на основе вычислительных ресурсов (процессорных, оперативной и внешней памяти, устройств ввода/вывода), которые "де-факто" уже объединены современными локальными и глобальными сетями (в первую очередь Интернет) Такая распределенная, гетерогенная и неоднородная по своей природе вычислительная конструкция потенциально превышает возможности любого суперкомпьютера. Нужны только механизмы и инструментальные средства, которые позволяли бы конечному пользователю эффективно и прозрачно по отношению к среде передачи воспользоваться этими ресурсами.
Однако для создания таких механизмов и инструментальных средств необходимо решить проблемы объединения передовых достижений в области телекоммуникаций и высокопроизводительных вычислительных систем, построения систем управления информационно-вычислительными и коммуникационными ресурсами и сетевой безопасности. Именно поэтому простая по своей постановке идея метакомпьютинга стала обретать черты реальной программы только в последние 5-7 лет. Причин тому несколько:
1. Успехи в создании и развитии высокоскоростной сетевой инфраструктуры на основе волоконно-оптических линий связи.
2. Тенденция перехода от суперкомпьютерных систем с массово-параллельной архитектурой к системам кластерного типа, что позволяет использовать общие принципы разработки программного обеспечения и для метакомпьютерной среды.
3. Активное внедрение сетевых технологий во все сферы человеческой деятельности, приведшее к появлению приложений, объективно связанных с необходимостью обработки и манипулирования большими количествами динамично меняющейся информации, распределенной по сети.
термин метакомпьютинг возник вместе с развитием высокоскоростной сетевой инфраструктуры в начале 90-х годов и относился к объединению нескольких разнородных вычислительных ресурсов в локальной сети организации для решения одной задачи. Основная цель построения мета-компьютера в то время заключалась в оптимальном распределении частей работы по вычислительным системам различной архитектуры и различной мощности. Например, предварительная обработка данных и генерация сеток для счета могли производится на пользовательской рабочей станции, основное моделирование на векторно-конвейерном суперкомпьютере, решение больших систем линейных уравнений - на массивно-паралллельнойсистеме, а визуализация результатов - на специальной графической станции.
В дальнейшем, исследования в области технологий мета-компьютинга были развиты в сторону однородного доступа к вычислительным ресурсам большого числа (вплоть до нескольких тысяч) компьютеров в локальной или глобальной сети. Компонентами "мета-компьютера" могут быть как простейшие ПК, так и мощные массивно-параллельные системы. Что важно, мета-компьютер может не иметь постоянной конфигурации - отдельные компоненты могут включаться в его конфигурацию или отключаться от нее; при этом технологии мета-компьютинга обеспечивают непрерывное функционирование системы в целом. Современные исследовательские проекты в этой области направлены на обеспечение прозрачного доступа пользователей через Интернет к необходимым распределенным вычислительным ресурсам, а также прозрачного подключения простаивающих вычислительных систем к мета-компьютерам.
Очевидно, что наилучшим образом для решения на мета-компьютерах подходят задачи переборного и поискового типа, где вычислительные узлы практически не взамодействуют друг с другом и основную часть работы производят в автономном режиме. Основная схема работы в этом случае примерно такая: специальный агент, расположенный на вычислительном узле (компьютере пользователя), определяет факт простоя этого компьютера, соединяется с управляющим узлом мета-компьютера и получает от него очередную порцию работы (область в пространстве перебора). По окончании счета по данной порции вычислительный узел передает обратно отчет о фактически проделанном переборе или сигнал о достижении цели поиска.