• Матричная архитектура

Качественно новым архитектурным решением в накопителях поколения Symm-6 стала идея применения матрицы вместо шины или коммутатора (рис. 1). На ней нужно остановиться особо. До сих пор этот тип архитектуры оставался малоизвестным; редкие упоминания о нем можно встретить только в отдельных академических работах, посвященных при том процессорам. Ни в серверах, ни в накопителях ничего подобного пока не встречалось, разве что можно назвать попытку компании PolyServe создать матричный сервер из рабочих станций для работы под управлением Oracle9i Real Application Cluster.

Рис. 1. Эволюция архитектуры межсоединений

Если оставить в стороне мэйнфреймы с их своеобразной архитектурой, то остается выбор между шинным или коммутируемым подходом к архитектуре систем.

Хронологически раньше, начиная с миниЭВМ, стала распространяться шинная архитектура, а в 90-х годах появилась альтернативная ей — коммутируемая. В серверах и в системах хранения вторая архитектура постепенно теснит первую; но и та, и другая обладают своими преимуществами и недостатками. Примерно то же самое наблюдается и в накопителях. Однако EMC не спешила отказываться от шинной архитектуры.

Все предыдущие пять поколений семейства Symmetrix, сохраняя архитектурную преемственность, строились на основе разделяемой шины. Максимальная пропускная способность шины в последних версиях равнялась 1,6 Гбайт/с, однако по современным требованиям этого недостаточно.

Пропускная способность в таких накопителях, как HDS 9900, где используется коммутатор ввода/вывода, или в IBM ESS Shark, где применено SMP-решение, достигает 10 Гбайт/с, то есть в несколько раз выше, чем у EMC.

«Засидевшись» на шинной архитектуре, компания пропустила вперед конкурентов, и для преодоления разрыва ей понадобился принципиально новый альтернативный подход. Им оказалась архитектура Direct Matrix Architecture.

По вполне понятным причинам сегодня матричная архитектура DMX не может быть представлена со всеми техническими деталями.

Ее можно действительно представить в виде матрицы, состоящей из трех типов модулей:

• внешнего канального директора (front-end channel director);

• внутреннего директора дисков (back-end disk director);

• глобального директора кэш-памяти (global cache director).

Последний модуль имеет иерархическую структуру, он в свою очередь состоит из нескольких отдельных директоров кэш-памяти, которые управляют взаимосвязанными «регионами» (region) кэша.

Отличие этой архитектуры от шинной или коммутируемой архитектуры заключается в том, что в ней практически нет никакого разделяемого ресурса в виде шины или коммутатора. Все составляющие ее директоры находятся в прямой связи «каждый с каждым» (point-to-point matrix) — отсюда и слово Direct в названии.

Прямое соединение обеспечивает беспрепятственное перемещение данных из входных каналов в массивы хранения.

Всего таких прямых соединений на данный момент может быть 128. Они связывают канальные директоры напрямую с каждым из 32 (на сегодняшний день) независимо адресуемых и одновременно доступных регионов глобального директора кэш-памяти. Далее точно также глобальный директор связывает прямыми соединениями регионы кэш-памяти с директорами дисков.

Каждое из образуемых соединений может передавать 500 Мбайт/с, а совместно они в состоянии передавать 64 Гбайт/с, что как минимум в шесть раз больше, чем у любого из известных конкурентов.

Посредством прямых соединений канальные директоры получают параллельный доступ к директорам дисков без конкуренции за общий ресурс, без задержки и без ограничений на полосу пропускания. Архитектура DMX способна поддерживать работу до 2048 дисков.

В перспективе размер кэш-памяти может быть увеличен до 512 Гбайт, количество глобальных директоров до 8, т. е. общее количество управляемых регионов кэша может достигать до 128, что открывает возможность для дальнейшего повышения скорости обмена данными. Работой директоров кэш-памяти Symmetrix DMX управляет операционная среда Enginuity, которая организует прохождение данных через сеть с использованием комбинации метода динамической оптимизации, механизмов разгрузки (offload engine) и других алгоритмов.

• RAS

Главным системообразующим компонентом матричной архитектуры является Symmetrix DMX Cache Director. Конструктивные особенности именно этого узла обеспечивают DMX те преимущества, о которых шла речь выше. Но для корпоративной системы хранения данных важно, что он не только обладает высокой производительностью при выполнении операции чтения и записи, но еще при этом обеспечивает отказоустойчивость.

DMX Cache Director построен по классическим принципам отказоустойчивых систем. Каждый из спаренных директоров кэша управляет четырьмя регионами кэш-памяти, имеет интерфейсы с внешней средой, т. е. интерфейс с канальными директорами и директорами дисков и интерфейс с массивом глобального директора. Директор кэша имеет двойное резервирование (domain A и B), он не имеет ни одной не задублированной точки отказа.

Корректность функционирования проверяется операционной средой; если обнаруживается сбойный директор, то он «выгораживается» (fenced off) и готовится к горячей замене.

Принцип выгораживания сбойных областей распространяется и на саму кэш-память. Она построена на принципах, близких к организации RAID-массивов. При обнаружении тяжелой ошибки или при повторении легких фрагмент памяти также выгораживается и подготавливается к замене.

В описании принципов построения отказоустойчивой системы [2] можно обнаружить замечательные по своей точности фразы: «Цифровые электронные цепи построены из аналоговых элементов, только пороговое значение напряжения определяет, является ли сигнал ЕДИНИЦЕЙ или НУЛЕМ. В отсутствии специальных средств, обеспечивающих отказоустойчивость, ложное значение сигнала случайным образом может быть принято за ЕДИНИЦУ или НУЛЬ, что приведет к сбою системы».

Так просто определяется аксиома, положенная в основу развитой системы обеспечения надежности. Она включает:

• упомянутое выше резервирование доменов директора кэша;

• сравнение сигналов с тем, чтобы значения сигналов в аналогичных местах совпадали;

• контроль временной диаграммы;

• самодиагностику системы в фоновом режиме;

• мониторинг напряжений;

• информационную избыточность; к 64 информационным разрядам добавляется 16 дополнительных разрядов, которые позволяют выполнять контроль четности, проверку контрольных сумм и ряд других проверок;

• проверку выполнения команд;

• проверку адресов выполняемых действий;

• проверку попадания сигнала в точку назначения.

Еще одним элементом обеспечения надежности является заимствованная космическая технология тройной избыточности модулей с мажоритарным голосованием (Triple Module Redundancy with Majority Voting, TMR MV). Из ее названия следует, что путем голосования решение выбирается по большинству голосов, а оставшийся в меньшинстве модуль выгораживается, признается дефектным и должен быть заменен.

Оригинальная новинка заложена в организацию кэш-памяти. Обычно в ней для обеспечения надежности используется простое зеркалирование.

Это довольно тяжелый способ, который требует удвоения числа операций чтения, а на запись уходит целых пять операций. Кроме того, половина объема кэша уходит на создание резервной копии. Ситуация еще больше усложняется при использовании многоуровневых кэш-памятей. Чтобы обойти эти сложности, в новых системах EMC кэш строится на логически простых, но более надежных принципах двойного резервирования микросхем памяти.

Канальные директоры позволяют подключать к накопителям Symmetrix DMX непосредственно серверы или коммутаторы сетей хранения, построенных с использованием интерфейса Fibre Channel. Как и остальные компоненты DMX, они имеют двойное резервирование.

Управление по всей цепи от источника информации до канального директора осуществляют модуль управления коммуникациями Communication Control Module и программное обеспечение PowerPath, которые обеспечивают обнаружения сбойного пути поступления данных, переход на резервный путь, вывод неисправного из рабочего состояния и восстановление связи с ним после ремонта.