Raid-массивы

RAID - это общепринятое сокращение от Redundant Arrays of Inexpensive Disks (избыточные массивы недорогих дисков). Термин RAID впервые был использован в 1987 г. в публикации трех сотрудников Калифорнийского университета - Паттерсона, Гибсона и Каца (D. А. Patterson, G. Gibson, and R. H. Katz "A Case for Redundant Arrays of Inexpensive Disks (RAID)", Report No. UCB/CSD 87/391, University of California, Berkeley CA, 1987). В этой статье были описаны типы дисковых массивов, ших сокращенное название "массивы RAID".

Главная идея массивов RAID в том, чтобы равномерно распределить (довольно вольный перевод термина "striping", что дословно переводится как "деление на полосы") между дисками массива. Пространство каждого диска разбивается на сегменты (в англоязычной терминологии используется оригинальный термин "stripes", дословный перевод - "полосы"), размер которых может быть от одного сектора (512 байт) до нескольких мегабайт и зависит от типа операционной системы (если массив RAID реализуется программными средствами) или конструктивных особенностей RAID-контроллера (если массив RAID реализуется аппаратно). Тогда дисковое пространство массива RAID есть объединение сегментов данных всех дисков массива.

Такой способ организации данных преследует несколько целей:

• Снижение стоимости дисковой подсистемы. Применение нескольких дисков небольшого объема позволяет построить дисковый массив большой емкости, который при определенных условиях будет стоить дешевле одного жесткого диска большой емкости.

• Повышение производительности. Поскольку данные равномерно распределены между несколькими дисками массива, то можно одновременно считывать-записывать данные с этих дисков.

• Повышение надежности. Отказоустойчивость массивов RAID может быть увеличена либо путем создания дополнительной копии данных (так называемое "зеркалирование"), либо за счет использования контрольных сумм для выявления и исправления ошибок и восстановления данных. В первом случае данные при записи тиражируются и "разносятся" по дискам - на каждом диске хранится одна копия данных. Во втором при данных вычисляется контрольная сумма (алгоритм расчета контрольной суммы зависит от типа массива RAID), причем данные и контрольная сумма записываются на разные диски. В обоих случаях выход из строя одного (или более, что зависит от типа массива RAID) диска не приведет к потере данных, поскольку его содержимое может быть восстановлено расчетным путем.

Сегодня разработано более десяти типов массивов RAID (в оригинальной терминологии используется термин "Level", дословный перевод - "уровень"), которые различаются стоимостью изготовления, производительностью и надежностью.

 

RAID 0 - дисковый массив без дополнительной отказоустойчивости (Stripe set)

Массив RAID 0 - это пример распределения данных между дисками массива в "чистом" виде. Поток данных разбивается на блоки, которые последовательно записываются на несколько дисков (в простейшем случае - на два накопителя). Достоинства: высокая производительность благодаря распределению операций ввода-вывода между всеми дисками массива; не вычисляются контрольные суммы, что также увеличивает скорость работы; очень простая конструкция; легкость изготовления. Недостатки: не обеспечивается отказоустойчивость: выход из строя одного диска приводит к потере всех данных, хранящихся в дисковом массиве.

 

RAID 1 - дисковый массив с "зеркалированием" данных (Mirrored set)

В массиве RAID 1 записываются две копии каждого блока данных, причем копии "разносятся" между дисками. Поэтому для достижения максимальной скорости контроллер ввода-вывода должен обеспечивать одновременное выполнение двух разных операций чтения и одной дуплексной операции записи данных для каждой пары "зеркалированных" дисков. Достоинства: скорость записи такая же, как для одного диска; скорость чтения в два раза выше, чем для одного диска; высокая скорость восстановления данных благодаря их 100%-ной избыточности (данные восстанавливаются простым копированием информации с одного диска на другой, при этом не тратится время на дополнительные вычисления, как в случае с отказоустойчивыми массивами RAID других типов); самая простая конструкция среди массивов RAID всех возможных типов; единственный массив RAID, построить отказоустойчивую ковую подсистему на базе двух дисков - массивы RAID других типов требуют минимум трех дисков). Недостатки: низкий коэффициент использования дискового пространства (под коэффициентом использования дискового пространства понимают отношение объема данных к суммарному объему дисков массива; для массива RAID 1 он равен 0,5).

 

RAID 2 - дисковый массив с использованием алгоритма Хэмминга для проверки и восстановления данных (Striped set with ECC)

Поток данных разбивается на слова, которые в свою очередь разбиваются на биты. При этом число битов в слове должно совпадать с числом дисков с данными (в приведенном примере - четыре). Биты записываются последовательно на диски с данными. Для каждого слова данных по алгоритму Хэмминга вычисляется слово ЕСС-кода (Error Checking/Correction Code - код для проверки/коррекции ошибок), т.е. контрольная сумма. Оно записывается на диски, предназначенные для хранения контрольной информации. ЕСС-код используется для проверки и исправления ошибок во время чтения данных. Достоинства: исправление ошибок данных на ходу; очень высокая скорость передачи данных, увеличивающаяся с ростом числа дисков в массиве; коэффициент использования дискового пространства увеличивается с ростом числа дисков в массиве; относительно простая конструкция контроллера ввода-вывода по сравнению с массивами RAID 3, 4 и 5. Недостатки: весьма низкий коэффициент использования дискового пространства в случае малого размера слова данных.

 

RAID 3 - дисковый массив с вычислением контрольной суммы параллельно с передачей данных (Striped set with dedicated parity)

Поток данных разбивается на сегменты, которые записываются одновременно на несколько дисков. Контрольная сумма вычисляется во время операции записи данных, сохраняется на отдельном диске с контрольной информацией и проверяется во время операции чтения Достоинства: очень высокая скорость чтения-записи данных; отказ одного диска незначительно влияет на производительность массива; высокий коэффициент использования дискового пространства. Недостатки: достаточно сложная конструкция контроллера ввода-вывода; трудно реализовать программными средствами; в случае программной реализации требуются значительные вычислительные мощности.

 

RAID 4 - дисковый массив с независимыми дисками данных и общим диском для хранения контрольных сумм (Striped set with dedicated parity)

Каждый блок данных записывается целиком на один диск. Запись блоков данных выполняется последовательно по дискам. Контрольная сумма, общая для всех блоков одного ряда, вычисляется во время операции записи данных, помещается на диск с контрольными данными и проверяется во время операции чтения. На первый взгляд разницы между массивами RAID 3 и 4 нет, но на самом она существенна - принципиальное различие между массивами этих двух типов в том, что в массиве RAID 3 блоки данных разбиваются на сегменты, тогда как в массиве RAID 4 блоки данных не "дробятся" на более мелкие части и записываются на диск целиком. Достоинства: высокая скорость чтения данных; высокий коэффициент использования дискового пространства. Недостатки: наихудшая среди всех типов массивов RAID скорость записи; достаточно сложная конструкция контроллера ввода-вывода; сложный и неэффективный алгоритм восстановления данных в случае выхода из строя одного из дисков.

 

RAID 5 - дисковый массив с независимыми дисками данных и равномерным распределением контрольных сумм между дисками (Striped set with rotating parity)

Каждый блок данных записывается целиком на один диск. Запись блоков данных выполняется последовательно по дискам. Контрольная сумма для блоков одного ряда вычисляется во время операции записи. Контрольные суммы размещаются последовательно по всем дискам. Проверка контрольной суммы производится во время операции чтения. RAID 5 отличается от RAID 4 тем, что в нем контрольные суммы равномерно распределяются всеми дисками массива. Достоинства: высокая скорость чтения-записи данных; высокий коэффициент использования дискового пространства. Недостатки: выход из строя одного диска оказывает заметное влияние на производительность; сложная конструкция контроллера ввода-вывода; сложный алгоритм восстановления данных в случае отказа одного диска.

 

RAID 6 - дисковый массив с независимыми дисками данных и двумя независимыми наборами контрольных сумм, распределенными между дисками.

По существу, RAID 6 - усовершенствованный вариант RAID 5, в котором добавлен еще один набор контрольных сумм, независимый от первого, что увеличивает отказоустойчивость. Блоки данных распределяются по дискам так же, как в RAID 5. Второй набор контрольных сумм распределяется по дискам аналогично первому. Массив RAID 6 обеспечивает исключительно высокую отказоустойчивость и остается работоспособным даже при отказе двух дисков. Это отличное решение для систем, требующих повышенной надежности. Достоинства: высокая скорость чтения данных; высокая отказоустойчивость. Недостатки: сложная конструкция контроллера ввода-вывода; большая вычислительная нагрузка на контроллер ввода-вывода при расчете контрольных сумм и адресов, по которым они должны быть размещены на дисках; очень низкая скорость записи; низкий коэффициент использования дискового пространства (для RAID 6 он равен N/(N+2), для RAID 5 - N/(N+\), где N - число дисков с данными; для массива из пяти дисков это даст соответственно 0,6 и 0,8).

 

RAID 7 - дисковый массив с асинхронным вводом-выводом и высокой скоростью передачи данных

Архитектура массивов RAID 7 разработана компанией Storage Computer Corporation и значительно отличается от массивов RAID других типов. Все операции ввода-вывода в массиве RAID 7 асинхронные - т.е. выполнение каждой операции ввода-вывода контролируется независимо от выполнения других операций ввода-вывода. Во время выполнения любой операции ввода-вывода все данные кэшируются. Все сказанное справедливо не только для данных, передаваемых между дисками массива, но и для данных, передаваемых между массивом RAID 7 и компьютером. Массивом RAID 7 управляет многозадачная операционная система, работающая в режиме реального времени. Код операционной системы хранится в специальном контрольном процессоре и исполняется им. Благодаря применению такой ОС каналы передачи данных контролируются в режиме реального времени. Кэширование данных при операциях ввода-вывода выполняется централизованно. Для передачи кэ-шированных данных внутри массива RAID 7 применяется специальная высокоскоростная Х-шина. Контрольные суммы хранятся на одном диске, алгоритм вычисления контрольной суммы встроен в кэш-буфер. Массив RAID 7 может содержать до 48 дисков с данными, обеспечивает "горячую" замену накопителей и может быть оснащен несколькими внешними интерфейсами для подключения к компьютерам - максимум до 12. Мониторинг состояния и управление массивом можно выполнять дистанционно с помощью SNMP-агента. Достоинства: общая производительность на операциях записи на 25-90% выше, чем у одного диска, и в 1,5-6 раз, чем у массивов RAID других типов; число внешних интерфейсов для обмена данными можно дополнительно увеличить для подключения массива RAID 7 к нескольким компьютерам или увеличения общей пропускной способности канала передачи данных между массивом RAID 7 и компьютером; скорость чтения и записи растет при увеличении числа дисков в массиве; очень высокая скорость чтения в многопользовательской среде благодаря частому повторному обращению к ранее кэшированным данным. Недостатки: очень высокая стоимость оборудования и эксплуатационных расходов.

 

Смешанные RAID-массивы

RAID 10 - сочетание массивов RAID 1 и RAID 0

RAID 10 - это массив комбинированного типа. В нем первая половина дисков последовательно заполняется данными методом "чередования" накопителей, как в массиве RAID 1, вторая же "зеркалирует" содержимое первой. Достоинства: отказоустойчивость такая же, как в "зеркальном" массиве RAID 1; скорость чтения-записи несколько выше, чем у RAID 1. Недостатки: высокая стоимость; самый низкий коэффициент использования дискового пространства среди всех типов массивов RAID (например, для массива RAID 10 из четырех дисков он составляет 0,25).

RAID 53

Еще один массив "смешанного" типа. Его первая часть строится так же, как в массиве RAID 3, вторая - как в RAID 0. Такой массив можно применять в качестве более скоростной альтернативы массива RAID 3. Достоинства: такая же отказоустойчивость, как у RAID 3; скорость чтения и записи несколько выше, чем у RAID 3. Недостатки: высокая стоимость; низкий коэффициент использования дискового пространства (например, если три диска организуются по схеме RAID 3 и два - по RAID 0, то коэффициент равен 0,4).

 

Особенности массивов RAID

Некоторые системы RAID могут «на ходу» изменять свою конфигурацию. Например, система AutoRAID компании Hewlett-Packard способна анализировать рабочую нагрузку и выбирать такой уровень, который обеспечит наивысшую производительность операций считывания/записи. Однако в большинстве систем предусмотрен только один, неизменный вариант конфигурации.

В новых продуктах в основном применяется технология RAID 5. Недавно корпорация IBM выпустила на рынок дисковую подсистему 7133 для платформ Unix и Windows NT, в которой используется конфигурация RAID 5. В этой подсистеме классическая шина доступа SCSI модифицирована в кольцо - такой подход гарантирует, что отказ одного кабеля не приведет к потере данных.

Однако системы RAID 5 еще не очень распространены на рынке, в основном из-за того, что для вычисления контрольной суммы необходимы дополнительные ресурсы. Но в последнее время, когда тактовая частота микропроцессоров измеряется уже сотнями мегагерц, эта проблема начинает терять свою остроту.

Между тем произошедшее за последние годы резкое увеличение производительности микропроцессоров выявило другое «узкое место». Оказывается, дело в шине передачи данных между центральным процессором и устройством хранения. Лежащей в основе этой шины архитектуре SCSI, которая передает команды управления диском и данные, уже 15 лет.

Конфигурация RAID 5 специальным образом не оптимизирована для передачи данных, однако новейшие стандарты SCSI 2 (Fast) и SCSI 3 (Ultra Fast) повышают скорость передачи. Архитектура SCSI позволяет подключать жесткие диски цепочкой к одной логической шине, но в большинстве случаев при построении конфигурации RAID этот способ стараются не применять из-за того, что такая топология не обеспечивает необходимой устойчивости. Действительно, при отказе одного диска станут недоступными все диски в цепочке.

Учитывая такие особенности SCSI, некоторые создатели систем хранения попытались повысить скорость работы канала передачи данных между процессором и дисковой подсистемой. Одна из таких попыток привела к появлению технологии Fibre Channel Arbitrated Loop (FC-AL).

Число сторонников технологии FC-AL непрерывно растет. Ее поддерживают такие серьезные игроки на рынке устройств хранения, как HP, Sun Microsystems, Quantum, Silicon Graphics и Unisys. В отличие от SCSI, имеющей пропускную способность 20 Мбит/с, эта шина обеспечивает передачу данных со скоростью 100 Мбит/с в полнодуплексном режиме. В системах FC-AL для управления устройствами обычно используется набор команд SCSI 3 (для достижения обратной совместимости), но на скоростях более высоких, чем у решений SCSI на медном проводе. Технология FC-AL также способна при использовании надлежащих адаптеров обрабатывать другие широко распространенные протоколы передачи данных, такие как TCP/IP, FDDI и ATM.

Системы RAID состоят не только из аппаратных компонентов. В них обычно используется программное обеспечение, не являющееся частью операционной системы. Это скорее промежуточное ПО, которое создает необходимую устойчивость работы, например, выбор альтернативного пути передачи данных и принятие решений в случае отказа управляющего компьютера. Это ПО позволяет добиться высокой степени доступности данных, так как обнаруживает сбои и предпринимает соответствующие меры для обеспечения целостности потока данных (обычно кэшируя данные на избыточный диск, изменив путь прохождения данных на управляющий компьютер или полностью переключившись на другой компьютер).

Оно также способно начать процесс восстановления данных после того, как произойдет сбой. В число производителей ПО для RAID входят такие компании, как CLAM Associates, Veritas Software и Conley. Некоторые производители дисковых массивов, например Hitachi, разработали собственное ПО, оптимизированное для контроллеров, используемых в выпускаемых ими продуктах хранения.

Другой особенностью большинства RAID-систем является возможность «горячей» замены диска: жесткий диск, используемый в массиве, можно изъять без останова работы всего массива. «Горячая» замена возможна только в тех RAID-системах, которые обеспечивают избыточность. Так, в системе RAID 0 «горячая» замена невозможна.

Какой массив RAID лучше?

Из множества разнотипных массивов RAID сегодня на практике чаще всего используются RAID О, RAID 1 и RAID 5. Среди них RAID 0 - самый быстрый и недорогой, но "ненадежный". Поэтому его, например, можно успешно применять для "ускорения" дисков мощных рабочих станций, однако он непригоден для построения отказоустойчивой дисковой подсистемы.

Напротив, массивы RAID 1 используют как раз для повышения надежности дисковой подсистемы. Как правило, это решение применяется для "горячего" дублирования содержимого одного диска и идеально подходит для резервирования данных сервера с небольшим объемом хранимых данных.

Если критичные данные размещены на нескольких накопителях, то для их защиты можно применять массивы RAID 1 или RAID 5. В этом случае выбор в пользу того или иного решения будет определяться следующими соображениями:

• RAID 1 и RAID 5 обеспечивают одинаковую отказоустойчивость

• в случае выхода одного диска из строя RAID 1 восстанавливается быстрее RAID 5

• при одинаковом объеме полезных данных RAID 1 дороже RAID 5 (т.е. коэффициент использования дискового пространства у RAID 1 ниже чем у RAID 5)

Дополнительно

Информацию о RAID-массивах и RAID-контроллерах можно найти на сайте http://www.ofcom.ru/partners.shtml в разделе "Полезное".