Размещение данных на диске

О том, что конфигурация диска задается через количество цилиндров, головок и секторов на дорожке, все знают с начала эпохи PC. Хотя еще несколько лет тому назад точное указание в программе SETUP всех этих параметров диска было обязательным, сейчас это не так. Строго говоря, те параметры диска, которые вы видите в разделе SETUP Standard CMOS Setup, как правило, ничего общего не имеют с реальными параметрами диска, причем вы можете заметить, что эти параметры меняются в зависимости от вида трансляции геометрии диска - Normal, LBA и Large. Normal - геометрия в соответствии с данной производителем в документации на диск и не позволяет DOS увидеть более чем 504 Mb (1 Mb - 1048576 байт). LBA - Logical Block Address - эта установка позволяет видеть DOS диски объемом до 4 Gb. Large используется такой операционной системой, как Unix. Параметры, установленные в SETUP, преобразуются в реальные логикой управления жестким диском. Многие современные операционные системы работают с диском через LBA, минуя BIOS. В последнее время IDE и в большей степени SATA жесткие диски все чаще и чаще используются для построение отказоустойчивых дисковых подсистем на базе RAID контроллеров и/или внешних дисковых массивов. Большая емкость на один диск, низкая стоимость и вполне приличная надежность делает эти диски в ближайшей перспективе серьезными конкурентами для SCSI в серверных системах, а во внешних дисковых системах для работы с оцифрованным кино и видео SCSI диски уже практически не применяются. Но при использовании обычных IDE/SATA жестких дисков в RAID массивах может возникнуть одна довольно неприятная проблема, о решении которой мы и расскажем в этой заметке.

Суть проблемы

Чаще всего в RAID-массивы устанавливают стандартные жесткие диски, изначально предназначенные для обычных desktop компьютеров, по той простой причине, что иных SATA/IDE дисков просто нет. Они обладают большой емкостью, высокой надежностью и сравнительно низкой стоимостью. Казалось бы, чего же боле? Однако, здесь и существует проблема! Дело в том, что во все современные IDE/SATA жесткие диски для повышения надежности хранения данных встроена автоматическая функция коррекции ошибок. При ее разработке исходили из здравого посыла, что жесткий диск не должен отправлять куда-либо сообщение о каждой обнаруженной ошибке чтения, загружая тем самым другие устройства (в том числе процессор компьютера) ненужной дополнительной работой. Напротив, он должен предпринять все возможное для самостоятельной  коррекции обнаруженной ошибки, для начала многократно пытаясь прочитать сбойный блок, а потом исключив его из использования, сделав переназначение (remap) плохого сектора на хороший. Погрузившись в данную "внутреннюю" операцию, диск начинает отвечать на внешние запросы с большой задержкой, тем большей, чем интенсивней поступают на него команды записи/чтения.

И это правильно до тех пор, пока этот диск функционирует сам по себе, являясь самостоятельным, не входящим ни в какие RAID массивы, устройством хранения данных. Однако, когда он является частью сложной системы из многих дисков в RAID массиве, некоторые диски в которых выделены для хранения резервных данных на случай любой ошибки, т.е. системы, управляемой специализированным интеллектуальным RAID контроллером, подобная "самостоятельность" установленного в систему диска может приводить к проблемам. Одной из важнейших задач контроллера RAID является постоянный анализ распределяемых между дисками данных на предмет возможного появления и немедленной коррекции ошибок.  Поэтому RAID контроллер, отвечая за работоспособность всей системы, ожидает ответа от каждого диска строго определенное время (обычно 8 секунд), по истечении которого считает, что вовремя не ответивший диск неисправен, и принимает решение об его исключении из системы с последующим перераспределением данных между оставшимися дисками. При этом нагрузка на них возрастает, и в этих условиях и второй диск может вовремя не ответить, что уже приведет к крушению всей системы с потерей данных (напомним, что в наиболее популярных RAID уровнях 3 и 5 резервные данные хранятся только на одном диске и выход сразу двух фатален - все данные теряются). Но в результате последующего анализа может оказаться, что отключенные диски были вполне работоспособны и могли далее использоваться, но уже будет слишком поздно. 

Здесь не поможет и наличие диска в "горячем" резерве - пока RAID контроллер будет вводить его в массив (этот процесс может занять часы и дни, в зависимости от нагрузки на RAID), вполне может "отвалиться" следующий диск в массиве и данные также будут безвозвратно потеряны. Эта ситуация иллюстрируется на рисунке ниже.

Безусловно, такая проблема возникает только при интенсивной работе дисков в RAID массиве на запись/чтение данных. Но, достаточно совпадения буквально минутной "тяжелой" нагрузки на RAID массив и начала автоматической процедуры восстановления ошибки на каком-то жестком диске, как ложный выход из строя жесткого диска станет вполне реальным. Трудность решения этой проблемы в том, что диск и на самом деле, реально, может выйти из строя, поэтому удлинение допустимого времени отклика от жесткого диска, что иногда, к сожалению, делают некоторые производители RAID контроллеров не решает проблему, а наоборот, загоняет ее вглубь. Ведь в том случае, если диск на самом деле сломался, промедление в реакции RAID контроллера на это событие чревато полной потерей данных.

Наличие данной проблемы (задержка отклика из-за встроенной функции коррекции ошибок) не зависит от того, диски какого производителя вы планируете использовать. Ее возможное решение в другом – ввести ограничение на максимально допустимую длительность обработки ошибок жестким диском с обязательным информированием RAID контроллера о наличии конкретной ошибки. В этом случае RAID контроллер поймет, что диск исправен, но у него есть конкретная ошибка в конкретном месте, которую контроллер легко скорректирует.

К сожалению, единственной компанией, которая предложила такое понятное и очевидное любому грамотному специалисту решение, стала Western Digital Corporation. Она разработала специальную серию дисков RAID Edition c функцией TLER(TimeLimitedErrorCorrection - Ограниченное время на коррекцию ошибки). TLER-диски при возникновении ошибки начинают нормальный процесс ее коррекции, но, не уложившись в 7 секунд, сообщают RAID-контроллеру о возникшей ошибке, откладывая дальнейшую обработку ошибки на "лучшее" время (например, на момент простоя системы). При этом контроллер легко справится с возникшей ошибкой чтения данных с данного диска – ведь для этого в его распоряжении всегда есть резервная информация. Такой алгоритм иллюстрируется на рисунке ниже.

  

Отметим, что RAID Edition диски от Western Digital кроме функции TLER отличает и увеличенное вдвое  время наработки на отказ. Несмотря на то, что случаев возникновения этой ошибки довольно мало в массивах с SATA дисками, но довольно много случаев в массивах с IDE дисками, мы настоятельно рекомендуем применение дисков с TLER в любых RAID массивах, особенно рассчитанных на работу под  серьезной нагрузкой или имеющих хотя бы пики с с ней. Надеемся, что и другие компании-производители жестких дисков начнут выпуск аналогичных дисков.

5.Интерфейсы жестких дисков

На данный момент самым распространенным интерфейсом является SATA 2. SATA хоть и можно встретить в продаже, однако интерфейс уже считается устаревшим, к тому же уже начали поступать жесткие диски с SATA 3. Не стоит путать SATA 3 с SATA 3,0 Гбит/с, во втором случае речь идет об интерфейсе SATA 2, который имеет пропускную способность равную до 3,0 Гбит/с (у SATA 3 пропускная способность равна до 6 Гбит/с) Интерфейс – устройство, передающее и преобразующее сигналы, от одного компонента оборудования к другому. Виды интерфейса. PATA, SATA, SATA 2, SATA 3 и тд. Накопители различных поколений использовали такие интерфейсы: IDE (ATA), USB, Serial ATA (SATA), SATA 2, SATA 3, SCSI, SAS, CF, EIDE, FireWire, SDIO и Fibre Channel.     IDE (АТА – Advanced Technology Attachment) - параллельный интерфейс подключения накопителей, именно поэтому был изменен (с выходом SATA) на PATA (Parallel ATA). Раньше использовался для подключения винчестеров, но был вытеснен интерфейсом SATA. В настоящее время используется для подключения оптических накопителей. SATA (Serial ATA) – последовательный интерфейс обмена данными с накопителями. Для подключения используется 8-pin разъем. Как и в случае с PATA – является устаревшим, и используется только для работы с оптическими накопителями. Стандарт SATA (SATA150) обеспечивал пропускную способность равную 150 МБ/с (1,2 Гбит/с). SATA 2 (SATA300). Стандарт SATA 2 увеличивал пропускную способность в двое, до 300 МБ/с (2,4 Гбит/с), и позволяет работать на частоте 3 ГГц. Стандартны SATA и SATA 2 совместимы между собой, однако для некоторых моделей необходимо вручную устанавливать режимы, переставляя джамперы. SATA 3, хотя про требованию спецификаций правильно называть SATA 6Gb/s. Этот стандарт в двое увеличил скорость передачи данных до 6 Гбит/с (600 МБ/с). Также к положительным нововведениям относится функция программного управления NCQ и команды для непрерывной передачи данных для процесса с высоким приоритетом. Хоть интерфейс и был представлен в 2009 году, особой популярностью у производителей он пока не пользуется и в магазинах встречает не так часто.  Кроме жестких дисков этот стандарт используется в SSD (твердотельные диски). Стоит заметить, что на практике пропускная способность интерфейсов SATA не отличаются скоростью передачи данных. Практически скорость записи и чтения дисков не превышает 100 Мб/с. Увеличение показателей влияет только пропускную способность между контроллером и кеш-памятью накопителя. SCSI(Small Computer System Interface) – стандарт применяется в серверах, где необходима повышеная скорость передачи  данных. SAS (Serial Attached SCSI) – поколение пришедшее на смену стандарта SCSI, использующее последовательную передачу данных. Как и SCSI используется в рабочих станциях. Полностью совместив с  интерефейсом SATA. CF (Compact Flash) – Интерфейс для подключения карт памяти, а также для 1,0 дюймовых винчестеров. Различают 2 стандарта: Compact Flash Type I и Compact Flash Type II, отличие в толщине. FireWire – альтернативный интерфейс более медленному USB 2.0. Используется для подключения портативных жестких дисков. Поддерживает скорость до 400 Мб/с, однако физическая скорость ниже, чем у обычных. При чтении и записи максимальный порг 40 Мб/с.

6. Развитие технологий: технология вертикальной записи данных; «твердотелые» жесткие диски

Большие Данные начинаются с больших проблем, вызванных необходимостью хранить и обеспечивать доступ к массивам данных, причем оказалось, что требуются новые решения как на уровне архитектур систем хранения (облачное хранение и резервирование, распределенные хранилища), так и на физическом уровне. Сейчас хранение данных распределено по четырем основным типам устройств: жесткие диски (Hard Disk Drive, HDD), оптические диски (Optical Disk Drive, ODD),твердотельные накопители (Solid State Drive, SSD) и магнитные ленты. Принятая прежде двухуровневая схема из дисков SAS, SATA и лент устарела  —  сегодня требуются новые технические решения. Флэш-память NAND и переход на трехуровневую стали первыми шагами в этом направлении.