Лекция 13. Архитектура сетей хранения данных.
Ethernet — это не технология, это идеология. Еще одной такой идеологией являются сеть хранения данных. Все системы организованы при помощи ЦОДов и сетей хранения данных, и если мы не будем понимать как это работает, то современную информационную систему мы не сделаем.
У компьютера есть HBA – Host Bus Adapter будет подключен шиной к диску, а контроллер будет находиться на диске. Это было начиная с дисков IDE. Операционная система всегда дает команды host bus адаптеру. Адаптер контроллеру, контроллер записывает на диск. Контроллер cам по себе может содержать процессоры, кеш и массу всего другого. Операционная Система, впрочем не работает с процессором контроллера, она работает только со своим процессором. Когда появились такие дисковые подсистемы возникла идея SCSI – Small Computer System Interface (скази), это 50-пиновая шина (50 разъемов). SCSI интерфейс это система команд, он прижился потому, что мы не даем определенный синтаксис на команду, мы не говорим как делать. Мы говорим что делать. (Пример: Начни писать, Начни что-то, Поставь метку такую то и т.д.). Эти команды одинаковые для всех производителей, а вот их исполнение у каждого производителя свое. За счёт этого SCSI системы легко расширяемые. Вот так можно прицепить до 127-ми дисков. Как только SCSI возник – появилась возможность иметь очень большие объемы, это называется канал ввода вывода, таких каналов так же может быть не один. Это делает операционная система, в частности Windows имеет две системы ввода-вывода, 2 host bus адаптера. (2х127).
Эта идея впервые посетила IBM и она сказала, что мы можем иметь множество всего, колоссальные объемы, но куда это все засунуть? Такой дисковый объем невозможно запихнуть ни в один компьютер. Это внешний кабинет, который можно иметь на каком-то расстоянии от процессора, но при удалении его от компьютера мы получаем наводки на шину. (т.к. провода медные). IBM поэтому сказал, что это никуда не годится и предложил подключать все это по оптике. Благодаря этому мы можем утащить наш кабинет без риска на значительно более большое расстояние + лишаемся проблем наводок. А так как на оптоволокне стали получать достаточно высокие скорости я могу получить не скорость 600 Мбит/сек, а скорость, которая получается по оптоволокну. Тем самым мы можем заменить кази на что-то другое.
SATA, IDE, MFM, SDI – это интерфейсы предназначены для небольших дисковых подсистем, для персональных компьютеров. Их мы не рассматриваем, т.к. они не предназначены для корпоративной работы. Поэтому IBM сделала ESCON - Enterprise Systems Connection. Это специальные интерфейсы физического которые позволяют передавать по оптоволоконной шине с дисковой подсистемы. Первые ESCON'ы сделал AMP. Устройства которые передавали по этой шине через ESCON’ы назывались Director (грубо говоря он используется вместо host bus адаптера). Далее IBM сказал, что необходим протокол передачи по этой шине, требуется спецификация, как формировать фрейм. У нас сплошная сетевая технология. Мы постоянно передаем друг другу какие то фреймы, которые требуется сформировать в приемлемый вид. Для передачи по меди – одно кодирование, для оптоволокна другое. Т.к. нолики и единицы не годятся для того, кто передает лазером и т.д. Тот протокол, который они начали использовать называется Fibre Channel (способен работать как по оптоволокну, так и по меди) сейчас сертифицирован ANSI — сейчас является основным протоколом для сетей хранения данных. Существует масса его версий.
Что же такое сети хранения данных? Мы заменили медь на оптоволокно, мы придумали другой протокол. Операционная система передает все так же как для SCSI, затем адаптер превращает это все в понятное FC. А на контроллере диска мы снова получаем из FC в SCSI. Таким образом нам не надо переделывать все, а всего лишь 2 контроллера. И получаем мощные системы хранения. Мы должны сделать так, чтобы к дискам обращались не только файл сервер 1, но и 2 и … n, т.к. Мощности одного сервера явно не хватит. И все это требуется сделать при помощи сетевых технологий, т.к. эти серверы будут удалены и тогда мы добьёмся возможности работать с очень большими объемами. Для того, чтобы сделать это требуется протокол FC. Почему? Во-первых FC позволяет работать на различных топологиях, во вторых в нем было сделано удачное кодирование (которое потом использовалось в гигабите - NRZI. У гигабита скорость чуть выше чем у FC. Но на тот момент, когда это делалось выше гигабита не было.). Далее можно так же подцепить кучу устройств (основным разработчиком для этого является Brocade). Можно пристроить до 6 тысяч устройств, которыми можно управлять. Управляются серверы, подключенные к системам хранения несколькими вариантами:
Можно сделать топологию P-to-P (Point-to-Point).
Можно сделать топологию, которую называют «арбитражная петля» Arbitrated Loop. Это означает, что по центру композиции есть hub (устройство, которе просто усиливает и больше ничего). Есть сервер (процессор и память), который шлет некий запрос hub'у. Пример (сервер пошлет запрос на hub, hub пошлет запрос на какой то ленточный массив, а оттуда мы пишем на дисковый массив, те вернут ответ, в итоге петля. Поэтому физическая топология – звезда, а логическая – петля с арбитражем.
Можно сделать фабрику (совокупность коммутаторов). Вот есть какой то сервер, который в свою очередь передает запрос на switch, тот на другой, более хороший, switch тот на другой, пока в конце концов нас не переключат на какой то storage.
VCS Ethernet fabric with VDX 6710, VDX 6720 and 6730 Switches
Протокол FC, разработанный и утвержденный ANSI позволяет работать в любом варианте: Вариант сегодняшнего дня — фабрика коммутаторов (fabric). Протокол FC позволит нам не просто соединять устройства, а соединять так, что он позволит нам передавать то, что мы хотим, в другие протоколы.
Пример: OS/application→ SCSI → FCP, (iSCSI) → FC, (TCP/IP) → (Ethernet).
Идея очень простая: сначала SCSI. Затем host bus адаптер будет это превращать в нужный протокол и дальше. С Ethernet’ом ситуация специфическая, которая подразумевает коллизии, поэтому мы никогда не можем гарантировать запись на диск. Поэтому Основным протоколом является протокол FC без всякого Ethernet’а. Хотя попытки и есть использовать Ethernet, но без гарантии записи в любой серьезной структуре они обречены на провал. Получилась еще одна необходимость: мы должны писать на ленту со скоростью не гигабит, а 10 гбит/с. Иначе это будет чрезвычайно быстро ломаться. Хоть над этим и долго бились, но на текущий момент такие скорости достигнуты. Сейчас идут разговоры про 16 гбит/сек. Каждый процесс теперь запускается на отдельном сервере и каждый такой сервер это blade, потому что у него нет дисковой подсистемы, нет сетевой нет вентиляторов. Нет блоков питания, а есть только процессор и память. И такие блейды устанавливается на специальную шину. Если гбит, то CX4, а если 40 CR4.
Модель это функции, которые кто-то должен выполнить. ВО всех информационных системах всегда модель FCAPS - (F) (Fault Management / Управление отказами, Configuration Management / Управление конфигурацией, Accounting Management / Учёт, (P) Performance Management / Управление производительностью, (S) Security Management / Управление безопасностью), помимо тех функций которые должна выполнять операционная система. Когда сетевая система, там тоже должны быть выполнены функции по связи устройств, и это не функции модели OSI и IEEE. У fiber channel 5 уровней, они называются:
FC-0 физический уровень модели OSI, PM & PND IEEE.
FC-1 кодирование 8 бит в 10 бит или 64 в 66, (фактически уровень PCS IEEE.)
FC-2 В том случае, если используем фабрику коммутаторов, то присвоение адресов, присвоение классов сервиса и некий Flow Control.
FC-3 если это петля с арбитражем, то мы объясняем какие наименования сервера, как мы делаем синхронизацию и т.д., если коммутируемая свитч-фабрика, то мы объясняем какие дополнительные сервисы мы будем делать.
FC-4 вообще не сетевой и не соответствует ничему. Потому что нам необходимо определить функции передачи в FC других протоколов, в частности SCSI или протоколов, предназначенных для работы со стримами (для мультимедийных систем). Или для передачи все из TCP/IP.
Далее придумали названия устройств коммутации:
Придумали, что устройство, которое просто осуществляет коммутацию будут называться свитчами. Их совокупность – фабрикой свитчей. Если есть свитч, который осуществляет большую функцию чем обычный коммутатор, то мы его назовем директором. Если есть свитч, который добавляет к этому коммутатору некоторые функции производительности (защита от несанкционированного доступа и т.д.), то это Backbone. Если есть свитч, который занимается вопросами криптографии, то он называется Encryption Switch. Если есть необходимость связать с несколькими системами хранения данных, то такой коммутатор называется роутером, хотя на самом деле он коммутатор. Если мы захотим связать такую сеть хранения данных с другими устройствами, поддерживающими другие протоколы, то называем FC gateway (шлюз). Каждый элемент в фабрике свитчей будет иметь свое имя. Каждое устройство, которое порождает информацию — source, принимают — target. Они подключается друг к другу при помощи портов. Технология этих портов имеет определенные названия.
Когда устройства начинают присоединяться у них еще нет наименования портов. Blade соединен со свитчем при помощи n порта. У switch’а такой порт называется phy порт. Switch соединяется с другим switch при помощи e порта. А Связь эта называется ISL. Switch может соединяться специальным портом ex с другим switch, который в свою очередь может соединяться специально e портом с другой фабрикой switch’ей. И когда это все начинает работать операционные системы сами устанавливают названия портов и названия линков, то что возникает между свитчами называют trunk'ами. Все реализовано хардвеерно, даже trunk’и. Это объединение нескольких линков в один линк. Для того чтобы именовать не только свитчи но и все остальные устройства придумали специальные хардвеерные адреса, которые называются WWN, аналог MAC- адреса. У каждого сервера блейда есть адаптер, с номером WWN и номером порта на этом адаптере. И это прошито производителем. Чтобы подключать новые устройства придумали новый протокол RSCN – Registered State Change Notification. Он необходим чтобы оповещать устройства, например о добавлении нового Blade, который имеет свои WWN и у нас изменилось состояние портов и их нотификация, подтверждение. Как только новый порт подключается к фабрике коммутатор издает специальный фрейм, он называется broadcast (фрейм для всех). И сообщает о том, что у него появился новый порт и какой. При этом все разбито на специальные зоны, и сообщать broadcast мы можем по зоне, то есть для тех, кого это интересует. Основная проблема: как мы контролируем соединение и как скорость. Наша задача: обязательно записать на диск, поэтому этот контроль делать так как это делалось в Ethernet нельзя. Метод доступа так же делать тоже не получается. В Fiber channel придумана специальная система кредитов BB-credit (на сегодняшний день так работают все серьезные коммутаторы): я никогда не должен получить отказ, то есть если oversubscribing (переподписка коммутатора) то его быть не должно! Если она все же есть, то это не коммутатор. Для того чтобы это сделать мы шлем какой то фрейм, мы не думаем ничего о подтверждениях, а используем буферный кредит, который говорит о том, что нам потребуется память и устройство должно мне ответить и сказать, что эта память или доступна или я могу отправить сразу. И никакая пересылка без возможности свободного буфера не происходит вообще. Всегда есть гарантия того, что данные попадут на диск. Мы должны вести расчет буферов, и он ведется операционной системой коммутатора и давать кредит, кредит есть – пересылаем данные, нет кредита – не пересылаем, нет ресурса. Буфер считается в кбайт/км. Потому что фрейм за определенное время проходит несколько бит (в них меряется время). Поэтому размер буфера рассчитывается согласно скорости прохождения по оптоволокну, учитывая, что это 10 гБит. Если коммутатор имеет двух гигабитную шину, то это 2 Кбит/км размер буфера. У каждого порта коммутатора свои буферы. Поэтому подтверждения доставки не требуется. Скользящие окна не требуется. У нас всегда есть гарантия того, что данные попадут на диск а вот то что записалось это делается при помощи специальных средств, которые называются mess storage.
У нас получилось куча данных и возникла проблема их безопасности. Но об этом в следующей теме. В составе таких систем хранения всегда есть средства криптографии (Encription Switch), который возвращает запрос обратно свитчу и он уже пишет в зашифрованном виде на массив дисков. Encription Switch – это хардвеерная криптография которая предусматривает запись от конкретного source. Это некая виртуализация устройств, которая позволяет не заботиться о том, что все это хранится в достаточно защищенном виде. На расшифровку должно быть потрачено 100 лет. Для того, чтобы не лезть в чужие массивы данных мы разобьём все на зоны, а запись того кто какой зоне принадлежит мы будем делать тоже на хардвеерном уровне. На портах есть специальные микросхемы, которые называются ASIC (автор Brocade). В которые Можно записать те WWN с которыми мы работаем и при подключения какого либо устройства включать этот WWN в зону и опять делать это на хардвеерном уровне. Нам Не требуется переконфигурации системы, а делается в автоматическом режиме. Так же это служит защитой от несанкционированного доступа. Так же придумали протоколы маршрутизации, которые связаны с тем, что мы должны понимать от какого директора к какому switch’у мы должны пробраться. Они называются FSPF. Они поддерживаются операционными системами коммутаторов. Они вычисляют маршрут и метрики маршрута (решать как быстрее добраться). Все эти возможности привели к определенным требованиям. К тому, что мы должны сделать топологии, которые позволят работать очень надежно, а во вторых осуществлять связывание фабрик между собой, по удаленному доступу. А также связывания центров между собой.
Топология для сетей хранения данных не всегда звезда. Первая топология dual fabric (Каждый сервер имеет доступ к той и другой фабрике и эти фабрики коммутаторов могут работать с одним массивом. При этом серверы делят свои операции ввода/вывода между фабриками). Мы получаем производительность, надежность и т.д. Топология core edge (ядро переферии) – последняя топология, на которой остановились (для высокой надежности записи). Все серверы связаны с фабрикой коммутаторов, которую называют периферийной (h Коммутаторы). Они в свою очередь соединены с другой фабрикой коммутаторов, которая называется CORE. А эта фабрика Switch’ей присоединяется к ленточным массивам, к дисковым массивам. То есть двойные фабрики Switch’ей, сделано для надежности. Все дублируется. Лучший способ надежности системы – дублирование элементов. Есть другие топологии на основе core edge. На основе того что сделано получили Meta SAN, это означает, что мы получили кучу серверов, которые работают с системой хранения А, еще кучку, которая работает с системой хранения Б, в середине они связаны между собой специальный Backbone, который умеет маршрутизировать. Backbone router и все вместе присоединяется к Sun C, которая имеет какие-то дисковые и ленточные массивы и мы можем писать на очень больших расстояниях. Проложено достаточно много оптоволокна, то которое не используется называется темные волокна. В этом случае можно связать темные волокна с помощью специальных устройств, чтобы передавать данные на гигантские расстояния. Протоколом будет не Fiber Channel, а все тот же Ethernet над которым будет работать tcp/ip. Получится extended sun. Так соединяются датацентры. Получили в итоге другую структуру, а для того, чтобы ее поддерживать получили необходимость ставить такие системы в специальных зданиях, которые называются ЦОДы. Эта система хранения – центр ЦОДа. Это все требует очень качественного питания. Любой сбой приведет к развалу дисковых подсистем. Нет ни одного способа, который позволил бы избежать разрушения данных при сбоях в питании. Поэтому единственный способ – держать питание. Из-за этого мощность ЦОДа меряется не в терабитах, а в мегаваттах. Есть статистика. И по статистики IBM каждый компьютер испытывает до 120 сбоев питания в месяц. В наших сетях 87% имеют пониженное питание из-за перегрузки, неправильного регулирования, а это означает, что UPS не заряжен и в нужный момент мы ничего не сможем сделать. Разрушение данных – это разрушение ссылок на эти данные. Только 0,7 это повышенное напряжение. 8% это высоковольтные импульсы, к ним приводят атмосферные явления. + проблемы с включением, отключением мощных потребителей. Поэтому питание нужно стабилизировать. Оно ставится на здание или на комплекс, на котором работает компьютерная техника. Около 5% - полное отключение питания. Для этого делают питание по первой категории. (запитываются от двух подстанций). Всевозможные проблемы с искажением гармоник (из-за нелинейных потребителей). Будут установлены специальные ИБП, которые позволят операционной системе, через специальный адаптер включить или он будет работать всегда. Оно поддерживает на тот момент, который дан, чтобы правильно завершить работу. Если питание пропало или сгорело или исказилось, то мне это не поможет. Нужно включить генератор. Эти ИПС будут иметь специальный адаптер, и перед тем как окончательно выключатся запустят мотор генератора, который должен запуститься за определенное время. От этого зависит категория надежности ЦОДа. Все Это Компьютерно управляемо. Поэтому Там стоит специальный сервер блейд, который будет контролировать и управлять системой питания.
ПУЭ — правила устройства электроустановок. Если мы ее не знаем, и не понимаем как должна быть сделана проводка, то программировать мы не умеем. Компьютерная проводка должна быть выделенной. В нее должна включаться только вычислительная техника. И она должна подключаться к специальному контуру заземления.