Добавил:
kipish_lsk_24
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Проектирование гетерогенных сетей. Викулов / ответы на вопросы
.pdf
Они отличаются от «High-end» СХД меньшей сложностью и более
доступной ценой, но при этом обеспечивают достаточную производительность
и надежность для большинства бизнес-задач. Проще в управлении, чем Hi-End
2) Hi-End СХД (Enterprise)
Назначение: высококачественные системы для хранения и обработки
информации, которые отличаются надежностью, производительностью и
масштабируемостью. Они часто используются в крупных предприятиях и для
решения критически важных задач (банки, телеком, госпитали, госслужбы),
обеспечивают нулевое время простоя (99.999% доступности)
Характеризуется:
o Масштабируемостью (десятки контроллеров, сотни терабайт или
петабайты)
o Отказоустойчивостью (Резервируются всё: контроллеры, кэш,
блоки питания, порты, вентиляторы)
o Мгновенным переключением при отказе (Acve-Acve
контроллеры с автоматическим failover)
o Мгновенным копированием и репликацией
o Поддержкой всех типов RAID
Отличается от Midrange большим числом контроллеров (от 2 до ~16, в
Midrange 2 максимум), полным резервированием (у Midrange частичная),
гибкой виртуализацией данных (с Tiering, а у Midrange ограничена),
масштабируемостью до петабайт (в Midrange до сотен терабайт), повышенной
производительностью до миллионов IOPS (у Midrange до 100 тыс. IOPS input/output operaons per second)
Горизонтально-масштабируемые СХД:
Подобные массивы состоят из стандартных модулей, содержащих как
контроллеры, так и диски. Между собой модули соединяются по выделенной
сети, состоящей из двух и более коммутаторов.
При необходимости добавления контроллеров или дисковой емкости к
массиву подключаются дополнительные модули, то есть масштабирование
выполняется линейно (увеличение производительности и масштабируемости
системы путём добавления новых узлов (серверов) в кластер)
Горизонтальные СХД применяются в ситуациях, где:
o Нужно обрабатывать огромные объёмы данных (PB).
o Данные быстро растут (Big Data, архивы, медиаконтент).
o Требуется параллельный доступ множества клиентов.
o Нужна эластичность и отказоустойчивость — без единой точки отказа.
o Система должна легко расширяться без простоев.
Преимущества:
1) Линейное масштабирование — добавляешь узлы → растёт и объём, и
производительность.
2) Нет "узкого места" как у классических СХД (например, один контроллер).
3) Хорошая отказоустойчивость — данные дублируются или
распределяются по разным нодам.
4) Гибкость — можно масштабировать по потребности.
5) Поддержка object storage (S3) и программной интеграции (REST API).
Недостатки:
1) Сложность в управлении и проектировании, особенно при большом
числе узлов.
2) Зависимость от сети — большая нагрузка на сетевую инфраструктуру
(10/40/100 Gbps).
3) Стоимость — особенно у enterprise-решений (хотя open-source варианты
дешевле).
4) Миграция с классических СХД может быть нетривиальной.
5) Consistency (согласованность) — при высокой нагрузке или отказах может
быть сложной задачей (особенно у object storage).
Сравнение с классическими СХД:
Характеристика
Классическая СХД (scale-up)
Горизонтальная СХД (scale-out)
Масштабирование
Вертикальное: диски, кэш
Горизонтальное: новые узлы
Рост производительности
Ограничен 1–2 контроллерами
Растёт с числом узлов
Отказоустойчивость
Ограниченная (Acve/Passive)
Высокая (репликация, EC)
Характеристика
Классическая СХД (scale-up)
Горизонтальная СХД (scale-out)
Хранилище
Чаще блочное
Object/File/Block
Пример
EMC Clariion, NetApp FAS
Dell Isilon, Ceph, MinIO
Честно хз что тут можно сказать, почти весь этот пункт сделал ГПТ, хуйня
какая-то
20. Ленточные библиотеки. Архивирование и резервное копирование. Схема
«1-2-3».
Ленточные библиотеки – это устройства для хранения больших объемов
данных на магнитных лентах (кассетах), предназначенные для
автоматизированного резервного копирования, архивирования и
долговременного хранения информации.
Clients (Пользователи, серверы) — создают и используют данные, работают с приложениями.
Applicaon (Приложения) — работают с текущими данными, записывают или читают их.
Producon Storage (Основное хранилище) — быстрое и доступное хранилище для рабочих данных
(чаще дисковое).
Archive (Архивирование) — данные, которые долго не изменяются, переносятся сюда для экономии
места и ресурсов.
Cloud Copy — хранение в облаке.
Disk Storage — хранение на дешёвых жестких дисках.
Tape Library — долговременное и надёжное хранение на магнитных лентах.
Преимущества:
o Низкая стоимость ленточных картриджей (на порядок ниже в сравнении
с HDD аналогичного объема)
o Лента также привлекательна своей надежностью, объемом и сроком
хранения информации (Срок жизни ленты — не менее 30 лет).
Недостатки:
o Ленточная библиотека не может сравниться по скорости доступа с
другими технологиями, такими как жесткий диск (время полной записи
значительно выше).
o Восстановить отдельный файл практически невозможно
o Архаичный принцип действия, как у видеомагнитофонов (только
последовательные чтение/запись)
o Невозможно записывать и считывать информацию параллельно
Лента идеально подходит для внешнего хранения данных, поскольку сам
носитель имеет небольшой вес и более надежен при транспортировке, чем
жесткий диск.
Архитектура ленточных библиотек:
1. Ленточные накопители: устройства, которые записывают и считывают
данные с магнитных лент. Они находятся внутри библиотеки и управляются
системой.
2. Магнитные ленты: носители данных, которые хранятся в картриджах. Один
картридж может содержать огромное количество информации.
3. Роботизированная рука: автоматизированная система внутри библиотеки,
которая перемещает картриджи с лентами между накопителями и ячейками
хранения.
4. Ячейки хранения: места, где хранятся картриджи, когда они не используются
5. Модуль управления: система, которая управляет всей библиотекой, следит за
перемещением картриджей и накопителей, а также обеспечивает связь с
внешними структурами для получения и отправки информации.
Области применения ленточных библиотек:
o Долгосрочное хранение данных (архивирование): Лентотеки идеальны
для хранения информации, которая редко используется, но требует
долговременного сохранения, как в случаях научных исследований,
медицинских записей и юридической документации.
o Создание резервных копий (бэкап): Регулярное резервное копирование
данных для восстановления после технических сбоев, человеческих
ошибок или кибератак.
o Хранение и управление большими объемами данных (Big Data):
позволяют экономично сохранять огромные объемы информации,
обеспечивая доступ к данным при необходимости.
Архивирование и резервное копирвание:
В 18 вопросе было тоже об этом!
Резервное копирование (BackUp) — это создание копии активных
данных, чтобы их можно было восстановить при утрате, сбое или атаке. Копии
делаются регулярно и могут быстро восстанавливаться.
Архивирование (Archive) — это перенос неиспользуемых или редко
используемых данных в долговременное хранилище (например, на ленты) для
освобождения пространства в основной системе. Архив — не для быстрого
восстановления, а для долгосрочного хранения неиспользуемых но важных
данных.
Бэкап 3-2-1:
Это стратегия резервного копирования данных, которая подразумевает
наличие три копии данных, хранящиеся на двух разных типах носителей, и одна
копия удаленно, например, в облачном хранилище
21. Понятие системы виртуализации. Назначение. Преимущества и
недостатки.
Виртуализация появилась с целью обеспечить лучший % работы
оборудования. Суть – в создании виртуальных машин (ВМ-VM) на базе одного
физического сервера.
Система виртуализации — это программно-аппаратный комплекс,
который позволяет запускать на одном физическом сервере несколько
изолированных виртуальных машин (ВМ), каждая из которых работает как
полноценный сервер или рабочее место со своей ОС, ресурсами и
конфигурацией.
Она обеспечивает логическую абстракцию аппаратных ресурсов, делая
возможным их совместное, гибкое и эффективное использование.
ВЦ (Вычислительный центр) – или же ЦОД, это комплекс оборудования,
ПО и инфраструктуры, предназначенный для предоставления вычислительных
ресурсов, таких как сервера, хранилища и сетевые компоненты. Он является
основой для создания и развертывания виртуальных машин и других
виртуальных сервисов.
VDI (Virtual Desktop Infrastructure) — инфраструктура виртуальных
рабочих столов, это технология виртуализации, при которой рабочие столы
пользователей запускаются на серверах, а не на физических компьютерах, и
передаются пользователю по сети (то есть можем с обычного пк работать на
мощной виртуальной машине расположенной в ЦОД (ВЦ))
Терминалы – оконечное оборудование пользователя, то есть тот самый
простой пк
Пик требования (или пиковая
нагрузка) — это максимальная
вычислительная нагрузка или
максимальное количество ресурсов,
которое сервер (или группа серверов)
должен обеспечить в определённый
момент времени (определяется по
требованиям системы к ресурсам (на
лекции была табличка Сайзинг)
(например, CPU/RAM) + 20% сверху)
ВЦ
VDI
терминалы
По сути, будет
работать всего
столько
А можем
сделать иначе
(ниже
написано)
Пик
требования
Это 2
сервера
Для отказоустойчивости делаем резервный сервер
Механизм переноса нужен, чтобы в случае чего
перенести нужные данные.
Для переноса данных двум серверам нужен общий
Storage (СХД – система хранения данных), чтобы оба
сервера видели одни и те же виртуальные диски ВМ
СХД — это отдельное устройство, где хранятся все виртуальные диски ВМ,
конфигурации и образы систем. Она подключена к гипервизорам по сети.
Механизмы переноса:
o vMoon - Переносит работающую ВМ на другой сервер без остановки
o HA (High Availability) - В случае сбоя запускает ВМ заново на другом
сервере
o FT (Fault Tolerance) - Постоянно дублирует ВМ на втором сервере (оба
работают параллельно)
o DRS (Distributed Resource Scheduler) - Автоматически балансирует
нагрузку между хостами
Но всё же в реальности ставят минимум 3 сервера для избежания
проблемы split-brain
Когда в кластере только два узла, и между ними пропадает связь, каждый
думает, что второй "умер", и может попытаться захватить управление, запустив
ВМ у себя. Это приводит к раздвоению кластера — split-brain — и порче данных
(одна и та же ВМ одновременно активна на двух хостах).
Решение — кластеру нужен кворум (quorum). Это когда в кластере больше
половины активных узлов (то есть 2 из 3 активных – это кворум).
Гипервизор — это ПО, которое позволяет создавать и управлять
виртуальными машинами на одном физическом сервере, предоставляя
возможность одновременно запускать несколько операционных систем
Типы гипервизоров:
1) 1 Тип (Сервер -> Гипервизор -> ВМ)
2) 2 Тип (Сервер -> ОС -> Гипервизор -> ВМ)
1 сервер
L2 механизм
переноса
По итогу:
Назначение систем виртуализации:
o Повышение эффективности использования серверного оборудования
o Централизация управления ресурсами
o Упрощение масштабирования и миграции сервисов
o Обеспечение отказоустойчивости и непрерывности бизнес-процессов
o Экономия ресурсов (места, электричества, охлаждения и т.д.)
o Быстрое развертывание и восстановление систем
Преимущества:
o Эффективное использование ресурсов (CPU, RAM, Storage)
o Простота управления (централизованное администрирование)
o Гибкость (можно легко развернуть, склонировать, удалить ВМ)
o Упрощенное резервирование и миграция
o Быстрое масштабирование
o Экономия на оборудовании и инфраструктуре
o Изоляция: сбой в одной ВМ не влияет на другие
Недостатки:
o Требует продуманной инфраструктуры (Storage, сеть, гипервизоры)
o Возможность деградации производительности (если переусердствовать
с количеством ВМ)
o Лицензирование ПО может быть дорогим
o Сложность мониторинга и диагностики проблем внутри кластера
o Угроза split-brain при плохой конфигурации
22. Блочный и файловый доступ к системам хранения данных. Используемые
протоколы и технологии. Их преимущества и недостатки.
Основные характеристики объединения СХД и вычислительных систем:
1) Достаточная пропускная способность
Пропускная способность отличается от скорости тем, что, скорость – это,
по сути, максимальная пропускная способность, которая может быть.
2) Минимальная потеря данных (нулевая)
3) Гарантированная задержка
Мы не можем сказать ОС что вот какой-то конкретный запрос потерялся
и не можем сказать ОС что задержка на отклик RAID-контроллеру будет такаято (поэтому 2 и 3 пункты важны очень, это слова Викулова буквально)
Протоколы взаимодействия СХД и вычислительных систем:
1) Файловые – клиент взаимодействует с готовой файловой системой,
управляемой самой СХД (клиент это приложение)
SMB/CIFS (Server Message Block / Common Internet File System)
Протокол, разработанный Microso. Работает по модели клиент–сервер
СХД (или файловый сервер) управляет файловой системой, а клиент
получает доступ к отдельным файлам и папкам
NFS (Network File System)
Разработан Sun Microsystems, используется преимущественно в
Unix/Linux-средах.
Работает как распределённая файловая система — т.е. клиент может
монтировать удалённую папку как часть своей локальной файловой системы.
2) Блочные – клиент обращается к конкретному блоку в СХД (storage),
клиентом является ОС, и тут ОС видит storage как собственный
(локальный) накопитель
iSCSI (Internet Small Computer System Interface)
Скорости: 100/800 Gbps
Позволяет передавать команды SCSI по IP-сети, превращая обычную
Ethernet-сеть в среду для подключения блочных устройств (дисков)
Работает по стеку:
iSCSI инкапсуляция (Отправляет SCSI-команды (чтение/запись блоков))
(6–5 уровень) → TCP (4 ур) → IP (3 ур) → Ethernet (2–1 ур)
Проблемы:
Вся обработка трафика происходит на уровне программного TCP/IP-стека,
это значит, что центральный процессор (CPU) сервера тратит ресурсы на:
o формирование TCP-сессий,
o контроль целостности пакетов,
o пересборку сегментов, ACK/NAK и т.д.
В отличие от Fibre Channel, где используется специализированная сетевая
карта (HBA) с аппаратной реализацией протокола SCSI, в iSCSI весь сетевой
"кирпич" ложится на CPU
Чувствителен к задержкам и потерям пакетов, джиттеру особенно в
перегруженной сети. Эти факторы прямо влияют на скорость доступа к блочным
данным
Не учитывает приоритет, т.к. TCP/IP изначально не предназначался для
хранения — он не умеет приоритизировать трафик хранения данных. Если в
сети большая нагрузка (например, идут бэкапы), iSCSI-пакеты могут теряться,
вызывать повторную передачу и тормоза в работе СХД
SAS (Serial Aached SCSI, протокол на основе iSCSI)
Протокол прямого подключения блочных устройств (HDD/SSD) к серверу
Используется внутри серверов и JBOD-массивов
Преимущества: Низкая задержка, высокая надёжность
Недостаток: Малый радиус подключения (до 10 м).
Fiber Channel (на основе команд iSCSI)
Историческая топология FC- кольцо
Скорости кратны степеням двойки (1, 2, 4, 8, 16 и т.д. + 10 есть (но редко
встречается))
Соседние файлы в папке Проектирование гетерогенных сетей. Викулов