Распределенные файловые системы
Судаков А.А.
“Параллельные и распределенные вычисления” Лекция 12
План
Кластеры хранения данных
Типы файловых систем
NFS
SMB
autofs
AFS
GFS
Lustre
Литература
Распределенные файловые системы http://cs.gmu.edu/~menasce/osbook/distfs/
User Space FS http://lufs.sourceforge.net/lufs/
OpenAFS http://www.openafs.org/doc/index.htm
Кластеры хранения данных
В любом вычислительном кластере необходимо обращение к общим данным
Storage cluster
Storage area network
Кластер или локальная сеть видится как одно больше хранилище данных
Преимущества
Доступ к общим данным большого количества пользователей
Масштабируемость
возможность увеличение объемов данных
Централизованное управление данными
Уменьшение затрат на инфраструктуру
Возможность параллельного доступа к данным на разных устройствах
Удобство
Сложности
Разрешение конфликтов при обращении к общим данным
Сложность локального кэширования данных в памяти, репликации
Обеспечение надежности
Единая точка сбоя
Устранение узких мест
файловые системы
Для хранения данных на удаленных носителях используются специальные файловые системы
Файловая система
Иерархическая структура организации данных на физическом носителе
Дерево
База данных (пары имя:значение)
Данные – файлы
Метаданные – информация о данных
Местоположение
Права доступа
Классификация
распределенных файловых |
|||
систем |
|||
|
Сетевая файловая система |
||
|
|
|
|
|
|
доступ к физическому носителю по сети |
|
|
Распределенная файловая система |
||
|
|
различные части одной файловой системы могут физически находиться на |
|
|
|
разных носителях |
|
|
Симметричная |
||
|
|
Все компоненты равноправные |
|
|
Ассиметричная |
||
|
|
Разные машины кластера выполняют разные функции |
|
|
|
|
Одни – сервера данных |
|
|
|
Другие – сервера метаданных |
|
Журналируемая |
||
|
|
Операции работы с файловой системой журналлируются для обеспечения |
|
|
|
восстановления при сбоях |
|
|
Кластерная (глобальная) |
||
|
|
Вся файловая система – один ресурс |
|
|
Параллельная |
||
|
|
С поддержкой параллельных приложений |
|
|
|
|
|
Пути обеспечения надежности
RAID – локально на серверах
Multipass – несколько независимых путей передачи к каждому носителю
Репликация – создание копий данных на других независимых носителях
Distributed RAID – RAID по сети
NFS
Network File System
Доступ к дисковым ресурсам других машин по сети
Клиент-серверная идеология
Сервер
Предоставляет доступ к своим ресурсам
Клиент
Получает доступ к ресурсам серверов