33. Физическая структура файловой системы
FAT(16,32),NTFS(4(winnt),5(c 2000win)),iso9660(cd),ext2,3,4(Linux),Reiser FS 3,4, SMB,hpfs(ibm for OS/2),
NFS(unix),GFS,OCFS2-для серверов под линукс.devfs,tmpfs(Вирт. сист. для озу нах. в памяти).
Файловая система - это часть операционной системы, назначение которой состоит в том, чтобы обеспечить пользователю удобный интерфейс при работе с данными, поиске на диске и обеспечить совместное использование файлов для нескольких процессов и пользователем.
В широком смысле эти понятия включают в себя
1-совокупность всех файлов на диске
2-набор структурированных данных используемых для хранения и управления файлами.
Например: таблица свободного и занятого пространства, каталоги файлов, дескрипторы файлов и тд.
3-комплекс системных программных средств, реализующих управление файлами: создание, управление, поиск и тд.
Вся информация ф/с храниться в модулях, называемых файлами.
Исходя из назначения к ф/с предъявляют требования:
Информация должна обладать свойством устойчивости
Физический накопитель состоит из трёх разделов
1-загрузочная область
2- файловая система
3- область SWAPPING
ЗАГРУЗОЧНАЯ ОБЛАСТЬ-
1-заголовок тома (содержит информацию о физической структуре тома диска)
2-каталог тома (информация о файлах которые составляют ядро ос)
3-вторичный загрузчик (программа запуска ядра ос) первичный загрузчик находится в BIOS
Хранение файлов:
1- в виде непрерывной последовательности блоков (файл с 5 по 14 блок)
Достоинство: простота
Недостатки: не знаем сколько будет занимать файл.
Фрагментация
2-в виде связной последовательности (каждый блок содержит в себе информацию о том каким будет номер след блока)
Достоинство: файл может меняться в размере,
Для нахождения достаточно знать номер
Недостатки: чтобы прочитать 3-ий блок нужно сначала прочитать 1-ый и 2-ой.
Все устройства читают блоками фикс размера.
3-использование специальной таблицы связанного списка индексов.
Выделяем в файловой системе под служебные цели 10% и храним список.
Там храниться информация о том какие блоки содержит файл, в разных ф/с список может быть организован по разному.
34. Физическая структура файловой системы
Виртуальная файловая система VFS
В UNIX System V Release 3 был реализован механизм переключения файловых систем (File System Switch, FSS), позволяющий операционной системе поддерживать различные типы файловых систем. В соответствии с этим подходом информация о файловой системе и файлах разбивается на две части - зависимую от типа файловой системы и не зависимую. FSS обеспечивает интерфейс между ядром и файловой системой, транслируя запросы ядра в операции, зависящие от типа файловой системы. При этом ядро имеет представление только о независимой части файловой системы. Однако большее распространение получила схема, реализованная фирмой Sun Microsystems, использующая аналогичный подход. Эта схема называется переключателем виртуальной файловой системы - Virtual File System (VFS). В UNIX System V Release 4 реализован именно этот механизм.
VFS не ориентируется на какую-либо конкретную файловую систему, механизмы реализации файловой системы полностью скрыты как от пользователя, так и от приложений. В ОС нет системных вызовов, предназначенных для работы со специфическими типами файловой системы, а имеются абстрактные вызовы типа open, read, write и другие, которые имеют содержательное описание, обобщающее некоторым образом содержание этих операций в наиболее популярных типах файловых систем (например, s5, ufs, nfs и т.п.). VFS также предоставляет ядру возможность оперирования файловой системой, как с единым целым: операции монтирования и демонтирования, а также операции получения общих характеристик конкретной файловой системы (размера блока, количества свободных и занятых блоков и т.п.) в единой форме. Если конкретный тип файловой системы не поддерживает какую-то абстрактную операцию VFS, то файловая система должна вернуть ядру код возврата, извещающий об этом факте.
В VFS вся информация о файлах разделена на две части - не зависящую от типа файловой системы, которая хранится в специальной структуре ядра - структуре vnode, и зависящую от типа файловой системы - структура inode, формат которой на уровне VFS не определен, а используется только ссылка на нее в структуре vnode. Имя inode не означает, что эта структура совпадает со структурой индексного дескриптора inode файловой системы s5. Это имя используется для обозначения зависящей от типа файловой системы информации о файле, как дань традиции.
Виртуальная файловая система VFS поддерживает следующие типы файлов:
• обычные файлы,
• каталоги,
• специальные файлы,
• именованные конвейеры,
• символьные связи.
Содержательное описание обычных файлов, каталогов и специальных файлов и связей не отличается от их описания в файловой системе s5.
Внутренняя структура файловой системы Unix.
Раздел диска, в котором создана файловая система, разбит на три части.
СУПЕРБЛОК. Занимает 1 Kb. Содержит служебную информацию:
Тип файловой системы,
Размер
Начало списка свободных блоков.
Список свободных индексных дескрипторов (Инодов).
ОБЛАСТЬ INOD-ов. Занимает примерно 8% общего размера раздела. inode - Index-node - описатель файла. Он содержит всю информацию о файле, за исключением имени файла, и собственно данных файла. В inod'е хранится:
тип файла (файл, каталог, именованный канал, специальный файл)
идентификатор владельца файла
права (атрибуты) файла
время модификации/создания файла
адреса блоков, из которых состоит файл
ОБЛАСТЬ ДАННЫХ. В этой области расположены блоки с данными фай лов. Незанятые блоки провязаны в СПИСОК СВОБОДНЫХ БЛОКОВ
Файлы бывают двух основных типов. ФАЙЛ, КАТАЛОГ.
ФАЙЛ - он и есть файл.
КАТАЛОГ - файл фиксированного формата: состоит из строчек с именами файлов, входящих в каталог
имя_файла1 Номер_Инода1
имя_файла2 Номер_Инода2
. . .
Чтобы получить доступ к файлу по имени, операционная система
находит это имя в каталоге, содержащем файл,
берет Номер_Инода файла,
по номеру находит inod в области inod'ов,
из inod'а берет адреса блоков, в которых расположены данные файла,
по адресам блоков считывает блоки из области данных.
Любая ф/с - последовательность блоков с точки зрения unix нумерация от 0 и до ∞. Объём блока кратен степени 2 и равен приметно 512кб. Некоторые блоки зарезервированы под служебные цели.
Ф/с: s5
1-загрузочная область
2-суперблок
3-таблица индексных дескрипторов.(I-node table)
4-блоки данных (свободные блоки)
Загрузочная область – хранение загрузчика системы. Если есть несколько файловых систем, то используется загрузчик корневой ф/с.
Суперблок - содержит всю служебную информацию о ф/с - кол-во свободных и занятых блоков, кол-во индексных дескрипторов isize, размеры ф/с - fsize. Если инф. с этого блока утеряна то использование ф/с невозможно.
Таблица индексных дескрипторов - содержит в себе список индексных дескрипторов файлов. В индексном дескрипторе храниться вся полезная информация о файле, дата создания, владелец и какие блоки заняты под файл. Но не храниться имя файла.
Блоки данных храниться вся полезная инф. Занят или своб.
Индексные дескрипторы файлов.
Каждому файлу соответствует только 1 индексный дескриптор.
Инд деск состоит из 64 байт.
Хранит инф. о том, когда файл был создан, дата послед доступа и модификаций. Код защиты файла (права доступа), идентификатор владельца. Идентификатор группы владельца, счётчик числа ссылок на файл. Тип файла. И указатели местоположения блока файлов на диске. Под эту инф. зарезервировано 13 элементов.
Первые 10 из них сод в себе непосредственно адреса блоков в кот расположены файлы.11 элемент указывает на блок в кот содержится инф. о следующих 256 элементах (блоках) если нехватает, то используется 12-й блок он указ на 256 эл. каждый из кот указ на след. По 256 адресов.
Организация каталогов.
Инф. о файле можно хранить в каталоге.
1-имя файла
2-расширение
3-атрибуты
4-N 1-ого блока.
5-размер
6-дата создания.
Linux,Unix запись таблицы кот может состоять из простенькой структуры
I-node – номер индексного дескриптора.
имя файла.
Счётчик кол-ва ссылок на файл. Файл физически не удаляется пока счётчик ссылок на него >0
Суперблок объявлен самым важным поэтому некоторые ф/с могут создавать резервные копии суперблоков и если кол-во блоков исп. ф/с меньше кол-ва блоков на диске то оставшееся место можно быть использовано под область свопинга.
35. Файловые системы FAT, NTFS. поддержка длинных имен + HPFS
Кратко о файловой системе FAT.
Файловая система FAT появилась на заре развития персональных компьютеров и первоначально предназначалась для хранения файлов на дискетах.
Информация хранится на дисках и дискетах порциями, в секторах размером 512 байт. Все пространство дискеты разделялось на области фиксированной длины, называемые кластерами. Кластер может содержать один или больше секторов.
Каждый файл занимает один или несколько кластеров, возможно несмежных. Названия файлов и другая информация о файлах, такая как размер и дата создания, располагается в начальной области дискеты, выделенной для корневого каталога.
Что же касается расположения кластеров файла на диске, то эта информация хранится в начальной области дискеты, называемой таблицей размещения файлов (File Allocation Table, FAT) .Для каждого кластера в таблице FAT есть своя индивидуальная ячейка, в которой хранится информация о том, как этот кластер используется. Таким образом, таблица размещения файлов - это массив, содержащий информацию о кластерах. Размер этого массива определяется общим количеством кластеров на диске.
В каталоге хранится номер первого кластера, распределенного файлу или вложенному каталогу. Номера остальных кластеров можно найти при помощи таблицы размещения файлов FAT.
При разработке формата таблицы FAT стояла задача экономии места, т.к. дискета имеет весьма небольшой объем (от 180 Кбайт до 2,44 Мбайт). Поэтому для хранения номеров кластера было отведено всего 12 двоичных разрядов. В результате таблицу FAT удалось упаковать так плотно, что она занимала всего один сектор дискеты.
Таблица FAT содержит критически важную информацию о расположении каталогов и файлов. Если в результате сбоя аппаратуры, программного обеспечения или вредоносного воздействия вирусов таблица FAT окажется поврежденной, доступ к файлам и каталогам будет потерян. Поэтому с целью подстраховки на диске обычно создаются две копии таблицы FAT.
Ограничения файловой системы FAT
Эти ограничения касаются, прежде всего, максимального размера диска FAT, а также максимального размера файла, расположенного на этом диске. Максимальный размер логического диска FAT-16 составляет 4 Гбайт, что очень мало по современным понятиям. Теоретически максимальный размер диска FAT-32 может составлять 8 Тбайт, что должно хватить для развертывания любых современных приложений. Это значение получается путем перемножения максимального количества кластеров (268 435 445) на максимальный размер кластера, допустимый в FAT-32 (32 Кбайт). Однако на практике ситуация выглядит немного по-другому. Из-за внутренних ограничений утилита ScanDisk в ОС Microsoft 95/98 не способна работать с дисками, превышающими по своему объему значение 127.53 Гбайт. Что же касается новых операционных систем Microsoft Windows 2000/XP, то они не способны создавать разделы FAT-32 с объемом, превышающим 32 Гбайт. Если Вам нужны разделы такого или большего объема, компания Microsoft предложит Вам использовать файловую систему NTFS. Другое существенное ограничение FAT-32 накладывается на размер файлов - он не может превышать 4 Гбайт. Это ограничение будет сказываться, например, при записи на диск видеофрагментов или при создании объемных файлов баз данных. В каталоге FAT-32 может хранить не более 65534 файлов.
Недостатки FAT
Помимо рассмотренных выше ограничений, файловой системе FAT присущи и другие недостатки. Наиболее существенными, по-видимому, является полное отсутствие средств разграничения доступа, а также возможность потери информации о размещении всех файлов после разрушения довольно компактной таблицы FAT и ее копии. Загрузив компьютер с системной дискеты, злоумышленник легко получит доступ к любым файлам, хранящимся на дисках с файловой системой FAT. Ему не составит никакого труда скопировать затем эти файлы на устройство ZIP или какой-либо другой внешний носитель данных. При использовании FAT на дисках сервера невозможно обеспечить надежное и гибкое разграничение доступа пользователей к каталогам. Именно поэтому, а также в силу своей низкой устойчивостью к сбоям, FAT обычно не используется на серверах. Наличие компактных таблиц размещения файлов FAT делает эту файловую систему уязвимой мишенью для компьютерных вирусов - достаточно уничтожить начальный фрагмент диска FAT, и почти все данные будут потеряны.
Файловая система NTFS
Современная файловая система NTFS, разработанная компанией Microsoft для своей операционной системы Microsoft Windows NT, лишена ограничений и недостатков FAT. В файловой системе NTFS все атрибуты файлов (имя, размер, расположение экстентов файла на диске и т.д.) хранятся в скрытом системном файле $MFT. На хранение информации о каждом файле (и каталоге) в $MFT отводится от одного до нескольких Кбайт. При большом количестве файлов, хранящихся на диске, объем файла $MFT может достигать десятков или даже сотен Мбайт. Файлы небольшого размера (порядка сотен байт) хранятся непосредственно в $MFT, что существенно ускоряет доступ к ним. Заметим, однако, что накладные расходы NTFS на хранение системной информации, хотя и превышают накладные расходы FAT, все же не очень велики по сравнению с объемом современных дисков. Из-за того, что файл $MFT обычно располагается ближе к середине диска, разрушение первых дорожек диска NTFS не приводит к таким фатальным последствиям, как разрушение начальных областей диска FAT. Файловая система NTFS обладает многочисленными возможностями, отсутствующими в FAT. Они позволяют добиться намного большей гибкости, надежности и защищенности по сравнению с FAT.
Ограничения NTFS
Несмотря на обилие возможностей, файловой системе NTFS также присущи некоторые ограничения. Впрочем, в большинстве случаев они не играют существенной роли. Максимальный размер логического диска NTFS составляет примерно 18 446 744 Тбайт, что, очевидно, достаточно для всех современных приложений, а также приложений, которые появятся в ближайшем будущем. Максимальный размер файла еще больше, так что это ограничение также несущественно. Количество файлов, хранящихся в одном каталоге NTFS, ничем не ограничено, так что здесь тоже есть преимущество перед FAT.
FAT - плюсы
• Для эффективной работы требуется немного оперативной памяти.
• Быстрая работа с малыми и средними каталогами.
• Диск совершает в среднем меньшее количество движений головок (в сравнении с NTFS).
• Эффективная работа на медленных дисках.
FAT - минусы:
• Катастрофическая потеря быстродействия с увеличением фрагментации, особенно для больших дисков (только FAT32).
• Сложности с произвольным доступом к большим (скажем, 10% и более от размера диска) файлам.
• Очень медленная работа с каталогами, содержащими большое количество файлов.
NTFS - плюсы:
• Фрагментация файлов не имеет практически никаких последствий для самой файловой системы - работа фрагментированной системы ухудшается только с точки зрения доступа к самим данным файлов.
• Сложность структуры каталогов и число файлов в одном каталоге также не чинит особых препятствий быстродействию.
• Быстрый доступ к произвольному фрагменту файла (например, редактирование больших .wav файлов).
• Очень быстрый доступ к маленьким файлам (несколько сотен байт) - весь файл находится в том же месте, где и системные данные (запись MFT).
NTFS - минусы:
• Существенные требования к памяти системы (64 Мбайт - абсолютный минимум, лучше - больше).
• Медленные диски и контроллеры без Bus Mastering сильно снижают быстродействие NTFS.
• Работа с каталогами средних размеров затруднена тем, что они почти всегда фрагментированы.
• Диск, долго работающий в заполненном на 80% - 90% состоянии, будет показывать крайне низкое быстродействие.
High-Performance File System (HPFS)
High-Performance File System - быстродействующая файловая система операционной системы OS/2:
- обеспечивающая имена файлов, содержащие до 254 символов; и
- минимальную фрагментацию файлов.
HPFS
Высокопроизводительная файловая система HPFS (High Performance File System) была представлена фирмой IBM в 1989 году вместе с операционной системой OS/2 1.20. Файловая система HPFS также поддерживалась ОС Windows NT до версии 3.51 включительно. По производительности эта ФС существенно опережает FAT. HPFS позволяет использовать жесткие диски объемом до 2 Терабайт (первоначально до 4 Гбайт). Кроме того, она поддерживает разделы диска размером до 512 Гб и позволяет использовать имена файлов длиной до 255 символов (на каждый символ при этом отводится 2 байта). В HPFS по сравнению с FAT уменьшено время доступа к файлам в больших каталогах.
HPFS распределяет пространство на диске не кластерами как в FAT, а физическими секторами по 512 байт, что не позволяет ее использовать на жестких дисках, имеющих другой размер сектора. Эти секторы принято называть блоками. Чтобы уменьшить фрагментацию диска, при распределении пространства под файл HPFS стремится, по возможности, размещать файлы в последовательных смежных секторах. Фрагмент файла, располагающийся в смежных секторах, называется экстентом.
Для нумерации единиц распределения пространства диска HPFS использует 32 разряда, что дает 2 32 , или более 4 миллиардов номеров. Однако HPFS использует числа со знаком, что сокращает число возможных номеров блоков до 2 миллиардов. Помимо стандартных атрибутов файла, HPFS поддерживает расширенные атрибуты файла (Extended Attributes, EA), которые могут содержать до 64 Кб различных дополнительных сведений о файле.
Диск HPFS имеет следующие три базовые структуры: загрузочный блок (BootBlock), дополнительный блок (SuperBlock) и резервный блок (SpareBlock).
Загрузочный блок в HPFS аналогичен загрузочному блоку в FAT. Он располагается в секторах с 0 по 15 и занимает на диске 8 Кб. Системные файлы, также как и в FAT, располагаются в корневом каталоге, но при этом физически могут находиться в любом месте на диске.
В 16 секторе размещается дополнительный блок, содержащий указатель на список блоков битовых карт (bitmap block list). В этом списке перечислены все блоки на диске, в которых расположены битовые карты, используемые для обнаружения свободных секторов. Также в дополнительном блоке хранится указатель на список дефектных блоков (bad block list), указатель на группу каталогов (directory band), указатель на файловый узел корневого каталога и дата последней проверки диска. Файловый узел (fnode) – это структура диска HPFS, которая содержит информацию о расположении файла и о его расширенных атрибутах.
В следующем секторе находится резервный блок, содержащий карту аварийного замещения (hotfix map), указатель на список свободных запасных блоков (directory emergency free block list) и ряд системных флагов. Резервный блок обеспечивает высокую отказоустойчивость HPFS и позволяет восстанавливать поврежденные данные на диске.
Остальное пространство диска разделено на группы (band) хранения данных. Каждая группа занимает 8 Мб и имеет свою собственную битовую карту свободного пространства, которая похожа на таблицу размещения файлов FAT. Каждому сектору группы соответствует один бит к ее битовой карте, показывающий занят ли соответствующий сектор. Битовые карты двух групп располагаются на диске рядом, также как располагаются и сами группы. Это дает возможность непрерывно разместить на жестком диске файл размером до 16 Мб.
Одна из групп данных размером 8 Мб, расположенная в середине жесткого диска и называемая группой каталогов, хранит информацию о каталогах диска. В ней наряду с остальными каталогами располагается и корневой каталог. Расположение группы каталогов в центре диска значительно сокращает время позиционирования головок чтения/записи.
В отличие от линейной структуры FAT, структура каталога в HPFS представляет собой сбалансированное дерево (так называемое B-дерево) с записями, расположенными в алфавитном порядке. Сбалансированное дерево состоит из корневого (root block) и оконечных блоков (leaf block). Блоки занимают 4 последовательных сектора и в среднем могут содержать 40 записей. Каждая запись корневого блока указывает на один из оконечных блоков (если только в каталоге не меньше 40 файлов); в свою очередь, каждая запись в оконечном блоке указывает на файловый узел файла или на оконечный блок следующего уровня. Таким образом, двухуровневая структура может содержать 40 оконечных блоков по 40 записей в каждом и описывать до 1600 файлов. При поиске файловая система HPFS просматривает только необходимые ветви дерева.
Ф
айловый
узел имеет размер 512 байт и всегда по
возможности располагается непосредственно
перед первым блоком своего файла. Каждый
файл и каталог диска HPFS имеет свой
файловый узел. Информация, хранящаяся
в файловом узле, включает в себя
расширенные атрибуты файла, если они
достаточно малы, чтобы поместится в
один сектор диска, и сокращенное имя
файла в формате 8.3. Если расширенные
атрибуты не помещаются в файловый узел,
то в него записывается указатель на
них. Положение файла на диске описывается
в файловом узле двумя 32-битными числами.
Первое из чисел представляет собой
указатель на первый блок файла, а второе
- длину экстента. Если же файл фрагментирован,
то его размещение описывается
дополнительными парами 32-битных чисел.
В файловом узле можно хранить информацию
максимум о 8 экстентах файла. Если файл
имеет больше число экстентов, то в его
файловый узел записывается указатель
на блок размещения (allocation block), который
может содержать до 40 указателей на
экстенты или на другие блоки размещения.
Таким образом, двухуровневая структура
блоков размещения может хранить
информацию о 480 (12*40) секторах, что
теоретически, позволяет работать с
файлами размером до 7.68 Гб (12*40*16 Мб).