Глава 4. Файлы и файловые системы

Файл.

Вся информация в компьютере хранится в файлах, с которыми и работает операционная система. Т.е. файл — форма организации информации на компьютере.

Файл – это последовательность произвольного числа байтов, обладающая уникальным собственным именем. Файлы физически реализуются как участки памяти на внешних носителях — магнитных дисках или CD-ROM. Каждый файл занимает некоторое количество блоков дисковой памяти. Обычная длина блока — 512 байт.

Обычно в отдельном файле хранят данные, относящиеся к одному типу. В этом случае тип данных определяет тип файла.

Поскольку в определении файла нет ограничений на размер, можно представить себе файл, имеющий 0 байтов (пустой файл), и файл, имеющий любое число байтов.

В определении файла особое внимание уделяется имени. Оно фактически несет в себе адресные данные, без которых данные, хранящиеся в файле, не станут информацией из-за отсутствия метода доступа к ним. Кроме функций, связанных с адресацией, имя файла может хранить и сведения о типе данных, заключенных в нем. Для автоматических средств работы с данными это важно, поскольку по имени файла они могут автоматически определить адекватный метод извлечения информации из файла.

И мя файла состоит из двух частей: собственно имени и расширения файла. Например:

Файлы организованы в каталоги, также называемые директориями (directory) или папками (folder). Каталог - это файл, который хранит сведения о других файлах: имя, размер, дату создания, адрес файла на диске.

Любой каталог может содержать произвольное число подкаталогов, в каждом из которых могут храниться файлы и другие каталоги.

На каждом диске существует главный или корневой каталог, в котором располагаются все остальные каталоги, называемые подкаталогами и некоторые файлы. Таким образом, создается иерархическая структура. Каталог, с которым в настоящий момент работает пользователь, называется текущим.

Все файлы в компьютере хранятся на магнитных дисках, которые являются частью его конструкции. Магнитные диски являются устройствами произвольного доступа. В них каждая запись данных имеет свой уникальный адрес, обеспечивающий непосредственный доступ к ней, минуя все остальные записи.

Физическая и логическая структура жестких дисков.

Для того чтобы на диске можно было хранить информацию, диск должен быть отформатирован, то есть должна быть создана физическая и логическая структура диска.

Формирование физической структуры диска состоит в создании на диске концентрических дорожек, которые, в свою очередь, делятся на секторы (Сектор (sector) – часть дорожки фиксированного размера. Сектор – наименьшая порция данных на диске, имеющая уникальный адрес.). Совокупность дорожек, одинаково удаленных от центра на всех рабочих поверхностях дисков образует цилиндр (cylinder). Для этого в процессе форматирования магнитная головка дисковода расставляет в определенных местах диска метки дорожек и секторов.

Форматирование выполняется служебными программами. Форматирование диска чем-то похоже на разлиновывание тетради.

Понятие кластера.

Кластер (cluster) – это минимальный участок памяти на диске, который может быть выделен файловой системой при создании файла. Файлу выделяется целое число кластеров.

Физически кластер представляет собой несколько смежных секторов, число которых кратно степени 2 (т.е. 1, 2, 4, 8, 16, 32 и т.д.).

Файлу всегда выделяется целое число кластеров. При размещении на жестком диске большого количества небольших по размеру файлов они будут занимать кластеры лишь частично, что приведет к большим потерям свободного дискового пространства.

Эта проблема частично решается с помощью использования таблицы FAT32, в которой объем кластера принят равным 8 секторам или 4 килобайтам для диска любого объема.

Для борьбы с нерациональными потерями или, просто, для удобства, часто жесткий диск разбивают на несколько разделов. Каждый такой раздел можно рассматривать как отдельный логический жесткий диск.

Обычный жесткий диск – это устройство физическое. Его можно установить или удалить. Логический жесткий диск нельзя потрогать руками – физически он не существует. Это просто один из разделов жесткого диска. Работая с компьютером, мы не замечаем разницу между физическими и логическими дисками.

Каждый логический диск имеет свою собственную таблицу размещения файлов, поэтому на нем действует своя система адресации. В итоге потери из-за размеров кластеров становятся меньше.

Удобно использовать логические диски и для того чтобы разделить систему и пользовательские данные. Например, в одном разделе диска устанавливаем ОС Windows, а в другом храним свои данные. В этом случае переустановка или восстановление (например, из образа раздела) ОС в случае каких-либо сбоев не затронет пользовательские данные.

Каждый диск, присутствующий в компьютере, имеет уникальное имя. Неважно, что это за диск: физический, логический или еще какой. В операционных системах MS-DOS и Windows каждое дисковое устройство обозначается латинской буквой и двоеточием, например А: или С:.

Когда на компьютере устанавливается новый диск, он получает букву, следующую за последней использованной буквой.

Буквы A и B обозначают дисководы гибких магнитных дисков (FDD). Начиная с буквы C, именуются разделы жесткого диска (HDD), дисководы оптических дисков и виртуальные диски.

Каждый логический диск представляет собой как бы отдельное устройство. Следовательно, на нем может быть своя файловая система и свой корневой каталог.

Для обращения к файлу используется следующая спецификация:

устройство:\путь\имя файла. расширение

Здесь путь – список каталогов, входящих друг в друга, в последнем из которых и содержится указанный файл. Если путь не указан, следует что, файл находится в корневом каталоге данного диска.

Файлы и каталоги являются самыми важными объектами файловой системы.

Файловая система

Файловая система ‑ это функциональная часть операционной системы, обеспечивающая выполнение операций над файлами. Файловая система позволяет работать с файлами и директориями (каталогами) независимо от их содержимого, размера, типа и т. д.

Файловая система — регламент, определяющий способ организации, хранения и именования данных на носителях. Она определяет формат физического хранения файлов. Конкретная файловая система определяет размер имени файла, максимально возможный размер файла, набор атрибутов файла.

Функции файловой системы:

1. Сохранение информации на внешних носителях

2. Чтение информации из файлов

3. Удаление файлов, каталогов

4. Переименование файлов

5. Копирование файлов и др.

Файловая система — логическая структура размещения файлов на носителе постоянной памяти.

Файловая система может занимать всю постоянную память или только ее часть. В последнем случае на носителе постоянной памяти может размещаться несколько независимых файловых систем.

Файловая система – это набор соглашений, определяющих организацию данных на носителях информации. Наличие этих соглашений позволяет операционной системе, другим программам и пользователям работать с файлами и каталогами, а не просто с участками (секторами) дисков. Файловая система определяет:

• как хранятся файлы и каталоги на диске;

• какие хранятся сведения о файлах и каталогах;

• как можно узнать, какие участки диска свободны, а какие – нет;

• формат каталогов и другой служебной информации на диске.

Для использования дисков, записанных (размеченных) с помощью некоторой файловой системы, операционная система или специальная программа должна поддерживать эту файловую систему.

Распространенные файловые системы

Операционная система Windows XP поддерживает файловые системы FAT, FAT32 и NTFS. Самая старая файловая система FAT сегодня практически не используется, так как она поддерживает жесткие диски ограниченного объема, не более двух гигабайт. Даже самые простые современные жесткие диски имеют существенно больший объем. Система FAT 32 является модификацией FAT, поддерживающей диски размером от 512 мегабайт до 2 терабайт. Система NTFS также поддерживает диски до 2 терабайт, но вместе с этим обеспечивает повышенную надежность, безопасность и эффективность работы. Благодаря особенностям построения системы NTFS, при увеличении объема диска не происходит снижения производительности.

Ext3 и ReiserFs – журналируемые файловые системы, используемые для операционной системы Unix.

HFS - журналируемая файловая система для операционной системы Mac OS.

CDFS – файловая система для работы с оптическими CD- и DVD-дисками.

UDF - файловая система для работы с оптическими перезаписываемыми CD-RW и DVD-RW-дисками.

Свойства файла

В зависимости от файловой системы, файл может обладать различным набором свойств.

Имя файла

В большинстве файловых систем имя файла используется для указания к какому именно файлу производится обращение. В различных файловых системах ограничения на имя файла сильно различаются:

• В FAT16 размер имени файла ограничен 8 символами (3 символа расширения).

• В FAT32 имя файла ограниченно 255 символами

• В NTFS имя ограничено 255 символами Unicode

• В ext2/ext3 ограничение 255 байт.

Помимо ограничений файловой системы, интерфейсы операционной системы дополнительно ограничивают набор символов, который допустим при работе с файлами.

• Для MS-DOS в имени файла допустимы только заглавные буквы, цифры. Недопустимы пробел, знак вопроса, звёздочка, символы больше/меньше, символ вертикальной черты. При вызове системных функций именами файлов в нижнем или смешанном регистре, они приводятся к верхнему регистру.

• Для Microsoft Windows в имени файла разрешены заглавные и строчные буквы, цифры, некоторые знаки препинания, пробел. Запрещены символы > < | ? * / \ : ".

• Для GNU/Linux (с учётом возможности маскировки) разрешены все символы, кроме / и нулевого байта.

Большинство операционных систем требуют уникальности имени файла в одном каталоге, хотя некоторые системы допускают файлы с одинаковыми именами (например, при работе с ленточными накопителями).

Расширение имени файла

Расширение имени файла (часто расширение файла или расширение) как самостоятельный атрибут файла существует в файловых системах FAT32, NTFS, используемых операционными системами MS-DOS, DR-DOS, PC DOS, MS Windows и используется для определения типа файла. Оно позволяет системе определить, каким приложением следует открывать данный файл. По умолчанию в операционной системе Windows расширение скрыто от пользователя.

В остальных файловых системах расширение — условность, часть имени, отделённая самой правой точкой в имени.

В зависимости от расширения все файлы делятся на две большие группы: исполняемые и неисполняемые.

Исполняемые файлы – это такие файлы, которые могут выполняться самостоятельно, т. е. не требуют каких-либо специальных программ для их запуска.

Неисполняемые файлы для запуска требуют установки специальных программ. Так, например, для того чтобы просмотреть текстовый документ, требуется наличие какого-либо текстового редактора. По расширению неисполняемого файла можно судить о типе данных, хранящихся в данном файле. Вот несколько примеров:

Расширения	Тип файла
.exe, .com, .bat	Исполнимые файлы
.txt, .doc, .rtf	Текстовые файлы
.gif, .bmp, .jpg, .jpeg, .tif	Графические файлы
.wav, .midi, .mp3, .wma	Звуковые файлы
.avi, .mpeg	Видеофайлы
.htm, .html	Web-страницы
.pas, .bas	Программы на языках программирования
.dat, .dbf	Файлы данных
.arj, .rar, .zip	Архиваторы данных

Атрибуты

В некоторых файловых системах предусмотрены атрибуты (обычно это бинарное значение «да»/«нет», кодируемое одним битом). Атрибуты - характеристики файла, наделяющие файл определенными свойствами. Для наиболее распространенных в настоящее время файловых систем FAT16, FAT32 и NTFS можно выделить следующие файловые атрибуты:

"Только для чтения" (Read-only) - означает, что файл доступен операционной системе только для чтения, т. е. в него нельзя вносить какие-либо исправления. В большинстве случаев это не означает, что исправления внести вовсе невозможно, просто при попытке изменить файл с данным атрибутом пользователю будет показано соответствующее предупреждение.

"Скрытый" (Hidden) - подразумевается, что файл с данным атрибутом не выводится при показе тех или иных списков файлов. В большинстве программ обработку этого атрибута можно настраивать. Например, стандартный "Проводник" Windows позволяет как прятать, так и показывать файлы с атрибутом "скрытый". Во втором случае иконка файла отображается полупрозрачной.

"Системный" (System) - файлы с атрибутом "системный" чаще всего относятся к критичным файлам операционной системы, которые нельзя удалять или изменять. В общем смысле, атрибут "системный" является "утяжеленным" вариантом атрибута "только для чтения", скомбинированным с атрибутом "скрытый". В стандартном "Проводнике" Windows атрибут "системный" отрабатывается аналогично атрибуту "скрытый" - подобные файлы по умолчанию спрятаны от пользователя, но можно и разрешить их показ.

"Архивный" (Archive) - в настоящее время по своему прямому назначению данный файловый атрибут FAT практически не используется. Изначально предполагалось, что этот атрибут будет указывать программам архивации файлы, предназначенные для резервного копирования. Другими словами, программа, осуществляющая резервное копирование файла на жестком диске, должна была сбрасывать атрибут "архивный", а программы, вносящие в последующем в этот файл какие-либо изменения, наоборот, вновь его устанавливать. Таким образом, программа резервного копирования путем проверки данного файлового атрибута могла легко определить, изменялся ли данный файл на жестком диске с момента осуществления предыдущего резервного копирования.

В файловой системе NTFS, применяющейся в современных версиях ОС Windows, помимо уже приведенных атрибутов, в файловых атрибутах хранятся имена файлов, само содержимое файлов, а также множество другой информации. Более того, вдобавок к набору стандартных файловых атрибутов, файловая система NTFS позволяет разработчикам приложений создавать свои собственные атрибуты, с которыми затем могло бы работать их приложение.

Время

Для файла могут быть определены следующие временные метки:

• Время создания

• Время модификации

• Время последнего доступа

Владелец и группа файла

В некоторых файловых системах предусмотрено указание на владельца файла, и группу владельца.

Права доступа

В некоторых файловых системах предусмотрена возможность для ограничения доступа пользователей к содержимому файла

В UNIX-подобных операционных системах для файлов обычно выделяют три типа прав:

• Право на запись

• Право на чтение

• Право на выполнение

Каждое право задаётся раздельно для владельца, для группы и для всех остальных.

В операционных системах Windows NT при работе с файловой системой NTFS права доступа задаются явно для пользователей или групп (или наследуются от вышестоящих объектов). Права в себя включают:

• Право на чтение

• Право на запись

• Право на исполнение

• Право на удаление

• Право на смену атрибутов и владельца

• Право на создание, удаление подпапок (для папок)

• Право на чтение прав доступа

Каждое право может быть задано как разрешением, так и запретом, запрет имеет больший приоритет, чем разрешение.

Иерархия каталогов

Практически всегда файлы на дисках объединяются в каталоги. Каталог ‑- это, с одной стороны, группа файлов, объединенных пользователем исходя из некоторых соображений (например, файлы, содержащие программы игр, или файлы, составляющие один программный пакет), а с другой стороны ‑ это файл, содержащий системную информацию о группе файлов, его составляющих. В каталоге содержится список файлов, входящих в него, и устанавливается соответствие между файлами и их характеристиками (атрибутами).

Каталоги могут непосредственно содержать значения характеристик файлов, как это сделано в файловой системе MS-DOS, или ссылаться на таблицы, содержащие эти характеристики, как это реализовано в ОС UNIX Каталоги могут образовывать иерархическую структуру за счет того, что каталог более низкого уровня может входить в каталог более высокого уровня.

В простейшем случае все файлы на данном диске хранятся в одном каталоге. Такая одноуровневая схема использовалась в первой версии MS-DOS 1.0. Иерархическая файловая система со вложенными друг в друга каталогами впервые появилась в Multics, затем в UNIX.

Каталоги на разных дисках могут образовывать несколько отдельных деревьев, как в DOS/Windows, или же объединяться в одно дерево, общее для всех дисков, как в UNIX-подобных системах.

В UNIX существует только один корневой каталог, а все остальные файлы и каталоги вложены в него. Чтобы получить доступ к файлам и каталогам на каком-нибудь диске, необходимо смонтировать этот диск командой mount. Например, чтобы открыть файлы на CD, нужно, говоря простым языком, сказать операционной системе: «возьми файловую систему на этом компакт-диске и покажи её в каталоге /mnt/cdrom». Все файлы и каталоги, находящиеся на CD, появятся в этом каталоге /mnt/cdrom, который называется точкой монтирования . В большинстве UNIX-подобных систем съёмные диски (дискеты и CD), флеш-накопители и другие внешние устройства хранения данных монтируют в каталог /mnt, /mount или /media. Unix и UNIX-подобные операционные системы также позволяет автоматически монтировать диски при загрузке операционной системы.

Иерархия каталогов может быть деревом или сетью. Каталоги образуют дерево, если файлу разрешено входить только в один каталог, и сеть - если файл может входить сразу в несколько каталогов. В MS-DOS каталоги образуют древовидную структуру, а в UNIX'е - сетевую. Как и любой другой файл, каталог имеет символьное имя и однозначно идентифицируется составным именем, содержащим цепочку символьных имен всех каталогов, через которые проходит путь от корня до данного каталога.

Рис. 1 Логическая организация файловой системы а - одноуровневая; б - иерархическая (дерево); в - иерархическая (сеть)

Поддерево — любая часть дерева, начинающаяся с какой-нибудь директории, которая является корневой для поддерева

Рис. 2. Простая схема дерева директорий на диске C:.

Здесь C:\ — корневая директория, DIR — директории, file — файлы. Треугольниками показаны два поддерева.

При создании дерева директорий процесс создания директорий идет сверху вниз. Опишем типичные шаги этого процесса.

1. Сначала в корневой директории создаются директории, являющиеся поддиректориями корневой. Это директории второго уровня, если мы будем считать, что корневая директория находится на первом уровне.

2. Затем при необходимости в директориях второго уровня создаются поддиректории — директории третьего уровня, и т. д. до тех пор, пока вся информация не будет структурирована, классифицирована в виде дерева. При появлении новой информации она добавляется в уже существующее дерево директорий:

1) либо в виде отдельного файла или файлов в какую-нибудь существующую директорию;

2) либо в какой-нибудь, соответствующей по смыслу директории создается еще одна новая поддиректория, в которую и записывается поступившая или созданная информация в виде поддерева, для которого эта новая поддиректория является корневой.

Файловая система FAT32

В целях более надежного сохранения информации о размещении файлов на диске хранятся две идентичные копии таблицы FAT.

Каждый раздел имеет в своем составе служебную область, в которую входят:

• загрузочная запись раздела – Partition Boot Record (PBR);

• таблица размещения файлов – File Allocation Table (FAT);

• корневой каталог.

Загрузочная запись раздела располагается в первом секторе раздела и содержит либо программу загрузки, если раздел основной, либо дополнительную таблицу разделов, если раздел дополнительный. В случае основного раздела загрузочная запись содержит:

• команду перехода на программу начальной загрузки;

• версию ОС;

• количество секторов в одном кластере;

• количество таблиц FAT;

• номер активной копии FAT;

• тип носителя данных;

• метку тома и др.

Корневой каталог располагается в произвольной позиции области данных и содержит описание записанных на логический диск файлов:

• имя файла;

• расширение;

• атрибуты файла, в том числе размер и дату изменения;

• номер первого кластера файла.

Таблица размещения файлов – содержит однотипные ячейки по числу кластеров в области данных раздела и хранит в них сведения о распределении файлов по кластерам: если кластер занят – хранит ссылку на следующий кластер, отданный этому файлу, если не занят – признак конца файла.

Файл записывается в произвольные свободные сектора, которые могут находиться на различных дорожках.

Файловая система NTFS

В последнее время в основном на компьютерах с ОС Windows используется файловая система NTFS. Большинство особенностей NTFS обусловлено тем, что данная файловая система разрабатывалась как система повышенной надежности.

NTFS, как и FAT, распределяет файловое пространство кластерами, но для адресации кластера в ней отводится 64 разряда, а не 32.

Все элементы раздела, в том числе служебные, рассматриваются в NTFS как файлы с определенным набором атрибутов.

Файлы со служебной информацией называются файлами метаданных или метафайлами. К такому файлу относится и главная таблица файлов (MFT, Master File Table). На рисунке представлена логическая структура раздела файловой системы NTFS.

Для обеспечения целостности данных тома в файловой системе NTFS используются стандартные технологии записи и восстановления транзакций. В случае сбоя компьютера целостность файловой системы восстанавливается с помощью файла журнала NTFS и данных о контрольных точках. В операционных системах Windows 2000 и Windows XP файловая система NTFS также обеспечивает такие дополнительные возможности, как разрешения для файлов и папок, шифрование, дисковые квоты и сжатие.

В данной таблице проведено сравнение основных характеристик файловых систем FAT, FAT32 и NTFS.

	FAT	FAT32	NTFS
Поддерживающие Системы	DOS, Windows9Х, NT всех версий	Windows 98, NT5, Windows Xp, Windows 2000, WindowsVista, Windows Seven	NT4, NT5, NT5.1, Windows Xp, Windows Vista, Windows 7
Максимальный размер тома	2 ГБ	практически неограничен	практически неограничен
Максимальное число файлов на томе	примерно 65 тысяч	практически неограниченно	практически не ограничено
Имена файлов	с поддержкой длинных имен - 255 символов, системный набор символов	с поддержкой длинных имен - 255 символов, системный набор символов	255 символов, любые символы любых алфавитов (65000 разных начертаний)
Возможные атрибуты файла	базовый набор	базовый набор	всё, что придет в голову производителям программного обеспечения
Безопасность	Нет	Нет	да (начиная с NT5.0 и выше, встроена возможность физического шифрования данных)
Сжатие	Нет	Нет	Да
Устойчивость к сбоям	Средняя (система слишком проста, и поэтому ломаться особо нечему)	плохая (средства оптимизации по скорости привели к появлению слабых по надежности мест)	полная - автоматическое восстановление системы при любых сбоях (не считая физические ошибки записи, когда пишется одно, а на самом деле записывается другое)
Экономичность	минимальная (огромные размеры кластеров на больших дисках)	средняя (улучшена за счет уменьшения размеров кластеров)	максимальная (очень эффективная и разнообразная система хранения данных)
Быстродействие	высокое для малого числа файлов, но быстро уменьшается с появлением большого количества файлов в каталогах; результат - для слабо заполненных дисков - максимальное, для заполненных - плохое	полностью аналогично FAT, но на дисках большого размера (десятки гигабайт) начинаются серьезные проблемы с общей организацией данных	система не очень эффективна для малых и простых разделов (до 1 ГБ), но работа с огромными массивами данных и внушительными каталогами организована как нельзя более эффективно и очень сильно превосходит по скорости другие системы

Файловая система ОС семейства UNIX

Файл в операционной системе UNIX представляет собой множество символов с произвольным доступом. В файле могут содержаться любые данные, и файл не имеет никакой иной структуры, кроме той какую создаст в нем пользователь. В семействе UNIX трактуют понятие файла более широко — там файлом называется любой объект, имеющий имя в файловой системе. Однако файлы, не являющиеся совокупностями данных (каталоги, внешние устройства, псевдоустройства, именованные программные каналы, семафоры Xenix), часто называют не простыми файлами, а "специальными".

Информация на диске размещается блоками. Минимальный размер блока 512 байт. В современных файловых системах, разработанных для конкретной версии UNIX размер блока несколько больше. Это позволяет повысить быстродействие файловых операций. Раздел на диске разделяется на следующие области (рис.4): загрузочный блок; управляющий блок (суперблок) в котором хранится размер логического диска и границы других областей; i-список, состоящий из описаний файлов; область для хранения содержимого файлов.

Загрузочный блок

Суперблок

i-узел 1

i-узел 2

i-узел 3

.

i-узел n

Блок с данными файла

Блок с данными файла

Блок с данными файла

Свободный блок

Файл

Свободный блок

Каждый i-узел содержит: идентификатор владельца, идентификатор группы владельца, биты защиты, физические адреса на диске, время создания файла, время его последнего изменения, время последнего изменения атрибутов файла, число связей-ссылок указывающих на файл, идентификатор типа файла – каталог, обычный или специальный файл. За i-списком расположены блоки для хранения содержимого файлов. Пространство, не заполненное файлами, образует связанный список свободных блоков.

Таким образом, файловая система UNIX содержит управляющий суперблок с описанием файловой системы в целом, массив i-узлов, в котором определены все файлы, сами файлы и совокупность свободных блоков.

Каталоги также как и в других системах имеют древовидную структуру. Файл, не являющийся каталогом, может встречаться в различных каталогах, под разными именами. Это называется связыванием. В UNIX-системах файлы не принадлежат каталогам, а существуют как бы независимо от каталогов. Связи в каталогах указывают на реальные физические файлы. Файл “исчезает”, когда удаляется последняя связь, указывающая на него. От файловой системы не требуется, чтобы она полностью размещалась на диске содержащий корневой каталог. Имеется возможность подключения файловой подсистемы к системе таким образом, что её содержимое заменяет собой содержимое заданного каталога. Поэтому для монтирования существующего тома необходимо использовать пустой каталог. Размонтирование – обратная операция, отсоединяющая файловую систему, после чего диск можно физически извлечь из системы. Монтирование файловых систем позволяет получить единое логическое файловое пространство, в то время как реальные файлы могут находиться в разных разделах или на разных жестких дисках. Также важно, что сами файловые системы для монтируемых разделов могут быть различными.