10. Обработка последовательных файлов и файлов прямого доступа. Понятие индекса. Индексно-последовательный метод доступа. Инвертированные списки и структура инвертированного файла.

Организация файла - это способ хранения данных на физическом носителе. Доступ файлу - это способ, с помощью которого компьютер определяет, где размещается хранимая запись. Для организации и доступа к данным используется два метода - последовательный и прямой. В последовательных файлах записи хранятся в порядке возрастания или убывания их первичного ключа (например, номера клиента от 00001 до 99999). В файлах прямого доступа записи не хранятся в каком-то определенном порядке. Используя последовательный доступ, система ведет поиск с начала файла и читает каждую запись, пока не обнаружит искомую запись. Этот способ поиска неэффективен, поэтому он непригоден для приложений, требующих быстрого доступа к записям. Используя прямой доступ, компьютер находит записи, не читая их друг за другом. Методы прямого доступа, применяемые для поиска записей, описаны ниже. ^

3.2.3. Обработка последовательных файлов

Последовательная обработка файлов организовывает и обрабатывает главный файл и файл операций в одной и той же последовательности. Например, обновление файла дебиторских счетов в соответствии с файлом новых продаж, происходит по порядку возрастания номера клиента в обоих файлах. Таблица 2 иллюстрирует последовательную обработку файлов. В ней представлены главный файл, файл операций и скорректированный главный файл. Показаны только поля первичного ключа (номер счета клиента), баланса и суммы операции. Положительная сумма операции указывает на продажу, отрицательная означает платеж. Для простоты каждый шаг процесса обновления пронумерован.

Во время последовательной обработки файла компьютер читает главный файл (шаг 1) и файл операций (шаг 2). Поскольку номера счетов одинаковы, запись главного файла обновляется (шаг 3): баланс клиента 101 стал 1700. Поскольку каждый клиент может делать более одной операции, читается новая запись из файла операций (шаг 4). Номера счетов снова сравниваются и поскольку они совпадают, главная запись 101-го клиента записи опять корректируется (шаг 5). Его баланс стал 700. Читается новая запись операции (шаг 6). Поскольку номер счета главной записи меньше (шаг 7), больше главная запись не обновляется. Обновленная главная запись записывается в новый главный файл. Далее читается новая запись главного файла (шаг 8). Сопоставление (шаг 9) показывает, что обновление главной записи 102-го клиента не требуется, поэтому она записывается в новый главный файл без изменений. Читается следующая запись главного файла (шаг 10). Сопоставление (шаг 11) показывает, что ключ в записи операции теперь меньше, чем в основная запись. Таким образом, или произошла ошибка (запись с номером 103 в главном файле были утеряны) или запись со счетом 103 надо добавить в главный файл. Как и раньше, будем предполагать, что в этом случае запись 103 записывается в специальный файл ошибок. Далее читается новая запись операции (шаг 12) и корректируется главная запись 104-го клиента (шаг 13). Система продолжает по очереди читать оба файла, пока они оба не закончатся. Последовательная организация файлов быстра и эффективна, когда обрабатываются файлы большого объема, причем не постоянно, а периодически и обновлению подлежит высокий процент записей. Она очень эффективна для пакетной обработки операций. Например, организация, которая платит служащим еженедельно или ежемесячно, может обрабатывать свой файл платежной ведомости последовательно.

При использовании прямого доступа операции обрабатываются по мере их появления. В отличие от последовательной обработки, записи главного файла и файла операций могут быть в любом порядке. При совершении новой операции компьютер использует первичный ключ файла операций (например, номер счета), чтобы найти в главном файле нужную запись. Затем запись извлекается, корректируется и записывается обратно в главный файл. Обработка прямого доступа пригодна для случая, когда доступ, поиск и коррекция данных в файлах производится постоянно. Например, файлы систем бронирования авиабилетов корректируются с использованием прямого доступа, поскольку такая информация как стоимость билетов, время отправления и прибытия самолетов постоянно изменяются. Кроме того, методы прямого доступа используются, когда невозможно предугадать, в какой последовательности записи будут обрабатываться или запрашиваться. На рисунке 3.9 показана блок-схема, иллюстрирующая в общем виде обновление файла прямого доступа. Чтобы скорректировать запись, пользователи уведомляют систему (шаг 1) о своих намерениях. Система приглашает пользователя ввести данные операции (шаг 2). Когда ввод закончен (шаг 3), система ищет соответствующую главную запись (шаг 4). Если она не найдена (шаг 5), система посылает пользователю сообщение об ошибке (шаг 6) и просит исправить ее или прервать процесс коррекции.  Если главная запись обнаружена (шаг 5), данные операции используются, чтобы обновить главную запись (шаг 7). Скорректированная запись записывается обратно (шаг 8) на запоминающее устройство прямого доступа. Поскольку обновленная запись заносится вместо старой записи, исходные данные теряются, если они не сохранены в отдельном файле. Затем система спрашивает надо ли еще делать обновление (шаг 9). Если да, программа возвращается на шаг 2 и начинает снова. В противном случае, обработка прерывается.  Определение, где хранятся записи и как их найти после того, как они были записаны (шаг 4), является сложным процессом. Ниже коротко обсуждаются несколько методов хранения и доступа к записям, которые используются, чтобы осуществить идею прямого доступа. 

Индексная организация файлов. Индексный файл содержит первичный ключ и физический адрес каждой записи. Он подобен каталогу в библиотеке. Для того, чтобы найти библиотечную книгу, читатель ищет карточку в каталоге, по ней определяет приближенно, где находится книга, идет к соответствующей полке и ищет ее там. Точно так же индексный файл может использоваться для поиска записи в файле данных. Пользователь запрашивает запись, указывая ее ключ, ключ ищется в индексном файле и компьютер использует найденный физический адрес, чтобы найти и извлечь нужную запись. ^ Индексно-последовательный метод доступа (Indexed-Sequential-Access Method - ISAM) является наиболее популярным методом индексирования. Файл ISAM хранит записи на устройстве прямого доступа, но последовательно, в порядке возрастания их первичного ключа. Для главного файла тоже создается индексный файл. Это означает, что к файлу можно обращаться как последовательным, так и прямым доступом. Поэтому ISAM сочетает преимущества как последовательной так и прямой организации файлов. Однако подход ISAM имеет недостатки. Из-за использования индекса он требует большего объема дисковой памяти. Кроме того, создавать, хранить и поддерживать индексы может быть дорого. Наконец, не так легко добавлять в файл большое количество новых записей. Чтобы решить проблему добавления и удаления, файл нужно периодически реорганизовывать.

Тогда как связные списки используют указатели, встроенные в записи, инвертированные списки используют указатели, хранящиеся в файле индексов. Инвертированный файл поддерживает инвертированные списки сразу для нескольких атрибутов. Таблица 4 показывает инвертированные списки для вторичных ключей поставщика и вида продукции, созданные для набора данных из Таблицы 3. Для каждого значения каждого атрибута используется один список и каждый список содержит машинные адреса всех записей, имеющих это значение. Используя эти инвертированные списки, можно легко и быстро находить любую запись, содержащую конкретного поставщика или вид продукции.