8.2 Проектирование процесса загрузки

и ведения информационной базы

Под системой загрузки и ведения информационной базыпони­мают некоторый комплекс программной, методической и техни­ческой документации, с помощью которой пользователь может осуществить своевременную загрузку и актуализацию данных, хранение достоверных данных, обеспечивать секретность данных, защиту их от сбоев ЭВМ и своевременное восстановление утра­ченной информации. Проектирование системы загрузки и веде­ния информационной базы означает проектирование и получе­ние программной и технологической документации по следую­щим процедурам:

• загрузка и актуализация данных;

• обеспечение достоверности вводимых данных;

• обеспечение защиты данных;

• обеспечение надежности хранения данных.

Достоверность хранения данных в информационной базе под­разумевает отсутствие ошибок, своевременность внесения изме­нений и непротиворечивость информации. Для обеспечения до­стоверности вводимых и хранимых данных необходимо выпол­нить следующие работы:

• обеспечить контроль вводимой информации при выполнении процедур загрузки и актуализации информации;

• обеспечить защиту хранимых данных от несанкционирован­ного доступа;

• обеспечить одновременность актуализации одних и тех же

данных, находящихся в разных файлах.

В процессе создания (загрузки) и актуализации информаци­онной базы используются интерактивный и пакетный режимы. Интерактивный режимсоздания и актуализации информацион­ной базы предполагает ввод или обновление отдельных записей файлов по мере необходимости. Режим интерактивного ввода или обновления данных в основном применяется при создании и ве­дении файлов оперативной информации, когда происходят по­лучение и оформление отдельных документов первичной инфор­мации (см. п. 8.1). Файлы оперативной информации создаются в режиме добавления записей по мере получения документов пер­вичной информации. В этом смысле процессы создания и добав­ления оперативных данных не различаются. Кроме того, процес­сы первоначального ввода данных и возможной последующей их корректировки имеют небольшие технологические отличия. На­пример, ввод заказа и внесение изменений в заказ предполагают работу с одной и той же экранной формой. В первом случае за­полняется пустая экранная форма, а во втором случае сначала вызывается заполненная экранная форма, а затем корректирует­ся. В том и другом случае выполняются одинаковые методы кон­троля. При удалении записи также сначала вызывается соответ­ствующая экранная форма для проверки целесообразности этой операции.

Пакетный режимсоздания и актуализации базы данных пред­полагает предварительный сбор пакета документов или подго­товку входного файла первичной информации, с которых осуще­ствляется загрузка (наполнение) основного файла или его обнов­ ление. Пакетный режим используется для работы с файлами опе­ративной информации только в тех случаях, когда требуется ве­дение централизованной базы данных из локальных источников при невозможности подключения этих источников к вычислитель­ной сети или из соображений оптимизации объема передачи дан­ных по вычислительной сети, например при поступлении учет­ной информации в бухгалтерию. Пакетный режим всегда исполь­зуется для создания файлов условно-постоянной информации в силу необходимости одноразового ввода большого объема дан­ных, а также часто используется при актуализации этих файлов вследствие, как правило, массового характера обновлений, на­пример плановой информации или информации классифика­торов.

В силу сложности технологии пакетного режима рассмотрим особенности проектирования технологического процесса загруз­ки и актуализации информационной базы на примере файлов условно-постоянной информации.

Под загрузкой информационной базы будем понимать сово­купность операций по приему, контролю и регистрации посту­пившей информации, вводу информации в ЭВМ, контролю и исправлению ошибок, записи данных в информационный файл.

Содержание операций приема, контроля и регистрациипосту­пившей информации зависит от типа носителя первичной инфор­мации. Если поступающая информация представлена на бумаж­ном носителе, то во время ее выполнения осуществляется следу­ющая совокупность действий:

• контроль количества поступивших документов, полноты и качества их заполнения;

• отбор правильно заполненных документов и их регистрация в регистрационном журнале;

• отбраковка документов, не соответствующих требованиям, предъявляемым к документам;

• формирование запроса на исправление документов с ошиб­ками и отсылка их к источнику информации, т.е. в то подраз­деление, из которого они поступили. Если информация поступает на машинном носителе (гибком диске), то в этом случае проверяется качество записи диска, реги­стрируются имя файла, объем, источник и время поступления.

При поступлении информации по каналам связи определяют­ся источник поступления, время, количество поступивших записей.

Операция ввода информациив ЭВМ может осуществляться несколькими методами:

• ручной ввод данных с бумажных документов с использовани­ем макетов экранных форм;

• автоматизированное чтение данных, содержащихся в докумен­тах на бумажных носителях, и загрузка их в информацион­ную базу (см. п. 8.3).

При вводе больших объемов информации в ЭВМ с клавиату­ры оператором допускается значительное количество ошибок, которые необходимо выявить и устранить. При этом контроль вводимой информации, как правило, осуществляется с использо­ванием следующих методов:

• визуальный контроль на экране дисплея;

• метод контрольных сумм, рассчитываемых по каждой строке документа или по всему документу до ввода в ЭВМ и после ввода, которые затем сверяются между собой;

• метод верификации, при котором осуществляется сверка ра­нее введенных данных, записанных в файл, и данных первич­ных документов, вводимых оператором второй раз;

• метод двойного массива, при котором файлы по первичным документам создаются двумя разными операторами и после ввода сверяются по контрольным числам, вычисляемым для каждого из них.

Проверенные и исправленные данные заносятся в файл ин­формационной базы.

Схема технологической сети проектирования процедуры па­кетной загрузки базы данных при ручном способе ввода данных первичных документов отражена на рис. 8.1.

Первой выполняется операция «Определение особенностей подготовки данных и формирование требований к системе загруз­ки»(П1). Для выполнения этой операции необходимо распола­гать технологической документацией, описывающей правила работы при получении первичной информации (Д1.1).

Можно выделить следующие особенности подготовки фай­лов данных:

• внемашинные форматы данных могут не совпадать с внутри-машинными форматами;

• получение и подготовка первичной информации с помощью разнообразных технических средств могут привести к рассог­ласованию кодов представления вводимой информации и ко­дов ее представления в ЭВМ;

• все операции по подготовке файлов являются машинно-руч­ными, поэтому следует учитывать большое количество воз­можных ошибок;

• вводимые файлы могут иметь линейную или иерархическую логическую структуру, которую следует учитывать в процес­се загрузки;

• структуры записей входных файлов могут не совпадать со структурой записей базы данных.

Рис. 8.1. Технологическая сеть процесса загрузки информации в ИБ:

Д1.1 - технологическая документация, описывающая правила работы при получении первичной информации; Д1.2 - требования к процессу загрузки; Д2.1 - схема технологического процесса загрузки; U3.1 - универсум программных средств частичной автоматизации, служебных средств операционной системы и языков программирования; ДЗ.1 - факторы, определяющие выбор инструментальных средств; ДЗ.2 - описание выбранных инструментальных средств и методическое обеспечение по их настройке; Д4.1 - блок-схемы программы; Д4.2 - коды программ; Д4.3 - настройка средств частичной автоматизации; Д5.1 -данные контрольного примера; Д5.2 - отлаженная программа; Д5.3 - распечатка результатов контрольного примера; Д5.4 - технологическая документация

Результатом выполнения этой операции является получение списка требований к процедуре загрузки (Д1.2). К основным тре­бованиям, предъявляемым к процедуре загрузки, можно отнести следующие:

• необходимо обеспечение достоверности вводимой информации;

• должны выдаваться сообщения об ошибках и местах их воз­никновения;

• требуется обеспечение контроля вводимой информации на уровне файла, записи, поля;

• загрузка должна обеспечить перекодирование информации в случае рассогласования кодов;

• должно обеспечиваться преобразование файлов во внутрен­ние форматы;

• должны выполняться редактирование, сортировка и распечат­ка файлов с постоянной информацией.

Второй операцией рассматриваемого процесса служит опе­рация П2 «Определение состава операций ввода и первичной обра­ботки загружаемых файлов». Входной информацией для данной работы являются требования к процедуре загрузки (Д1.2), выход­ной - состав операций или блок-схема технологического процес­са загрузки (Д2.1). Исходя из требований, предъявляемых к про­цедуре загрузки, выделяют следующие типовые операции, входя­щие в состав этой процедуры:

• ввод входных данных и их перекодирование;

• синтаксический и семантический контроль;

•• распечатка «Ведомости ошибок», анализ ошибок и создание файла корректур;

• ввод файла корректур в ЭВМ;

• корректировка входного файла с целью исправления в нем ошибок;

• редактирование входного исправленного файла;

• формирование записей основного файла;

• сортировка или индексирование основного файла с постоян­ной информацией;

• распечатка файла с постоянной информацией.

Особое внимание должно быть уделено разработке програм­мы синтаксического и семантического контроля загружаемой информации в информационную базу. Синтаксический контрольможет осуществляться на уровне структуры файла, записи и от­дельного поля. Контроль на уровне файла сводится к контролю типов записей, соподчиненности различных типов записей (заго­ловок, подзаголовок), количества экземпляров каждого типа за­писи. Контроль на уровне записи сводится к контролю числа по­лей, их последовательности и длины записи. Контроль на уровне поля включает в себя контроль типа и формата поля.

Семантический контрольсводится к арифметическому и ло­гическому контролю содержимого отдельных полей. Арифмети­ческий контроль осуществляется следующими методами:

• контрольных сумм по документу;

• контрольных сумм по отдельной записи;

• контрольного числа по файлу;

• контроля по модулю 11;

• балансовый контроль.

Логический контрольприменяется для реквизитов-признаков и оснований, и при его построении используют следующие виды контроля:

• контроль на конкретное значение;

• контроль на диапазон значений;

• контроль путем сравнения с некоторой константой;

• контроль зависимостей значений реквизитов;

• контроль по списку значений (справочнику).

На следующей операции (ПЗ) осуществляется «Выбор инстру­ментального средства разработки программ загрузки информаци­онной базы»на основе универсума программных средств частич­ной автоматизации, служебных средств операционной системы и языков программирования (U3.1). На вход данной операции по­ступают блок-схема технологического процесса загрузки (Д2.1) и факторы, определяющие выбор инструментальных средств (ДЗ.1). На выходе получают описание выбранных инструментальных средств и методическое обеспечение по их настройке (ДЗ.2).

К инструментальным средствам частичной автоматизации от­носятся: генераторы экранных форм СУБД, специализированные генераторы ввода-вывода и утилиты. К основным факторам, влия­ющим на выбор средств частичной автоматизации, можно отнести:

• количество и характер функций, выполняемых данным сред­ством, например возможность работы с многоэкранными фор­мами или экранными формами, предназначенными для вво­да данных в несколько файлов;

• наличие большого объема свободных вычислительных ресур­сов;

• квалификация персонала;

• возможность подключения оригинальных программных средств.

Программные средства частичной автоматизации загрузки данных можно разделить по принципу функционирования на конверторы, предназначенные для преобразования данных, со­здаваемых в других информационных системах, и программы непосредственной загрузки интерпретирующего или генерирую­щего типа.

Результатом выполнения данной операции является выбор конкретных средств частичной автоматизации процедуры загруз­ки или языков программирования, или их комбинации.

Далее осуществляется операция «Настройки средств частич­ной автоматизации или разработка программ»(П4). В результате формируется программная документация по данной процедуре, в том числе блок-схемы программных модулей (Д4.1), коды про­граммных модулей (Д4.2) и схемы настройки средств частичной автоматизации (Д4.3).

На операции П5 осуществляется «Комплексная отладка про­граммы загрузки информации в базу данных» на основе исходных данных для контрольного примера (Д5.1) с получением отлажен­ной программы процедуры (Д5.2), распечаток результатов реа­лизации контрольного примера (Д5.3) и создание технологичес­кой документации по процедуре загрузки (Д5.4).

Под актуализациейданных будем понимать совокупность операций над файлами информационной базы, связанных с до­бавлением новых записей, удалением старых, изменением содер­жания отдельных полей записей.

Процесс проектирования процедуры актуализации условно-постоянной информации в базе данных (технологической сети процесса) представлен на рис. 8.2. Он начинается с операции «Раз­работка системы организации актуализации данных в ИБ»(П1), сущность которой заключается в определении подразделений - источников изменений, разработке форм документа«Извещение на изменения»и экранных форм, определении маршрутов пере­движения этого документа от подразделения-источника до вво­да информации об изменениях в ЭВМ, определении регламента и режима ввода изменений.

Рис. 8.2. Технологическая сеть проектирования процесса актуализации ИБ:

Д1.1 -принципы организации ИБ; Д 1.2 -структура ИБ;Д1.3 -список поставщиков изменений; Д1.4 - режим внесения изменений; Д1.5 - маршруты движения извещений на изменения; Д1.6 - формы внесения изменений; Д1.7 - макет экранной формы; Д2.1 - блок-схема ТП; Д2.2 - технологическая документация; U3.1 - универсум программных средств частичной автоматизации, служебных средств операционной системы и языков программирования; ДЗ.1 - факторы, определяющие выбор инструментальных средств; ДЗ.2 - описание выбранных инструментальных средств и методическое обеспечение по их настройке; Д4.1 - блок-схемы программы; Д4.2 - коды программ; Д4.3 - настройка средств частичной автоматизации; Д5.1 - данные контрольного примера; Д5.2 - отлаженная программа; Д5.3 - распечатка результатов контрольного примера; Д5.4 - технологическая документация

Входная информация, используемая при выполнении данной работы, включает описание структуры информационной базы (Д1.2) и описание принципов ее организации (Д1.1). Выходная информация включает в свой состав следующие документы:

• список поставщиков изменяемой информации (Д1.3);

• формы первичного документа «Извещение на изменение» (Д1.6);

• описания маршрутов движения извещения (Д1.5);

• макеты экранных форм размещения информации об измене­ниях (Д 1.7);

• режимы внесения изменений (Д1.4);

• совокупность файлов, обновляемых одновременно (Д1.8).

Второй выполняется операция «Разработка технологическо­го процесса внесения изменении»(П2). На вход данной операции поступают список поставщиков информации, формы первично­го документа«Извещения на изменения», описание маршрутов движения«Извещения»,макеты экранных форм размещения ин­формации об изменениях, режимы внесения изменений. Резуль­татом выполнения данной операции являются блок-схема техно­логического процесса актуализации данных (Д2.1) и технологи­ческая документация (Д2.2). Можно выделить следующие типовые операции технологического процесса актуализации данных:

• выписка «Извещения» - данная операция выполняется в под­разделениях предприятия - источниках изменений. Ее резуль­тат поступает в виде первичного документа «Извещения» в пункт ввода информации;

• прием, контроль и регистрация извещений;

• ручная корректировка «Ведомости описи» актуализируемого ' основного файла с постоянной информацией;

• ввод информации извещений в ЭВМ;

• контроль правильности записи информации;

• исправление ошибок и формирование входного файла изме­нений;

• сортировка файла изменений;

• ввод записей основного файла, требующего изменений;

• актуализация основного файла;

• распечатка актуализированного основного файла;

• сверка начальной и полученной описей основного файла. При наличии расхождений - повторное выполнение вышеперечис­ленных операций.

Последующие операции «Выбор метода актуализации и инструментального средства разработки процедуры актуализации информационной базы»(ПЗ),«Настройка и разработка програм­мных средств»(П4),«Отладка программ и создание технологи­ческой документации»(П5) выполняются аналогично операциям в технологической сети проектирования процедуры загрузки ин­формационной базы.

Для поддержания надежностихранимых данных при сбоях в работе ЭВМ и разрушениях информационной базы требуется система резервирования и восстановления, технологическая сеть создания которой представлена на рис. 8.3.

Рис. 8.3. Технологическая сеть проектирования процесса поддержания надежности хранимых данных:

U1.1 - универсум методов хранения и восстановления данных; Д1.1 - описание метода хранения и восстановления данных; Д2.1 - код программы восстановления данных; ДЗ.1 - отлаженная программа; ДЗ.2 - данные контрольного примера; Д4.1 - технологическая документация; Д5.1 - журнал учета выдачи в эксплуатацию; Д6.1 - код программы; Д7.1 - программная документация; Д7.2 - данные контрольного примера; Д8.1 - технологическая документация копирования файлов

Содержанием первой операции является «Выбор метода хра­нения и восстановления информации»(П1). Проектировщики ис­пользуют несколько методов хранения информации в информа­ционной базе (Д1.1):

• метод дублирования основных файлов и хранения нескольких их копий;

• метод создания и хранения нескольких поколений каждого основного файла ИБ и файлов корректур к ним;

• комбинированную систему нескольких поколений с дублиро­ванием последнего поколения и файлов корректур.

В результате выполнения операции П1 получают документ Д1.2, описывающий выбранный метод хранения информации в информационной базе.

Далее проектировщики должны разработать и отладить про­грамму отката и восстановления данных на контрольном примере(П2, ПЗ), в результате выполнения которой получают отлажен­ный код программы (ДЗ.1), предназначенной для восстановле­ния хранимых данных в случае сбоя системы при выполнении об­ращений прикладных программ к файлам ИБ или при выполне­нии процедуры актуализации данных, результатные данные контрольного примера (ДЗ.2).

Следующей является операция «Разработка технологии вос­становления и хранения данных»(П4) исоставления технологи­ческой документации(Д4.1).

Помимо этого необходимо также спроектировать систему учета эксплуатации файлов, в которую входят: разработка (П5) «Журнала учета»(Д5.1),составление и отладка кода программы ведение статистики обращения к файлам(П6, П7) с получением программной документации (Д7.1) и контрольного примера (Д7.2), разработка технологии копирования файлов(П8) с получе­нием соответствующей технологической документации (Д8.1). Проектирование процедур защиты информационной базы от не­санкционированного доступа будет рассмотрено далее.