Классификация информационных технологий

Наиболее длинную историю развития имеют автоматизированные ИС, автоматизированные системы управления (АСУ) и автоматизированные системы научно-технической информации (АСНТИ).

В последнее время появился широкий спектр специализированных ИС - экономические, бухгалтерские, банковские, ИС рынка ценных бумаг, маркетинговые ИС, АСНИ и т.п.

В АСУ выделены АСУ разных уровней системы управления - АСУП (для уровня предприятий и организаций), ОАСУ (отраслевые АСУ), республиканские и региональные АСУ (РАСУ), и общегосударственная автоматизированная система (ОГАС). Аналогично на уровне предприятий в структуре АСУП выделены уровни - АСУ объединения, АСУ предприятий и организаций, АСУ производств, комплексов цехов, АСУ цехов и участков и т.д.

Во всех этих системах широко применяются БД.

Расчетные данные

Расчетные данные - это значения параметров непосредственно не измеряемые, а вычисляемые с помощью выявленных ранее законов и эмпирических зависимостей. Опыт обслуживания потребителей информацией расчетами на ЭВМ показал, что очень часто разным заказчикам требуются почти одни и те же расчетные параметры. Поэтому расчетные данные после выполнения запроса записываются на технические носители. То есть расчетная информация обладает таким важным достоинством как возможность многократного использования в течение многих лет. Следовательно, даже относительно небольшая эффективность от однократного применения для тех или иных задач в экономике дает большой эффект за счет многократного ее использования.

Результаты расчетов по моделям (вычисленные значения параметров, интерполированные значения по пространству и времени) также хранятся в соответствующих массивах данных. Так, например, большинство данных для представления в ГИС обрабатывается путем предварительного инвертирования и дальнейшей интерполяции (расчетов) в узлы регулярной сетки различного масштаба. На этом этапе фактографические данные превращаются в пространственные.

В ажным моментом обработки данных является вопрос о том, какие результаты расчетов необходимо сохранить для дальнейшего использования. Данные после обработки раньше выводились на печать в виде таблиц определенной формы, которые передавались специалисту для анализа. При этом приходилось просматривать огромный объем табличного материала. Поэтому наиболее трудоемкие операции по анализу и контролю промежуточных и конечных результатов обработки данные передаются ЭВМ. За специалистом остается выборочный контроль промежуточных и критический анализ конечных результатов обработки. По этой причине расчетные данные тоже должны заноситься на носитель. Пример схемы комплексной обработки океанографических данных представлен на рис.2.

Рисунок 2 - Блок схема комплексной обработки океанографических данных

Накопленный опыт создания расчетных массивов позволяет оценить затраты на их создание и сопоставить эти затраты со стоимостью хранения расчетных данных для целей повторного использования. Экономия при использовании расчетных массивов зависит от затрат машинного времени на расчеты, дополнительных затрат на оформление и хранение массива, затрат на копирование и выдачу расчетных данных.

А если учесть, что для научного экспресс-анализа, использования в численных моделях прогноза или принятия управляющих решений часто бывает необходимо использование статистических характеристик, приведенных в различных пособиях, то становится очевидной необходимость быстрого доступа к обработанным данным. Именно эту возможность в первую очередь дают расчетные массивы.

Необходимость хранения расчетных данных определяется также последующей возможностью сравнения результатов, полученных различными методами статистической обработки. Например, в зависимости от разной длины рядов наблюдений, методов осреднения, интерполяции и т.п. последний тезис показывает, что и при наличии мощных средств обработки данных в среде СУБД, когда скорость расчетов достаточна велика, необходимость хранения определенной части расчетных данных не вызывает сомнений. Создание расчетных массивов позволит увеличить скорость обеспечения пользователей этими данными, исключить дублирование расчетов, уменьшить затраты машинного времени, улучшить качество расчетных характеристик, дать возможность проводить дальнейшую обработку созданных расчетных массивов данных.

Для определения расчетных массивов необходимо в технологии обработки выделить отдельные этапы. Число этапов зависит от сложности обработки, объемов расчетов и необходимости сохранения промежуточных результатов расчетов. При разбиении на этапы упрощаются разработка программных средств, увеличивается “живучесть программ”, однако возрастает количество промежуточных массивов.

Учитывая, что часть промежуточных массивов целесообразно сохранить для дальнейшего использования необходимо правильно подходить к разбиению технологии обработки данных на этапы. Положительным моментом многоэтапной организации обработки данных является возможность совершенствования любого из этапов обработки, создания и хранения расчетных массивов данных для обслуживания потребителей. При этом через какое-то время возникает задача внесения изменений в расчетные массивы. При дополнении массива исходных данных, где мало измерений, требуется провести перерасчет обобщенных характеристик. Из-за больших затрат машинного времени полный перерасчет целесообразно проводить после очередного крупного пополнения исходного массива или периодически (раз в год, один раз в пять лет).

По результатам обработки данных можно получить огромное число расчетных массивов, поэтому стоит задача как их выбора и классификации, так и оптимизации состава массивов. Первым шагом решения этой задачи является разделение расчетных массивов в зависимости от стадии обработки данных. По этому основанию можно выделить вычисление характеристики первого, второго и третьего рода. Вычисленные характеристики первого рода получаются на основе обработки исходных или инвертированных данных, второго рода - на основе вычисленных характеристик первого рода, третьего рода -.соответственно на основе расчетных данных второго рода. На основе некоторых вычисленных характеристик всех родов могут составляться прогнозы и вырабатываться рекомендации. Вычисленные характеристики всех родов напрямую могут использоваться для научных исследований и поддержки решений. Вычисленные характеристики первого рода представляют собой упорядоченные путем интерполяции во времени и пространстве массивы данных; второго рода - результаты массовой обработки различным методами (агрегированные, т.е. обобщенные вычисленные характеристики; третьего рода результаты специальной статистической обработки данных (корреляционные и спектральные функции).

К массивам первого рода можно отнести интерполированные значения на стандартных горизонтах; климатические значения параметров в узлах регулярной сетки; значения, разложенные на составляющие; временные ряды с восстановленными значениями параметров; срочные значения параметров в узлах регулярной сетки и др. Эти массивы, по существу, представляют собой промежуточные результаты обработки данных, но, учитывая, что они широко используются для решения других задач, их хранение технологически обосновано.

В расчетных массивах второго рода можно выделить:

• осредненные и обобщенные характеристики различных параметров с различными пространственно - временными масштабами, получаемые в результате статистической обработки. Эти данные являются основой для построения карт, атласов с пространственным представлением данных. Наиболее важными статистическими характеристиками являются средние значения, минимальные и максимальные значения, дисперсия, среднеквадратическое отклонение, вероятность, повторяемость;

• вычисленные параметры определяются на основе известных законов. Он, как правило, не являются отдельным расчетным массивом, а входят в состав исходных или обобщенных характеристик. По отдельным параметрам для решения специальных задач могут создаваться расчетные массивы;

• отфильтрованные и сглаженные значения получаются в результате обработки временных рядов с помощью различных фильтров, необходимы для выявления различных закономерностей распределения значений параметров во времени;

• модельные данные – результаты расчетов по численным моделям, представленные, как правило, в виде пространственных полей распределения одного или нескольких параметров;

Расчетные данные второго рода в свою очередь подвергаются дальнейшей прикладной обработке и в результате появляются расчетные данные третьего рода. Это результаты вычисления структурных, корреляционных и спектральных функций, их тоже необходимо записать на носитель с целью их дальнейшей аппроксимации и использования в прогностических моделях. Вычисленные характеристики третьего рода представляют собой наиболее обобщенную информацию и к ним можно отнести такие данные, как статистические характеристики по субъектам РФ и др. К ним также относятся, например, в гидрометеорологии характеристики морских трасс, макрорайонов, слоев, водных масс, звукового канала.

Характеристики годового хода являются результатом статистической обработки и представляют собой параметры аппроксимации функций, описывающие изменение параметров в течение года.

Экстремальные значения свойств явлений и процессов и даты их проявления являются результатом обработки регулярных измерений и предназначены для дальнейшей обработки.

В связи с тем, что получение некоторых расчетных массивов третьего рода очень трудоемко из-за сложности технологии и программных средств обработки данных, отсутствия исходных данных, а часть из них содержится в уже изданных публикациях, их можно занести на технические носители без повторных вычислений. Безусловно, имеется необходимость создания и других расчетных массивов данных.

Выводы

Система классификации данных позволяет администраторам БД задавать правила автоматического распределения данных по категориям в зависимости от степени их важности, формируя иерархическую схему управления хранением.

Архитектура хранения с физической сегментацией данных (каждый вид храниться отдельно) распределяет информационные объекты в соответствии с классификацией данных и обладает следующими преимуществами:

• возможность создавать распределенные хранилища;

• высокая степень масштабируемости данных;

• возможность динамически распределять нагрузку на хранилище и корпоративную сеть;

• возможность распараллелить процессы резервного копирования, миграции или наоборот выполнять эти процессы последовательно;

• обеспечение переноса данных вместе с носителем между их источниками и потребителями;

• возможность обеспечить физическую изоляцию данных и модель защиты данных, основанную на физическом разделении данных.

Наличие исходных, инвертированных, расчетных данных и метаданных является показателем развития соответствующих ИС. Чем больше используется различных типов инвертированных и расчетных массивов данных, тем более высокий уровень обработки (агрегации) данных применяется. Например, в области гидрометеорологии используются десятки различных массивов данных с различными пространственными (точка, район, полушарие) и временными (срок, сутки, декада, месяц, сезон, год, пятилетие) масштабами осреднения.

Список литературы

1. Вязилов Е.Д. Информационные ресурсы по окружающей среде. М.: Эдиториал. 2001.

Перечень вопросов для самопроверки

2. Какие типы данных Вы знаете?

3. Назовите основания классификации данных.

4. Что такое метаданные?