Специальные главы информатики и вычислительной техники. Учебник

нечно большом интервале времени. В промежуточных точках всегда есть ошибка. Внутри шага дискретизации Dt ошибка аппроксимации функции f(t) возрастает до максимума (рис.  1.7).

ε(t)

t

–7 –6 –5 –4 –3 –2 –1 0 1 2 3 4 ∆t 5 6 7

Рис.  1.7. Зависимость ошибки аппроксимации e(t) исходной непрерывной функции

1.6.  Информационные аспекты построения систем

Прежде всего уясним ряд особенностей, связанных с понятием «информация». Массовое внедрение ЭВМ в различные сферы жизни общества привело к следующим изменениям в трактовке информации:

1)  включен обмен информацией между человеком и ЭВМ, между ЭВМ и ЭВМ, обмен сигналами в животном и растительном мире, так как вся генетика построена на информационных признаках;

2)  предложена количественная мера информации, что привело к созданию информационной теории (работы К. Шеннона, Дж. Хартли, А.Н. Колмогорова).

И.И. Юзвишин ввел основные законы информациологии, он утверждал об их превосходстве над другими философскими категориями, в том числе и над материей.

При информационном анализе надо оценить как информационную структуру, так и ее функции, т.е. установить взаимо­ связь объектов и процессов (рис.  1.8).

Взаимосвязь потоков информации с материей (структурами) приводит к понятию отражения, т.е. свойству материи фиксировать и сохранять в своей структуре следы воздействия другой системы. Отражение – одно из свойств материи (пространство, время, движение), причем оно развивается вместе с развитием

материи. По А. Урсулу, информация – отраженное разнообразие реального мира, и чем разнообразнее система, тем более адекватно она отражает мир. Составляющие информации представлены на рис.  1.9.

Рис.  1.8. Взаимосвязь процессов и объектов

МАТЕРИЯ

ОТРАЖЕНИЕ

Информация

Рис.  1.9. Составляющие информации

Физическая информация отражается в движении материи (механическом, физическом, химическом и т.д.). Биологическая информация включает генетику, физиологию, психологию и мышление человека. Социальная, обычно представляемая в форме научного прогнозирования, делится на две группы:

––массовую информацию, обеспечивающую функции общения;

––специальную информацию, обеспечивающую функции созидания (научную, техническую и т.д.) и переходящую в новые структуры, предназначенные для повышения эффективности информационных технологий (базы знаний, искусственный интеллект).

На практике приходится сталкиваться с интегральным потоком информации, в котором присутствуют все указанные состав-

ляющие, которые реализуются в виде материальных носителей информации во времени и пространстве – сигналов. Они подразделяются на сигналы воздействия среды; сигналы, реализующие априорную информацию (овеществленные знания в виде результатов НИОКР, патентов, человеческого опыта и т.д.) и сигналы управления (команды ЭВМ, директивы лица, принимающего решения (ЛПР) и т.д.).

Оперативная информация делится:

––на атрибутивную – тип сигнала, время поступления, вид контроля;

––адресную – места поступления и назначения;

––количественную – значения параметров, факторов;

––управленческую – известительную и распорядительную. Основными характеристиками оперативной информации являются достоверность (безошибочность), своевременность (время переработки информации соответствует динамике процесса), старение (рассогласованность показателей во времени), безопас-

ность (невозможность изменения данных).

Рассмотрим особенности материального носителя информации – сигнала и виды представления информации в ЭВМ. В качестве сигнала выступает не сам объект, а его состояние. На диски можно записывать различные файлы, не меняя основной функции хранения информации. Далеко не всякое состояние имеет сигнальные свойства, так как сигнал может быть забит помехами или шумами, может произойти рассогласование кодов взаимодействующих объектов. Сигналы могут быть статические: книга, фотография и т.д.; динамические, зависящие от состояния силовых полей: свет, звук, радиосигнал и т.п. Поскольку сигнал – состояние физического объекта, то математической моделью этого состояния будет являться случайный процесс, дающий вероятностное представление о поведении сигнала во времени. Процессы могут быть:

––непрерывные;

––дискретные (случайная последовательность сигналов);

––стационарные в узком и широком смысле;

––нестационарные.

Сигналы в модели могут представлять собой:

––гармонический сигнал:

X(t)= A(coswt +j),

где А – амплитуда;

w = 2pf – круговая частота; j – фаза;

––модулированный по амплитуде, частоте или фазе периодический сигнал:

Х(t)= X(t +t);

––импульсный сигнал:

Х(t) = 0 при произвольном t.

Помехи чаще всего представляются в виде стационарного нормального случайного процесса. Превращение информации в ресурс ставит вопрос ее накопления, хранения и переработки. Современный производственный процесс порождает огромное количество информации на различных носителях: бумажных (записи в рабочих журналах, бланки, рекламации и т.д.) и машинных. Возникает двойственная картина: с одной стороны, информации много, с другой – ее не хватает для принятия решения. Можно утверждать, что накопление пассивной неструктурированной информации является одним из новых видов загрязнения среды. Стремление упорядочить потоки оперативной информации, свернуть ее, обеспечить достоверность и своевременность привело к методам организации информационных массивов так, чтобы они послужили основой безбумажного обмена в рамках используемой информационной технологии. Сейчас есть возможность перерабатывать информацию в символьной форме. Априорную информацию и результаты исследовательской деятельности, представленные в формализованном виде, пригодном для накопления, обработки и передачи средствами вычислительной техники, назовем данными.

В человеко-машинной системе использование данных за счет интеллектуальных возможностей человека приводит к получению новой информации, представляющей собой знания.

Любая человеко-машинная система принятия решений включает развитые банки знаний и базы данных, корректируемые по мере получения новых данных или знаний.

Одной из главных задач при исследовании и создании систем, в том числе систем искусственного интеллекта, является оценка их информационных свойств и структурных связей. Эта задача достаточно сложна из-за необходимости учета как качественных, так и количественных характеристик информации. Причем в большинстве случаев приходится решать задачу извлечения полезной для исследования информации из общего объема имеющейся в наличии, а также задачу преобразования информации.

Становлению теории информации как науки способствовали работы К. Шеннона, А.Н. Колмогорова, В.А. Котельникова, Дж. Хартли и др. В этих работах подчеркивается, что центральной задачей теории информации является изучение ее преобразований. Выделим следующие основные виды преобразований:

1)  преобразование физической природы информационного процесса, например, информационный процесс в виде термодинамического газового процесса, в котором оценивается давление, преобразуется датчиком давления в аналогичный процесс изменения электрического напряжения, при этом информация не меняется, а лишь изменилась физика процесса;

2)  преобразование кода информационного процесса, называемое кодированием или декодированием, например, текст телеграммы перекодировали в двоичный код, при этом существо осталось прежним, а буквы стали другими;

3)  преобразование информации за счет изменения свойств информационного процесса при сохранении кода и оценки, например, взаимодействие двух информационных процессов с формированием новой информации на прежнем языке.

На рис.  1.10 приведена структурная схема простейшей информационной системы, на которой дана информационная интерпретация ее элементов как преобразователей информации: 1 – источник информации; 2 – датчик, преобразующий физическую природу процесса из одной формы в другую; 3 – преобразователи кода, в качестве которых могут быть модулятор

(кодирующее устройство), переводящий амплитудно-времен- ной язык в другой язык, и декодирующее устройство (демодулятор), которое с языка, удобного для передачи информации, переводит информационный процесс в амплитудно-временной язык; 4 – преобразователь нескольких информационных процессов в соответствии с заданным алгоритмом преобразования на амплитудно-временном языке; 5 – устройство, предназначенное для оценки информации.

Рис.  1.10. Структурная схема простейшей информационной системы

Развитые в данном разделе представления позволяют теорию информации определить как теорию, с помощью которой изучаются информационные процессы, системы и их взаимодействие.

1.7.  Энтропия и ее использование для оценки информационных процессов и систем

К. Шеннон ввел энтропийную меру и определил количество информации с ее помощью. Метод исследования информационных процессов по Шеннону основан на том представлении, что источник создает информацию как одно определенное сочетание символов из множества всех возможных их сочетаний. Задача приемника состоит в том, чтобы «отгадать», какое именно сочетание символов передано. Математическое решение этой задачи сводится к определению величины неопределенности ситуации и ее изменения при получении новых знаний. Неопределенности ситуаций в системах принятия решений встречаются часто, и их оценка имеет важное значение.

Длямногихэлементовинформационныхсистемважнымихарактеристиками являются оценки, использующие энтропийную меру, которая определяет степень неопределенности системы.

1.7.1.  Понятие энтропии и основные определения

Неопределенность должна включать два элемента: функцию распределения вероятности и количество возможных различных событий.

Шеннон предложил величину неопределенности источника информации определять формулой [15]:

M – символ операции математического ожидания.

Величина H(X) называется энтропией. В частном случае, когда система, состоящая из m различных элементов, имеет равновероятные события, т.е. вероятности p1 = p2 = … = pm = 1/m, энтропия системы на одно событие равна:

А чему равна энтропия, приходящаяся на n событий? Если m – число всех возможных разных событий, а n – число рассматриваемых событий, то

i=1

Основными свойствами энтропии являются следующие. 1.  Энтропия не может быть отрицательной величиной и для

системы с конечным числом состояний всегда конечна:

0 ≤ H < A.

Это свойство вытекает из определения энтропии, если учесть,

что 0 ≤ pi ≤ 1 и lim pi log pi →0, а также что число слагаемых

p →0

в формуле (1.1) конечноi . Интуитивное представление дает следу-

ющее: нет понятия отрицательной неопределенности, и неопределенность может быть сколь угодно большой и даже бесконечной, но бесконечностью на практике оперировать нельзя.

2.  Энтропия равняется нулю, когда система имеет достоверное событие. Если H(X) = 0, то система описывается схемой

которая имеет достоверное событие, т.е. для xi → pi = 1 из (1.1) имеем H(X) = 0. Другими словами, достоверное событие полностью определено и не содержит неопределенности.

3.  Энтропия имеет максимально значение, если все события равномерны. Для доказательства этого утверждения достаточно показать, что H(X) – logm ≤ 0, учитывая, что для равновероятно-

го события pi = 1/m и, согласно (1.2), Hpi = 1/m(X) = logm. Таким образом, для равновероятной системы H(X) = logm является

наибольшим значением функции H(X). Это согласуется с интуитивным представлением, а именно: неопределенность будет наибольшая у системы, в которой все состояния равновероятны.

Если система описывается схемой

то изменение энтропии при изменении вероятностей имеет вид, показанный на рис.  1.11.

Энтропия непрерывна и всегда положительна. Если в системе, описываемой схемой с конечным числом состояний

гдеxi – некоррелированные состояния системы;

pi – вероятность нахождения системы в состоянии xi, произвести перестановку вероятностей, то получим иное распределение вероятностей.

H(x), дв. ед.

1,0

0,5

Рис.  1.11. Графическое представление энтропии при изменении вероятностей двух событий

Однако энтропия для обоих распределений останется одной и той же. Это свидетельствует о том, что одной и той же энтропии отвечают различные распределения вероятностей (см. также рис.  1.11). Данное свойство определяется тем, что энтропия является средней величиной от распределения вероятностей в логарифмическом масштабе, т.е. от –logp(x).

4.  Свойство аддитивности. Рассмотрим две независимые системы

Из двух этих систем составим объединенную систему X, Y:

Новая система имеет mn независимых событий с вероятностями pik = pipi′ совместного появления событий xi, yk, причем все события полные:

m

∑pi =1;

i=1

n

∑pk′ =1;

k=1

m n

∑∑pik =1.

i=1 k=1

Покажем, что энтропия системы H(X,Y) равна сумме энтропий каждой из систем, т.е.

Интерпретация формулы (1.4) такова: имеются неопределенность в одной системе и неопределенность в другой системе. Их объединяем, при этом неопределенность возрастает.

1.7.2.  Понятие условной энтропии

В теории информации используется понятие условной энтропии, если применить понятие условной вероятности. При этом распределение вероятностей изменяется и становится новым для системы. Условная энтропия также измеряет неопределенность количественно.

Рассмотрим две зависимые системы X и Y. Пусть распределение вероятностей системы Y зависит от того, какое значение xi приобретает система X после окончания опыта. Условную вероятность j-го события системы Y, произошедшего после того, как в системе X произошло событие xi, обозначим p(yi/xi). Полагаем, что система X имеет распределение вероятностей p(x). Каждому исходу опыта xi в системе X соответствует частная условная энтропия системы Y: