КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

ПРОГРАММИРУЕМЫЕ ЛОГИЧЕСКИЕ ИНТЕГРАЛЬНЫЕ СХЕМЫ (П Л И С)

ХНУРЭ, факультет КИУ, каф ЭВМ, Тел. 70-21-354. Доц. Торба А.А.

ОСНОВНЫЕ ТЕМЫ ЛЕКЦИИ

•КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОР- МАЦИИ

•ЭНТРОПИЯ СЛОЖНЫХ СООБЩЕНИЙ

•ПРОГРАММИРУЕМЫЕ ЛОГИЧЕСКИЕ МАТРИЦЫ (П Л М)

•ПРОГРАММИРУЕМЫЕ МАТРИЦЫ С ПАМЯТЬЮ

КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

• Всякая информация получается потребителем после принятия сообщения, т.е. в результате опыта. Сообщение, получаемое на приемной стороне, несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния

источника сообщений.

•Если опыт имеет лишь один исход и не содержит

никакой неопределенности, то наблюдатель заранее будет знать исход этого опыта. В результате осуществления такого опыта наблюдатель не получит

никакой информации.

•Пусть опыт имеет два исхода Х1 и Х2 с вероятно- стями Р(Х1) и Р(Х2). Например, результат контроля должен указать, что проверяемый параметр находится

в пределах нормы или за ее пределами. Переда- ваемое сообщение может принимать два значения и содержит определенную информацию.

•Если контролируемая в опыте величина (напряжение, температура, вес и т.п.) может принимать с опреде- ленными вероятностями, например 10 различных значений, то предварительная неопределенность

относительно исхода опыта будет больше, а поступившее сообщение о конкретном исходе опыта дает более уточненную характеристику состояния источника (т.е. больше информации).

•В общем случае источник может передавать "n" независимых и несовместимых сообщений Х1, Х2,... Хn , с вероятностями Р(Х1), Р(Х2), ... Р(Хn) соответ- ственно.

•Естественно, чем меньше априорная вероятность

события, тем больше неопределенность о возможности наступления этого события.

•Поэтому хотелось бы принять в качестве меры неопределенности отдельного сообщения, а также передаваемой им информации, величину, обратную его априорной вероятности: 1 / P(Xi) .

•Однако, такая мера неудобна тем, что в случае, когда

опыт имеет только один исход, т.е. вероятность

такого события равна единице, – количество информации, согласно принятой мере, равно единице. В действительности результат такого опыта не дает

никакой информации.

•Более удобной является логарифмическая мера

КОЛИЧЕСТВА ИНФОРМАЦИИ:

I (Xi ) loga (1/ P(Xi ))

•Это выражение характеризует количество

информации в сообщении Xi. Оно характеризует также априорную неопреде- ленность этого сообщения.

H (Xi ) loga (1/ P(Xi ))

•Эту величину, характеризующую неопреде- ленность одного i-того сообщения, принято называть ЧАСТНОЙ ЭНТРОПИЕЙ.

• Количество информации и неопределенность для всей совокупности случайных сообщений можно получить усреднением по всем событиям:

n

i) loga (P(Xi ))

i 1

•Эти зависимости выражают среднее на одно событие

(сообщение) КОЛИЧЕСТВО ИНФОРМА-ЦИИ и ЭНТРОПИЮ. Термин "энтропия" заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества.

о состоянии системы. С поступлением информации о состоянии системы энтропия (т.е. неопределенность)

уменьшается.

•Количество получаемой информации I(X) равно численно энтропии Н(Х), которая имела место относительно источника сообщения до передачи информации.

•КОЛИЧЕСТВО ИНФОРМАЦИИ рассматрива- ется как мера уничтожения, снятия неопределен- ности.

•При передаче сообщения за счет действия помех

возможно получение искаженного сигнала. Это приводит к неполному снятию неопределенности (а иногда и к увеличению неопределенности). Поэтому

количество информации I(X) численно может не совпадать с априорной неопределенностью H(X).

•Единицы измерения КОЛИЧЕСТВА ИНФОРМАЦИИ и ЭНТРОПИИ зависят от выбора основания логарифма. При использовании

десятичных логарифмов количество информации и энтропия определяются в десятичных единицах –

ДИТах.

•При анализе информационных процессов в ЭВМ, функционирующих на основе двоичной системы счисления, удобно использовать двоичное основание логарифма, а количество информации и энтропия измеряются в двоичных единицах – БИТах.

•При использовании натуральных логарифмов

единицей измерения является – НИТ.