3.8.3.Свойства количества информации

Отметим некоторые важные свойства количества информации.

1°. Количество информации в случайном объекте X относительно объекта Y равно количеству информации в Y относительно X:

(43)

2°. Количество информации неотрицательно:

(44)

Это можно доказать по-разному. Например, варьированием р(х, у) при фиксированных р(х) и р(у) можно показать, что минимум I, равный нулю, достигается при

3°. Для дискретных X справедливо равенство

4°. Преобразование одной случайной величины не может увеличить содержание в ней информации о другой, связанной с ней, величине:

(45)

5°. Для независимых пар величин количество информации аддитивно:

(46)

3.8.4.Единицы измерения энтропии и количества информации

Рассмотрим вопрос о единицах измерения количества информации и энтропии. Из определений I и Н следует их безразмерность, а из линейности их связи — одинаковость их единиц. Поэтому для определенности будем говорить об энтропии. Начнем с дискретного случая. За единицу энтропии примем неопределенность случайного объекта, такого, что

(47)

Легко установить, что для однозначного определения единицы измерения энтропии необходимо конкретизировать число m состояний объекта и основание логарифма. Возьмем для определенности наименьшее число возможных состояний, при котором объект еще остается случайным, т.е. т = 2, ив качестве основания логарифма также возьмем число 2. Тогда из равенства вытекает, что . Следовательно, единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Эта единица получила название "бит". Бросание монеты дает количество информации в один бит. Другая единица ("нит") получается, если использовать натуральные логарифмы, обычно она употребляется для непрерывных величин.

3.9.Основные результаты теории информации

Теория информации приводит к ряду новых понятий, описывающих информационные процессы, происходящие в любых системах, к введению новых количественных параметров, позволяющих проводить измерения и расчеты. Часть этих понятий и величин рассмотрены выше. Однако главная ценность теории информации заключается в полученных ею новых результатах, в открытии ранее неизвестных свойств систем.

Чтобы познакомиться с основными из этих результатов, введем еще несколько понятий и параметров информационных процессов и систем.

3.9.1.Избыточность

Одной из важнейших характеристик сигнала является содержащееся в нем количество информации. Однако по ряду причин количество информации, которое несет сигнал, обычно меньше, чем то, которое он мог бы нести по своей физической природе, т. е. информационная нагрузка на каждый элемент сигнала меньше той, которую он способен нести. Для описания этого свойства сигналов введено понятие избыточности и определена ее количественная мера.

Пусть сигнал длиной в n символов содержит количество информации I. Если это представление информации обладает избыточностью, то такое же количество информации I может быть представлено с помощью меньшего числа символов. Обозначим через наименьшее число символов, необходимое для представления I без потерь. На каждый символ в первом случае приходится бит информации, во втором бит. Очевидно, . В качестве меры избыточности R принимается относительное удлинение сигнала, соответствующее данной избыточности:

(48)

В дискретном случае имеются две причины избыточности: неравновероятность символов и наличие статистической связи между символами. В непрерывном случае — это неэкстремальность распределений (т.е. отклонение от распределений, обладающих максимальной энтропией), что в широком смысле сводится к отклонениям от экстремальности распределения первого порядка и от минимальности связи во времени (от равномерности спектра при его ограниченности).

Не следует думать, что избыточность — явление всегда отрицательное. При искажениях, выпадениях и вставках символов именно избыточность позволяет обнаружить и исправить ошибки.