2.2.4. Энтропия и информация.

Любое принятое сообщение должно уменьшить неопределённость приёмника относительно источника.

Количество информации - это разность между априорной и апостериорной энтропиями: I=H_апр-H_апост

Если в результате опыта полностью снимается неопределённость системы (Hапост=0), то количество информации, приносимое данным опытом, численно равно априорной энтропии системы. Например, в двоичных информационных системах Н_апост=0. Для произвольного канала связи:

I=H()-H_ ()

где H() - неопределённость источника; H_ () - неуверенность приёмника, т.е. если принят Вj то какова вероятность, что был отправлен Аi.

Свойства информации.

1°. Информация обладает симметричностью: I()=I()=H()-H_()=H()-H_()

2°. Максимальное количество информации, равное Н() получается при H_ ()=0, т.е.  полностью определяет  и канал без помех.

Минимальное количество информации, равное 0, получается при H()=H_ (), т.е. Н() и Н() независимы между собой.

3°. Если имеется система связанных между собой событий a,b,c тоH(а) =I(a,a)I(b,a)I(c,a)…I(z,a)

1) При отсутствии помех энтропия приёмника равна энтропии источника. При этом условная энтропия равна нулю, а энтропия объединения равна энтропии источника.

2) Количество информации может определяться как со стороны источника, так и со стороны приёмника. Являясь отражением одного объекта другим и мерой соответствия состояний объектов, информация обладает свойством симметрии.

№ 103. Квантирование информации. Теорема Котельникова.

3. КВАНТОВАНИЕ ИНФОРМАЦИИ

Носителем информации всегда является сигнал.

3.1. Виды сигналов.

1) непрерывный сигнал - непрерывная функция непрерывного аргумента;

2) непрерывно-дискретный сигнал - непрерывная функция дискретного аргумента.

3) непрерывно-дискретный сигнал – дискретная функция непрерывного аргумента.

4) дискретный сигнал - дискретная функция дискретного аргумента.

Х
у,						(4)
Xi
						t ^
	t	1 t	2 t3 t	t4 t	n

Переход (1)->(2) - квантование по времени или дискретизация. Переход (1)->(3) или (2)->(3) -квантование по уровню. Совместное применение этих двух преобразований - дискретизации и квантования -позволяет совершить переход (1)->(4).

Дискретные сигналы больше распространены из-за:

1. меньшего искажения в каналах связи;

2. лёгкого обнаружения и корректировки искажений;

3. лёгкой обработки и отображения в ЭВМ.