1.4. Энтропия и её свойства
Энтропия это среднее количество информации, приходящееся на одно событие (сообщение) источника.
Размерность энтропии бит/сообщение.
Первое свойство энтропии. Энтропия максимальна при равновероятных событиях в источнике. В нашем примере двоичного источника эта величина равна 1. Если источник не двоичный и содержит N слов, то максимальная энтропия.
Второе свойство энтропии. Если вероятность одного сообщения источника равна 1, и остальные равны нулю, как образующие полную группу событий, то энтропия равна нулю.
Третье свойство энтропии это теорема сложения энтропий.
1.5. Источник информации и его характеристики, производительность и избыточность. Эргодический источник информации.
Эргодический источник информации это такой источник, в котором статистическая связь между знаками распространяется на конечное число предыдущих символов.
Появление
символа
зависит от того, какой символ
выдал источник в предыдущий момент. Эта
зависимость определяется вероятностью
.
Найдем энтропию такого источника.
Количество информации в такой ситуации источником выдается
.
Характеристиками эргодического источника информации являются следующие:
количество информации в каждом
знаке,
энтропия,
избыточность,
производительность.
1.6. Информационные модели каналов связи, канальная матрица дискретного сигнала.
Н
а
входе канала присутствует входной
алфавит, состоящий из множества знаков
,
а на выходе -
.Представим
канал связи математической моделью.
представление дискретного канала в
виде графа. Узлы графа, получаемые (
)
и передаваемые (
)
Связи
между буквами алфавита принято оценивать
условными вероятностями, например,
вероятность приема
при условии что передана
.
Это вероятность правильного приема.
канальная
матрица.
Это набор условных вероятностей
или
.
.
Заметим,
что все вероятности канальной матрицы
образуют полную группу событий и их
сумма равна 1:
.
Для аналоговых каналов существует иная математическая модель.
Выходной сигнал можно записать так:
,
где
-
время задержки сигнала;
-
множитель ослабления, учитывающий
изменение уровня сигнала;
-
входной сигнал;
-
аддитивная помеха, складывающаяся с
сигналом.
1.7. Информационные характеристики каналов связи. Пропускная способность канала. Теорема Шеннона для канала без помех.
Симметричный канал – это канал в котором все вероятности правильного приема для всех символов равны, а также равны вероятности ошибочных приемов. Для такого канала условная вероятность может быть записана так:
Здесь
– вероятность ошибочного приема. Если
эта вероятность не зависит от того,
какие знаки передавались до данного
символа, такой канал называется "канал
без памяти".
г
раф
симметричного двоичного канала без
памяти.
Рис. 3
Далее допустим , что алфавит на выходе канала содержит дополнительный символ, который появляется тогда, когда декодер приемника не может опознать переданный символ. В этом случае он вырабатывает отказ от решения. Это положение называется стиранием. Такой канал называется каналом без памяти со стиранием Положение "стирание" здесь обозначено знаком вопроса.
П
ростейшим
каналом с памятью является марковский
канал.
В нем вероятности ошибок зависят от
того правильно или ошибочно был принят
предыдущий символ.
Средняя
длительность
сигнала
:
.
Количество
информации, передаваемое по каналу в
единицу времени называется скоростью
передачи информации
.
Ее можно определить так:
.
При всех условиях существует максимально возможная скорость передачи, которая называется пропускной способностью канала C:
Теоремы Шеннона для канала без помех.
Если
производительность источника
меньше пропускной способности канала
,
,
где
-
сколь угодно малая величина, то по такому
каналу можно передать все сообщения
источника.