19. Передача дискретной информации при отсутствии и наличии помех с использованием непрерывных сигналов

Передача дискретной информации при отсутствии помех

В случае передачи информации при отсутствии помех в канале каждому сообщению на входе соответствует вполне определенное сообщение на выходе. Пропускной способностью такого канала наз. максимальную скорость передачи, которая возможна для данного канала. Максимальное число элементов можно передавать по каналу только при оптимальном кодировании – это и будет пропускной способностью. В реальных каналах скорость передачи меньше пропускной способности канала (т.к. избыточность).

Передача дискретной информации при наличии помех

Потеря или искажение некоторой части информации. Пропускной способностью в этом случае считается максимальная скорость передачи информации в условиях заданного уровня помех, при котором вероятность ошибки передачи символов не превышает 0,5 (сколь угодно малая).

Передача информации с использованием непрерывных сигналов

Передача информации непрерывными, но квантованными сигналами может осуществляться как при отсутствии помех, так и при их наличии. При этом пропускная способность зависит не только от характеристик передаваемых сигналов и помех, но и от параметров канала передачи информации. При чем скорость передачи информации можно повысить путем изменения характеристик, как сигнала, так и канала передач: увеличить шаг квантования, уменьшить дисперсию помехи, увеличить амплитуду сигнала, увеличить частотную полосу пропускания канала (расширить полосу), повысить допустимую вероятность ошибки передачи информации.

20. Информационные свойства текста

Количество информации в дискретных сообщениях определяется буквой N и равно mⁿ.

Текстовая информация очень широко используется в АСУ. Например, при выдаче данных о состоянии объектов, о значении параметров технологического процесса. Для этого используются специфические англоязычные тексты, которые применяются при составлении программ на языках более высокого уровня.

В процессе работы все источники и приемники сообщений обладают дискретными свойствами. Они создают и передают сообщение последовательно, символ за символом. Если бы все символы алфавита были равновероятными, то энтропия была бы равной для кириллицы. Вероятности появления последующих символов значительно зависит от предыдущих.

4,35 бит/зн – русский, для немецкого алфавита при равновероятном появлении знаков 4,75 бит/зн., а с учетом реальных вероятностей 4,11 бит/зн.

При ручном наборе количество шрифтовых знаков набора должно было быть не меньше вероятности их появления в русском языке. Значение частоты буквенных сочетаний позволяет совершенствовать методику кодирования текста за счет создания многокодовых клавиш. Одной из статистических характеристик текстов является избыточность текста.

Мера избыточности:

,

где Н_макс – максимально возможная энтропия при равновероятном появлении знаков. Н – энтропия реальная, с учетом вероятности появления знаков и их сочетаний. С одной стороны, избыточность требует дополнительных затрат на их передачу и увеличение объемов памяти и так далее. Каналы передачи информации, которые конструируются без учета ограничений с отсутствием помех, используется всего на 30 %.