- •Глава 6
- •6.2. Энтропия источника дискретных сообщений
- •1. Энтропия источника независимых сообщений
- •2. Энтропия источника зависимых сообщений
- •6.3. Избыточность источника сообщений
- •6.4. Статистические свойства источников сообщений
- •6.5. Скорость передачи информации и пропускная способность дискретного канала без помех
- •6.6. Оптимальное статистическое кодирование сообщений
- •6.7. Скорость передачи информации и пропускная способность дискретных каналов с помехами
- •6.8. Теорема Шеннона для дискретного канала с помехами
- •6.9. Энтропия непрерывных сообщений
- •6.10. Скорость передачи
- •И пропускная способность
- •Непрерывного канала.
- •Формула Шеннона
- •6.11. Эффективность систем передачи информации
6.11. Эффективность систем передачи информации
Пропускная способность канала связи С определяет максимальную скорость передачи информации, т. е. является тем пределом, которого можно достигнуть при идеальном кодировании. Естественно, что в реальных каналах скорость передачи всегда будет меньше С. Степень отличия R от С зависит от того, насколько рационально выбрана и эффективно используется та или иная система передачи информации. Наиболее общей оценкой эффективности системы передачи информации является коэффициент использования канала:
(6.86)
Для дискретных
систем передачи информации можно
записать
где
и
—
эффективность системы кодирования и
эффективность системы модуляции. Вводя
избыточность сообщения æ1
и избыточность сигнала æ2
получим:
æ,(6.87)
где æ= æ1+ æ2–æ1æ2— полная избыточность системы.
В ряде практических случаев удобными оценками эффективности системы является коэффициент использования мощности сигнала:
(6.88)
где
— интенсивность помехи и коэффициент
использования полосы частот канала:
(6.89)
Согласно выражению (6.87) для коэффициента использования канала эффективность системы полностью определяется величиной ее избыточности, т. е. задача повышения эффективности системы передачи информации сводится к задаче уменьшения избыточности сообщения и сигнала.
Избыточность сообщения обусловлена тем, что элементы сообщения не являются равновероятными, и между ними имеется статистическая связь. При кодировании можно перераспределить вероятности исходного сообщения так, чтобы распределение вероятностей символов кода приближалось к оптимальному (к равномерному в дискретном случае или к нормальному при передаче непрерывных сообщений). Такое перераспределение позволяет устранить избыточность, зависящую от распределения вероятностей элементов сообщения. Примером подобного кодирования является код Шеннона-Фано.
Если перейти от кодирования отдельных символов сообщения к кодированию целых групп символов, то можно устранить взаимосвязь между ними и тем самым еще уменьшить избыточность. Общая идея такого кодирования, который называют методом укрупнения, состоит в следующем. Исходное сообщение разбивается на отрезки по k символов в каждом. Такие отрезки могут рассматриваться как укрупненные элементы сообщения. Можно показать, что вероятностные связи между такими укрупненными элементами слабее, чем между элементами исходного сообщения. Очевидно, чем больше k (крупнее отрезки), тем слабее будет связь между ними. Далее укрупненные элементы кодируются с учетом их распределения вероятностей.
Следует заметить, что при укрупнении элементов происходит преобразование, состоящее в переходе к коду с более высоким основанием т1=тk, где т — первоначальное основание.
Своеобразным примером метода укрупнения сообщений является стенографический текст. Каждый стенографический знак в этом тексте выражает целое слово или даже группу слов.
Что касается сигнала, то его избыточность зависит от способа модуляции и от вида переносчика. Процесс модуляции обычно сопровождается расширением полосы частот сигналапо сравнению с полосой частот передаваемого сообщения. Это расширение полосы и является избыточным. Частотная избыточность также увеличивается при переходе от синусоидального переносчика к переносчику импульсному или шумоподобному. С точки зрения повышения эффективности передачи следовало бы выбирать такие способы модуляции, которые имеют малую избыточность. К таким системам, в частности, относится однополосная передача, в которой передаваемые сигналы не содержат частотной избыточности, — они являются просто копиями передаваемых сообщений.
Однако, говоря об эффективности системы передачи информации, нельзя забывать об ее помехоустойчивости. Устранение избыточности повышает эффективность передачи, но снижает при этом достоверность (помехоустойчивость), и, наоборот, сохранение или введение избыточности позволяет обеспечить высокую достоверность передачи. Например, при телеграфной передаче текста устранение избыточности приводит к тому, что становится труднее исправлять ошибки в сообщении, и в конечном счете снижается помехоустойчивость. При сохранении избыточности в тексте помехоустойчивость будет выше.
При кодировании в ряде случаев избыточность специально вводится с целью повышения достоверности передачи. Примером такого кодирования являются корректирующие коды, которые будут рассмотрены ниже.
Аналогичная ситуация имеет место и в отношении избыточности сигнала. Частотная избыточность при различных видах модуляции используется по-разному. При частотной модуляции, например, можно получить больший выигрыш в помехоустойчивости, чем при амплитудной модуляции, а при кодовой импульсной модуляции этот выигрыш будет еще больше. Частотная избыточность шумового переносчика позволяет снизить влияние замираний и сосредоточенных помех.
Следовательно, при оценке систем передачи информации необходимо учитывать по крайней мере два показателя: эффективность и помехоустойчивость; совокупность этих двухпоказателей составляет достаточно полную характеристику системы.
Наиболее совершенной системой передачи информации считается такая, которая обеспечивает наибольшую эффективность при заданной помехоустойчивости или, наоборот, обеспечивает наибольшую помехоустойчивость при заданной эффективности.
Контрольные вопросы и задания
Как вводится логарифмическая мера информации и какими свойствами она обладает?
Дайте определение понятию ансамбля сообщений.
Что называется энтропией и как она определяется для источников независимых и зависимых сообщений?
Каковы причины появления избыточности в сообщении?
Какие источники сообщения называются стационарными и эргодическими?
Что называется пропускной способностью канала? Чему она равна для двоичного канала без помех?
Поясните принцип оптимального статистического кодирования.
Как определяется скорость передачи и пропускная спосоность канала с помехами?
Какие выводы следуют из теоремы Шеннона для дискретного канала с помехами?
Как определяется количество передаваемой информации в непрерывных каналах?
Проанализируйте формулу Шеннона для пропускной способности непрерывного канала.
Сформулируйте теорему Шеннона для непрерывного канала и поясните ее смысл.
Что называется эффективностью системы передачи информации и как она определяется количественно?
Поясните зависимость между помехоустойчивостью и эффективностью системы передачи информации.
