ТКз-12 (Общая теория связи, часть 1) / 11

1

6. ИНФОРМАЦИОННЫЕ ХАРАКТЕРИСТИКИ ИСТОЧНИКОВ СООБЩЕНИЙ И КАНАЛОВ СВЯЗИ

6.1. Основные определения теории информации

Количественная мера информации. Из определения информации как совокупности неизвестных для получателя сведений следует, что в общем случае дать оценку количества информации довольно затруднительно, так как всякое подлежащее передаче сообщение имеет свое содержание, свой смысл и определенную ценность для получателя. Одно и то же сообщение может давать одному получателю много информации, другому мало. Однако содержательная сторона сообщений несущественна для теории и техники связи и поэтому не учитывается при определении количественной меры информации.

В основу измерения количества информации положены вероятностные характеристики передаваемых сообщений, которые не связаны с конкретным содержанием сообщений, а отражают степень их неопределенности (неожиданности). Естественно, что чем меньше вероятность со-

общения, тем больше информации оно несет. Так, о маловероятном сооб-

щении говорят: «Вот это новость!», т. е. полученное огромное количество информации получателем не может быть сразу воспринято и осознано.

Следовательно, количество информации I(аi) в отдельно взятом сообщении аi определяется величиной, обратной вероятности сообщения

P(ai) и вычисляется в логарифмических единицах:

Логарифмическая мера, впервые предложенная в 1928 г. английским ученым Р. Хартли, обладает свойством аддитивности, что соответствует нашим интуитивным представлениям об информации (сведения, полученные от двух источников, складываются). Кроме того, при P(ai) = 1 количество информации, вычисленное по (6.1), равно нулю, что соответствует принятому определению информации (сообщение об известном событии никакой информации не несет).

Если источник выдает зависимые сообщения ai = f(a1, ..., am), то они характеризуются условными вероятностями P(ai/a1, ..., am). И в этом случае количество информации вычисляется по формуле (6.1) с подстановкой в нее условных вероятностей сообщений.

Единицы измерения количества информации. Выбор основания логарифмов в формуле (6.1) определяет единицы измерения количества информации. При использовании десятичного логарифма (b = 10) информация измеряется в десятичных единицах – дитах. В случае использования

2

натуральных логарифмов единицей измерения является натуральная единица – нат.

Более удобно в системах, работающих с двоичными кодами (ЭВМ, системы связи и др.), использовать основание логарифма b = 2, и тогда информация измеряется в двоичных единицах – дв. ед. Весьма часто вместо двоичных единиц используется эквивалентное название – бит (bit), возникшее как сокращенная запись английских слов binary digit (двоичная цифра). Следовательно, при P(ai) = 0,5I(аi) = –log2 0,5 = 1 бит, т. е. 1 бит – это количество информации, которое передается сообщением, вероятность которого Р(ai) = 0,5.

В настоящее время термин «бит» в информатике и вычислительной технике употребляется не только как единица количества информации, но и для обозначения числа двоичных символов 0 и 1, поскольку они обычно равновероятны, и каждый из них несет 1 бит информации.

Например, нужно определить количество информации в слове русского текста из n = 8 букв. Для упрощения расчетов будем считать, что буквы равновероятны и следуют независимо.

Для равновероятных букв вероятность одной буквы Р(ai) = 1/М= 1/32 (примем, что в русском алфавите M = 32), и в одной букве, согласно (6.1), содержится I(ai) = –log2 1/32 = 5 бит информации. Буквы следуют независимо, поэтому количество информации в слове из n = 8 букв

6.2. Характеристики источников сообщений

Энтропия источника. Большинство реальных источников выдают сообщения с различными вероятностями. Например, в тексте буквы А, Е, О встречаются сравнительно часто, а Щ, Ы, Ъ – редко. При разных вероятностях сообщения несут различное количество информации I(ai). При решении большинства практических задач необходимо знать среднее количество информации, приходящееся на одно сообщение. Это среднее количество информации согласно (6.2) при общем числе сообщений источника М равно:

Полученная величина Н(А) получила название энтропия источника сообщений, единицы измерения – бит/сообщение.

Термин «энтропия» заимствован из термодинамики, где выражение, аналогичное (6.2), характеризует среднюю неопределенность состояния системы молекул вещества. В теории информации этот термин и способ

3

вычисления (6.2) введен в 1948 г. американским ученым К. Шенноном, а далее более строго определен советскими математиками А.Я. Хинчиным

иА.Н. Колмогоровым. Физически энтропия Н(А) выражает среднюю неопределенность состояния источника сообщений и является объективной информационной характеристикой источника. Энтропия всегда положи-

тельна и принимает максимальное значение Hmax(A) = log2M при равновероятных сообщениях.

Для источника с зависимыми сообщениями энтропия также вычисляется как математическое ожидание количества информации этих сообщений. Следует отметить, что полученное в этом случае значение энтропии меньше, чем источника независимых сообщений. Это физически следует из того, что при наличии зависимости сообщений неопределенность выбора уменьшается и, соответственно, уменьшается энтропия. Так, в тексте после сочетания «чт» вероятнее всего, что третьей буквой будет «о»

ималовероятно появление в качестве третьей буквы «ж» или «ъ». В среднем сочетание «что» несет меньше информации, чем эти буквы в отдельности.

Избыточность источника. Под избыточностью всегда понимают что-то лишнее (ненужное). Что же избыточное (лишнее) имеется в источнике, выдающем какую-то информацию? Избыточными в источнике считаются сообщения, которые несут малое, а иногда и нулевое, количество информации. Время на их передачу тратится, а информации передается мало. Наличие избыточности означает, что часть сообщений можно и не передавать по каналу связи, а восстановить на приеме по известным статистическим связям. Так и поступают при передаче телеграмм, когда исключают из текста телеграммы союзы, предлоги, знаки препинания, поскольку они легко восстанавливаются по смыслу телеграммы на основании известных правил построения фаз. Количественно избыточность оценивается

коэффициентом избыточности Χ:

где Н(А) – энтропия источника, вычисленная на основе учета статистических характеристик сообщений; Hmax(A) = log2M – максимальная энтропия источника из М сообщений. Основными причинами избыточности являются: 1) различные вероятности отдельных сообщений; 2) наличие статистических связей между сообщениями источника.

Избыточность при передаче сообщений имеет свои положительные и отрицательные стороны. Увеличение избыточности приводит к увеличению времени передачи сообщений, излишней загрузке каналов связи. В заданный промежуток времени в канале передается меньшее количество

4

информации, чем это возможно, поэтому одной из задач теории информации и техники кодирования является задача сокращения избыточности.

Однако при увеличении избыточности появляется возможность повышения помехоустойчивости передачи сообщений. Так, избыточность текста позволяет легко исправлять отдельные ошибки или восстанавливать пропуски букв или даже слов в телеграмме. У русского, да и у всех европейских языков, избыточность с учетом всех статистических зависимостей букв примерно одинакова Х ≈ 0,5. Она сформировалась в результате длительной общественной практики на основе требований исправления искажения слов и фраз под воздействием различных мешающих факторов. При практическом выполнении систем связи устанавливается компромиссное значение избыточности, обеспечивающее заданные скорость и надежность передачи сообщений.

Количество информации и энтропия непрерывных сообщений.

Непрерывное сообщение a(t) в общем случае принимает бесконечное число значений, как по времени, так и по уровню, поэтому количество информации и, соответственно, энтропия источника непрерывного сообщения, бесконечны. Однако в реальных условиях отсчеты сообщений по времени производятся в точках через интервал дискретизации Тд согласно теореме Котельникова. Кроме того, с заданной степенью точности непрерывное сообщение можно представить конечным числом значений L по уровню. Тогда среднее значение количества информации в одном отсчете (энтропию отсчета) можно вычислять аналогично дискретным сообщениям:

L

Hотсч( A) = −∑ pi log2 pi , (6.4)

i=1

где pi – вероятность появления в квантованном сообщении i-го уровня. Если в (6.4) осуществить предельный переход, т. е. устремить число

уровней квантования L к бесконечности (шаг квантования ∆t при этом стремится к нулю), то получим величину

которую называют дифференциальной энтропией источника непрерывных сообщений. В (6.5) р(а) – плотность вероятности сообщения a(t). Однако из-за того, что р(а) зависит от масштаба а, величина h(a) отдельно не может служить абсолютной мерой неопределенности (информации) непрерывного сообщения. Она не обладает многими свойствами обычной энтропии дискретных сообщений, в частности, может принимать и отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность дифференциальных энтропий, например, на входе

5

и выходе канала связи. Именно для этих расчетов и используется дифференциальная энтропия в виде (6.5).

Производительность источника. Под производительностью источ-

ника понимают среднее количество информации, создаваемой источником в единицу времени. Если за время наблюдения tн источник дискретных сообщений выдал п сообщений, то количество произведенной им информации I(А, tн)=пН(А) и производительность источника

где tср – средняя длительность сообщения, tср = tн / n. Производительность источника численно равна отношению энтропии источника к средней длительности сообщения. Единица измерения производительности – бит/с.

Для непрерывных сообщений при их преобразовании в цифровую форму с частотой дискретизации fд и энтропией отсчета Hотсч(А) производительность источника

При числе равновероятных уровней квантования L вероятность каждого из них pi = 1/L, и из (6.4) и (6.7) получаем значение производительности источника непрерывных сообщений:

Пример. Если источник информации работает в диапазоне тональной частоты, то для частоты дискретизации 8 кГц, полученной по теореме В.А. Котельникова, и для L = 256 уровней квантования, производительность источника равна 64 кбит/с.

Производительность источника сообщений является одной из основных его характеристик, так как каналы передачи сообщений должны строиться так, чтобы обеспечить передачу выдаваемого источником количества информации.

6.3. Характеристики каналов связи

Скорость передачи информации. Под скоростью передачи инфор-

мации понимают среднее количество информации, получаемое на выходе канала в единицу времени, размерность – бит/с.

Совершенно ясно, что в идеальном канале без помех и искажений количество принятой информации тождественно равно количеству переданной. Скорость передачи информации R по идеальному каналу вычисляется аналогично производительности источника (6.6) или (6.8) по информационным параметрам передаваемого первичного сигнала.

6

Наличие в канале помех приводит к искажению передаваемых сигналов, вследствие чего, приняв сигнал, мы не можем с полной достоверностью определить, какое же сообщение было передано. Можно утверждать,

что в канале связи с помехами возникают потери информации. Сказанное подтверждает хотя бы такой всем известный факт: при разговоре по телефону при наличии помех абонент просит повторить сказанное, так как он не все понял. А это значит, что какая-то часть информации не пошла к получателю и потеряна в канале. Следовательно, при вычислении скорости передачи информации в канале с помехами необходимо учитывать потери информации. Скорость передачи информации в дискретном канале

где H(U) – энтропия передаваемого дискретного первичного сигнала; Нпот(U) – энтропия потерь в канале для дискретного первичного сигнала; tср – средняя длительность дискретного первичного сигнала.

Скорость передачи информации в непрерывном канале

где h(U) – дифференциальная энтропия передаваемого непрерывного сигнала; hпот(U) – энтропия потерь в канале для непрерывного сигнала; Fmax – максимальная частота спектра непрерывного первичного сигнала.

Потери информации определяются вероятностью ошибки Kош в дискретном канале и уровнем помех в непрерывном канале. Естественно, потери уменьшаются с улучшением качества передачи сигналов, т. е. при уменьшении вероятности ошибки и уровня помех. Исследования показывают, что при Рош<10-3 и отношении сигнал/помеха больше 20 дБ потери информации незначительны, составляют доли процента от переданной, поэтому для практических расчетов скорости передачи информации по каналам с хорошим качеством передачи сигналов можно не учитывать потери информации в каналах.

Пропускная способность. Наибольшее значение скорости передачи информации по каналу связи при заданных ограничениях называется пропускной способностью канала (единица измерения – бит/с):

Под заданными ограничениями понимают тип канала (дискретный или непрерывный), характеристики сигналов и помех. Напомним, что канал называют дискретным, на входе и выходе которого имеются дискретные сигналы, непрерывным называется канал, на входе и выходе которого имеются непрерывные сигналы. Пропускная способность дискретного ка-

7

нала Сд.к, по которому передается m дискретных сигналов, вычисляется по формуле

где tи – минимальная длительность сигнала; р – вероятность ошибки сигналов в канале. Из (6.12) следуют частные случаи:

– в дискретном двоичном канале без помех

производится безошибочный прием сигналов в инверсные, т. е. достаточно заменить 0 на 1 и 1 на 0, чтобы правильно восстановить переданный сигнал.

Для непрерывного канала максимальная скорость передачи информации достигается для гауссова канала с постоянными параметрами при условии, что и сигнал имеет нормальное (гауссово) распределение вероятности мгновенных значений при ограниченной средней мощности. Вычисления пропускной способности непрерывного канала производятся, считая, что на его вход подается модулированный сигнал s(u,t). Расчетная формула пропускной способности гауссова канала получена в 1948 г. К. Шенноном и ее называют формулой Шеннона:

8

где Fк – ширина полосы пропускания канала; Pс, Рп – средние мощности сигнала и помехи в полосе частот канала соответственно.

Из (6.15) видно, что пропускная способность непрерывного канала связи пропорциональна ширине полосы частот канала и отношению сигнал/помеха и растет с увеличением Fк и Pс/Pп. Формула указывает на возможность обмена ширины полосы пропускания на мощность сигнала при сохранении пропускной способности. Но, увеличивая ширину полосы пропускания канала, нельзя бесконечно увеличивать пропускную способность. С ростом Fк увеличивается мощность помех, поскольку для белого шума со спектральной плотностью мощности N0 Рп = N0 Fк. Максимальное значение, к которому стремится пропускная способность непрерывного канала с ростом ширины полосы канала, пропорционально отношению средней мощности сигнала к спектральной плотности помехи.

Основная теорема Шеннона. Пропускная способность канала характеризует потенциальные возможности передачи информации. Они раскрываются в фундаментальной теореме теории информации, известной как основная теорема кодирования К. Шеннона. Формулировка ее для дис-

кретного канала следующая: если производительность источника Н′(А) меньше пропускной способности канала С, т. е.

то существует способ кодирования (преобразования сообщения в сигнал на входе) и декодирования (преобразования сигнала в сообщение на выходе канала), при котором вероятность ошибочного декодирования может быть сколь угодно мала. Если же H'(A)≥С, то таких способов не сущест-

вует. Для непрерывных каналов формулировка теоремы такая же, но под ошибкой следует понимать среднеквадратическую разность.

Таким образом, согласно теореме Шеннона, ошибки в канале не являются препятствием для безошибочной передачи информации. Ошибки несколько снижают пропускную способность канала, но если выполняется условие (6.16), то выбором способа кодирования и декодирования все их можно исправить. Однако в доказательстве теоремы, которое здесь из-за сложности не приводится, не указывается конкретный код, исправляющий все ошибки. Доказывается только, что код должен иметь большую разрядность, т. е. кодировать необходимо не отдельные буквы, а, пожалуй, слова или даже фразы. Такие коды являются весьма сложными. До настоящего времени еще не найдены коды, реализующие основное положение теоремы Шеннона: исправляющие все ошибки.

Пропускная способность канала, как предельное значение скорости безошибочной передачи информации, является одной из основных характеристик любого канала. Современные сетевые технологии (SDH, DSL, ATM, LAN) обеспечивают скорости передачи до 10 Гбит/с. Зная пропускную способность канала и информационные характеристики сообщений

9

(первичных сигналов), можно определить, какие сообщения (первичные сигналы) можно передавать по заданному каналу.

6.4. Показатели эффективности систем связи

Под эффективностью в широком смысле понимают степень использования каких-то материалов, средств, ресурсов, времени и т. д. В системах связи основными ресурсами можно считать пропускную способность канала C, ширину полосы частот Fк, мощность сигнала Pс. Для оценки степени их использования профессором А.Г. Зюко было предложено сравнивать их со скоростью передачи информации R. Введенные им коэффициенты эффективности являются важнейшими техническими показателями систем передачи информации.

Наиболее общей оценкой эффективности системы связи является ко-

эффициент использования пропускной способности канала

который называют информационной эффективностью. В реальных каналах скорость передачи информации всегда меньше пропускной способности, поэтому 0 < η < 1.

В системах с ограниченной полосой, например кабельных, важной характеристикой является коэффициент использования ширины полосы частот канала Fк:

который называют частотной эффективностью.

В ряде практических случаев удобной оценкой является коэффициент использования мощности сигнала Pс при спектральной плотности мощности помехи N0:

который называют энергетической эффективностью. Этот коэффициент играет важную роль в системах с ограниченной энергетикой, например, спутниковых.

Рассмотренные коэффициенты эффективности указывают на технические преимущества системы связи. Однако не следует считать, что они полностью определяют целесообразность применения того или иного метода модуляции или кодирования. Часто лучшие по техническим показателям эффективности методы построения систем связи трудны для практической реализации, поэтому при организации систем связи необходимо учитывать также экономические показатели.