1.4.3. Избыточность сообщений

Рассмотрим ансамбль U, состоящий из N различных символов: u₁,u₂,…, u_N. Энтропия такого дискретного источника достигает максимального значения H_max(U) = logN, если символы статистически независимы и равновероятны. На практике может оказаться так, что символы, образующие алфавит, нельзя рассматривать как независимые и равновероятные, поэтому для такого источника H(U)<H_max(U)_. Предположим, на выходе такого источника появилось сообщение, состоящее из n символов.. Количество информации, содержащееся в нем

I=n H(U). (1.13)

При использовании алфавита с максимальной энтропией для передачи такого же количества информации потребовалось бы меньшее число символов

I=n_min H_max(U). (1.14)

Приравнивая (1.13) и (1.14), находим

, (1.15)

где µ= H(U)/H_max(U) <1 – коэффициент, характеризующий допустимую степень сжатия сообщений.

Величина χ=1-µ называется избыточностью источника. Последствия от наличия избыточности неоднозначные. С одной стороны, избыточные сообщения требуют дополнительных затрат на передачу (например, увеличивается длительность передачи). С другой стороны, наличие избыточности способствует повышению помехоустойчивости сообщений, подчиняющихся априорно известным условиям (ограничениям), т.к. можно обнаружить и исправить ошибки, приводящие к нарушению этих ограничений.

Для сокращения избыточности на практике применяется кодирование источника дискретных сообщений, заключающееся в преобразовании исходного дискретного сообщения по определенному правилу в последовательность кодовых символов, удовлетворяющую требованиям равновероятности и статистической независимости. Устройство, осуществляющее указанную операцию, называется кодером источника. В случае его использования, оно размещается в структурной схеме, приведенной на рис. 1.2, между источником сообщений и передающим устройством. Соответственно, на приемной стороне на выходе приемного устройства необходимо добавить устройство, которое будет осуществлять обратную операцию перед тем, как сообщение поступит получателю. Такое устройство называется декодером.

1.5. Скорость передачи информации по дискретному каналу. Пропускная способность

Наряду с введенными в разделе 1.3 такими характеристиками, как достоверность и помехоустойчивость, при оценке эффективности систем связи используется ряд других характеристик, рассмотренных ниже.

Технической скоростью V_т называется число элементарных сигналов (символов), передаваемых по каналу в единицу времени. Она зависит от свойств линии связи и быстродействия аппаратуры канала. С учетом возможных различий в длительностях символов

V_т =1/τ_ср,

τ_ср – средняя длительность символа.

Единицей измерения технической скорости служит Бод. 1Бод – скорость, при которой за одну секунду передается один символ.

Скорость передачи сигналов по дискретному каналу устанавливается с учетом ширины F_k полосы пропускания непрерывного канала. Ширина спектра сигнала S*(t) на выходе непрерывного канала не может превышать F_k . Учитывая, что длительность сигнала и ширина его спектра связаны обратно пропорциональной зависимостью, получим (V_т)_max ~ F_k .

Информационная скорость или скорость передачи информации определяется средним количеством информации относительно заданного сообщения, которое передается по каналу в единицу времени. Она зависит как от характеристик данного канала связи, таких как объем алфавита используемых символов, техническая скорость их передачи, статистические свойства помех в линии, так и от вероятностей поступающих на вход символов и их статистической взаимосвязи.

При известной скорости V_т скорость передачи информации W(V_t, U) относительно некоторого сообщения по каналу задается соотношением

W(V_t, U)= V_т·H(U), (1.16)

где H(U) – среднее количество информации, переносимое одним символом.

Для практических применений телекоммуникационных систем важно выяснить до какого предела и каким путем можно повысить скорость передачи информации по конкретному каналу. Предельные возможности канала по передаче сообщений характеризуются его пропускной способностью.

Пропускная способность канала С_д равна максимальной скорости передачи информации по данному каналу, которой можно достигнуть при самых совершенных способах передачи и приема:

С_д=max W(V_t, U)= max{ V_т·H(U) }. (1.17)

Пропускная способность канала, как и скорость передачи информации измеряется числом двоичных единиц информации в секунду- бит/сек.

Пропускная способность канала является характеристикой его самого и не зависит от статистики сигнала.

Если передаваемые символы независимы, то для дискретного канала без помех соотношение (1.17) с учетом (1.8) может быть представлено в виде

С_д=V_т·logN. (1.19)

Каналы без помех можно рассматривать как некую идеализацию реальных каналов. Если мешающим действием помехи пренебречь нельзя, то можно показать, что для дискретных каналов с помехой пропускная способность будет тем меньше, чем больше энтропия источника помехи.