Пропускная способность бинарного, симметричного канала

Бинарным дискретным каналом называется канал, по которому передается только два элементарных дискретных символа (т. е. используется двоичный код).

Симметричным дискретным каналом называется канал, в котором вероятности не зависят от передаваемых символов, т. е. вероятности правильной передачи одинаковы (p(x₁)= p(x₂)) и вероятности ошибочной передачи одинаковы (p(y₁ /x₂)= p(y₂/x₁)).

Свойства симметричного канала связи:

1. безусловные энтропии равны

2. условные энтропии равны

3. Канальная матрица со стороны источника и со стороны приемника выглядят одинаково.

4. Сумма вероятностей в каждой строке и в каждом столбце равна единице.

5. Пропускная способность от А к В равна пропускной способности от В к А.

Рассмотрим двоичный дискретный канал, по которому передаются дискретные символы “0” и “1” (m=2). Если передаваемые символы независимы и равновероятны (p(x₁)= p(x₂)=1/2), то сигнал имеет максимальную энтропию (H_max(X)=1), при этом p(1/0) = p(0/1), при этом скорость передачи информации будет максимальна. Если P_ош - вероятность ошибки то 1-Р_ош - вероятность правильного приема. Граф передачи двоичных сигналов по симметричному каналу приведен на рис. 4.2.

p(y₁/ x₁) = 1-Р_ош

x₁ не искажен y₁

искажен p(y₁/x₂) =P_ош

искажен p(y₂/x₁) =P_ош

x₂ не искажен y₂

p(y₂ / x₂)= 1-Р_ош

Рис. 4.2. Диаграмма переходных вероятностей симметричного канала

Условная энтропия для симметричного канала равна

Пропускная способность для двоичного, симметричного канала

Это уравнение Шеннона для симметричного двоичного канала.

Наличие ошибки приводит к уменьшению пропускной способности.

Так при p_ош = 0,01 пропускная способность равна C = 0,9/ = 0,9C_max. Если же p_ош = 0,5, то нарушается всякая корреляция между переданными и принятыми сообщениями, а пропускная способность будет равна нулю.

Пример. Определить скорость передачи по двоичному, симметричному каналу связи , если шумы в канале вносят ошибки, таким образом, что в среднем 4 символа из 100 принимаются неверно (т. е. “1“ вместо “0” и наоборот ).

Решение:

Составим таблицу вероятностей:

p(x₀) = 0,5; p(y₀/ x₀) = 0,96;

p(x₁) = 0,5; p(y₁/ x₀) = 0,04;

p(y₀) = 0,5; p(y₀/ x₁) = 0,04;

p(y₁) = 0,5; p(y₁/ x₁) = 0,96.

Пропускная способность для двоичного, симметричного канала

Избыточность сообщений

Одной из информационных характеристик источника дискретных сообщений является избыточность, которая определяет, какая доля максимально-возможной энтропии не используется источником

,

где - коэффициент сжатия.

Для нахождения максимальной пропускной способности системы связи необходимо уметь определять максимальное количество информации, которое может быть передано за единицу времени. Известно, что это возможно при передаче равновероятных и независимых символов. Реальные коды редко удовлетворяют этому условию, поэтому информационная нагрузка на каждый элемент сообщения обычно меньше той, которую они могли бы переносить. Именно из-за недогруженности сообщений и возникает информационная избыточность.

Различают избыточность естественную и искусственную. Естественная избыточность свойственна первичным алфавитам, а искусственная – для вторичных. Естественную избыточность разделяют на семантическую и статистическую.

Семантическая избыточность заключается в том, что сообщение можно сократить, не изменяя смысла, а затем восстановить содержание. Семантическую избыточность можно устранять различными способами, например, стандартные сообщения можно заменять условными обозначениями (смайлики), таблицами, аббревиатуры, свертывание информации и т.д.

Статистическая избыточность обусловлена неравновероятным распределением качественных признаков первичного алфавита и их взаимозависимостью. Например, для английского алфавита ( 26 символов) максимальное значение энтропии равно 4,7 бит, а при учете взаимосвязи и частоты распределения восьми буквенных сочетаний энтропия уменьшается до 2, 35 бит, а если учесть и статистику следования слов в текстах, то энтропия уменьшится до 2 бит. Таким образом, избыточность английского языка Устраняется статистическая избыточность путем построения оптимальных кодов. В отличие от семантической устранение происходит не в первичном алфавите, а за счет оптимального построения сообщений во вторичном алфавите.

Искусственная избыточность необходима для повышения помехоустойчивости кодов и ее специально вводят в виде дополнительных избыточных символов. Если в коде, в котором символов, информационных символов и избыточных символов, то корректирующая избыточность равна :

абсолютная и относительная .

Избыточность приводит к увеличению времени передачи сообщений, уменьшению скорости передачи информации, излишней загрузки канала, вместе с тем, избыточность необходима для обеспечения достоверности передаваемых данных, т. е. надежности СПД, повышения помехоустойчивости. При этом, применяя специальные коды, использующие избыточность в передаваемых сообщениях, можно обнаружить и исправить ошибки.

Пример 1. Вычислить энтропию источника, выдающего два символа 0 и 1 с вероятностями p(0) = p(1) = 1/m и определить его избыточность.

Решение: Энтропия для случая независимых, равновероятных элементов равна: H(x) = log₂m = log₂2 = 1[дв.ед/симв.]

При этом H(x) = H_max(x) и избыточность равна R = 0.

Пример 2. Вычислить энтропию источника независимых сообщений, выдающего два символа 0 и 1 с вероятностями p(0) = 3/4, p(1) = 1/4.

Решение: Энтропия для случая независимых, не равновероятных элементов равна:

При этом избыточность равна R = 1-0,815=0,185.

Пример 3. Определить количество информации и энтропию сообщения из пяти букв, если число букв в алфавите равно 32 и все сообщения равновероятные.

Решение: Общее число пятибуквенных сообщений равно: N = mⁿ = 32⁵.

Энтропия для равновероятных сообщений равна:

H = I = -log₂ 1/N = log₂32⁵ = 5 log₂32 = 25 бит./симв.