3.3 Сжатие и помехоустойчивое кодирование сообщений как средство реализации кодирования укрупнением

Первая теорема считается основной теоремой Шеннона. Раскрытие физического смысла, которой дает возможность использовать ее в практических целях.

Если избыточность, кроме неравномерности априорного распределения, обусловлена также и коррелированностью алфавита источника, то следует кодировать не каждую букву, а блоки из нескольких букв, поскольку связь между блоками с увеличением их длины быстро затухает. Такое кодирование блоками Шеннон назвал кодированием укрупнением.

Коды, предназначенные для сокращения избыточности источника, получили название статистических кодов.

Кодирование укрупнением – это алгоритм, по которому с целью уменьшения вероятности ошибки в передающем устройстве системы передачи информации кодируется не одна буква алфавита источника, а блок из нескольких букв, несущий K бит информации, а в приемнике выносится решение сразу о всем блоке, т.е. решение по множеству из N=2^k сообщений. Под буквой следует понимать двоичный сигнал, а под длиной блока – количество этих сигналов в блоке. Кодирование укрупнением реализуется при помощи специальных кодов с избыточностью, называемых помехоустойчивыми кодами.

Здесь для устремления вероятности ошибки к нулю необходимо обязательное выполнение условия:

, (3.6)

Т.Е. Условия затрат удельной энергии не меньше некоторого критического значения. Иначе говоря, производится выбор способа кодирования, при котором будет выполнено это пороговое условие.

При удлинении блока растут расстояния между сигналами, что приводит к уменьшению вероятности ошибки. Но при этом одновременно увеличивается и общее число сигналов N=2^k, т.е. растет число "соседей" каждого сигнала, а это может привести к увеличению вероятности ошибки. Действительно, вероятность ошибочного приема j-го сообщения равна сумме вероятностей перехода (трансформации) этого сообщения

(3.7)

где N-1=2^k-1 – число "соседей" сигнала, несущего j-ое сообщение, p_ij - вероятность перехода j-го сообщения в i-ое.

Удлинение блока ведет, с одной стороны, к уменьшению каждой вероятности p_ij, что естественно, в конечном счете, может привести к снижению полной вероятности ошибки. С другой стороны, удлинение блока ведет к росту числа слагаемых в сумме (3.7), что, в конечном счете, может привести к росту полной вероятности ошибки. Иными словами, действуют две причины с прямо противоположными результатами, и конечный эффект будет определяться тем, какая из причин превалирует. Смысл выполнения условия (I’<C) состоит в том, что если это неравенство имеет место, то первая причина, рост расстояний, превалирует над второй, и наоборот. Именно этим объясняется наличие при кодировании укрупнением порогового эффекта. И о наличии этого эффекта следует всегда помнить, ибо при невыполнении этого условия система передачи информации резко снизит свою помехоустойчивость и может стать хуже (причем значительно), чем при отсутствии помехоустойчивого кодирования.

Каким образом влияет увеличение длины блока на качество приема сообщения?

Основное, что необходимо отметить, это "задержка в доставке информации". Суть ее заключается в том, что при кодировании укрупнением приемник не может выдать первую букву блока получателю сообщений ранее, чем будет получена последняя буква этого блока. Это следует из самой сути принципа, при котором выносится решение сразу по всему блоку, а не побуквенно (задержка при этом для всех букв неодинакова). Т.е. происходи "задержка в доставке" информации.