- •Министерство образования и науки Российской Федерации
- •Введение
- •1 Определение информации
- •2 Этапы обращения информации
- •3Измерение информации
- •4 Информационные системы
- •5 Проблемы передачи информации
- •6 Предмет теории информации
- •7 Структура книги
- •1 Количественная оценка информации источников
- •1.1 Дискретный источник
- •1.1.1 Определение меры оценки количества информации
- •1.1.2 Частная взаимная информация дискретных источников сообщений
- •1.1.3 Энтропия дискретного сообщения
- •1.1.4 Условная энтропия дискретных сообщений
- •1.1.5 Энтропия объединенного сообщения
- •1.1.6 Средняя взаимная информация дискретных источников сообщений
- •1.2 Непрерывный источник
- •1.2.1 Собственная информация и энтропия
- •1.2.2 Основные свойства дифференциальной энтропии непрерывного источника
- •1.2.3 Средняя взаимная информация непрерывных источников сообщений
- •1.2.4 Эпсилон-энтропия непрерывных источников сообщений
- •2 Кодирование сообщений источников
- •2.1 Модели дискретных источников сообщений
- •2.2.Общие принципы и основная теорема кодирования дискретных источников сообщений
- •Теорема (о средней длине кодового слова)
- •2.3 Методы эффективного кодирования
- •2.3.1 Метод кодирования источников ШеннонаФано
- •2.3.2 Метод кодирования источников Хаффмена
- •2.4 Предельная условная энтропия дискретных источников сообщений
- •2.5 Информативность непрерывных источников сообщений дискретного времени
- •2.6 Средняя взаимная информация непрерывных источников сообщений непрерывного времени
- •2.7 Квазиобратимое эффективное кодирование непрерывных источников
- •2.8 Эпсилон-энтропия Гауссовского вектора сообщений
- •2.9 Эпсилон - энтропия стационарного Гауссовского процесса дискретного времени
- •Теорема.
- •Помехоустойчивое кодирование
- •3.1.1 Методы повышения верности передачи информации
- •3.1.2 Понятие о корректирующих кодах
- •3.2.1 Построение линейных кодов
- •3.2.2 Обнаружение и исправление ошибок. Декодирующее устройство
- •3.2.3 Примеры линейных кодов
- •3.3 Циклические коды
- •3.3.1 Выбор образующего многочлена
- •3.3.2 Базис циклического кода, формирование кодовых комбинаций
- •3.4 Синдром циклического кода и его свойства
- •3.5 Коды боуза - чоудхури - хоквингема
- •3.6 Коды Абрамсона
- •3.7 Коды Рида — Соломона
- •3.8 Понятие об итерактивных и каскадных кодах
- •3.9 Понятие о непрерывных кодах
- •3.9.1 Цепной код
- •3.9.2 Сверточные коды
- •4 Модели каналов связи
- •4.1 Непрерывный канал
- •Примеры непрерывных каналов:
- •На рис. 4.4 применены следующие обозначения:
- •4.2 Дискретный канал
- •Библиографический список
- •Оглавление
4.2 Дискретный канал
Под дискретным каналом (ДК) понимается совокупность электронных устройств и линии связи (непрерывного канала), при подаче на вход которого дискретного сигнала дискретного времени на выходе также наблюдается дискретный сигнал дискретного времени.

Рис. 4.9Структура дискретного канала
В системах передачи дискретных сообщений выделяют дискретный канал непрерывного времени (рис.4.9), или канал постоянного тока (КПТ) [5].
Рассмотрим диаграммы сигналов на выходе КПТ и на выходе ДК. При этом не будем учитывать, для простоты, задержку сигнала в канале связи. На вход ДК поступает последовательность “единиц” и “нулей” в виде импульсов постоянного тока (рис.4.10). На выходе КПТ в результате действия помех и искажений (линейных и нелинейных) наблюдаются искаженные импульсы. В результате на выходе ДК сигнал принимается с ошибкой, которая проявляется в виде преобразования “1” на временном интервале “в-г” в “0” (рис. 4.10).
Искажения на выходе КПТ принято делить на краевые (t1-t8) и дробления (на интервале “в-г”).

Рис. 4.10Диаграммы сигналов в характерных точках дискретного канала (рис.4.9)
Краевые искажения, в свою очередь, делятся на преобладания, случайные и характеристические.
Преобладания выражаются в том, что элементы одного знака удлиняются (например, “1” на интервалах “д,е,ж”), а другого, соответственно, укорачиваются.
Случайные краевые искажения обусловлены случайным действием помех в канале. При этом величина tiимеет случайные величину и знак.
Характеристические искажения определяются характером передаваемой последо-вательности “единиц” и “нулей”. Они возникают в том случае, если за время следования единичной посылки 0переходной процесс не успевает установиться. Так как передаваемая последовательность имеет случайный характер, то и характеристические искажения будут случайными по времени. При передаче чередующихся элементов (10101010 и т.д.) характеристические искажения отсутствуют.
При дроблении один элемент (длительности 0) превращается в несколько более коротких (дробится). Дробления характеризуются частотой их появления и плот-ностью распределения длительности дробления.
Для уменьшения влияния искажений в КПТ на принимаемый сигнал в УПС осуществляются операции:
принятия решения о том, какой символ был передан в интервале времени 0;
восстановление границ временных интервалов.
Эти операции выполняются в регистрирующем устройстве УПС.
Регистрирующее устройство, обеспечивающее минимальную вероятность неправильного приема символа Рош, называется оптимальным.
Случайный процесс возникновения ошибок в дискретном канале будет полностью описан, если заданы: входной (А) и выходной (Â) алфавиты символов, а также совокупность переходных вероятностей вида Р(â/а), где а=(а1,а2,а3,....аi,...) – произ-вольная последовательность символов входного алфавита, аiА - символ на входе каналов в i-й момент времени;â=(â1â2â3,...,âi,...) соответствующая а последователь-ность символов выходного алфавита,âiÂсимвол на выходе канала вi-й момент времени; р(â/а) - условная вероятность приема последовательностиâпри условии, что передана последовательность а.
Число задаваемых переходных вероятностей с увеличением входных и выходных последовательностей растет. Так, если используется на входе двоичный код (состоящий из двух символов: “1” и “0”) и выходной алфавит равен входному, то при последовательности длины nобщее число задаваемых переходных вероятностей будет равно 22n. Очевидно, что уже при n=20 задание переходных вероятностей в виде таблицы хотя и возможно, но вряд ли целесообразно.
При анализе потока ошибок в дискретном канале используются упрощенные (по сравнению с реальными каналами) модели дискретных каналов, для которых достаточно просто рассчитать переходные вероятности р(â/а) для любых последовательностей конечной длины.
В простейшей модели дискретного канала —дискретном канале без памяти в любой момент вероятность появления символа на выходе дискретного канала зависит только от символа на входе канала для всех пар символов на входе и выходе. Примером дискретного канала без памяти может служить двоичный симметричный канал (ДСК), граф которого изображен на рис.4.11.
Каждый символ последовательности а на входе с некоторой фиксированной вероятностью g воспроизводится на выходе ДСК правильно g=р (0/0)=р(1/1), и с вероятностью Рош=Р(1/0)=Р(0/1)=1-gнеправильно.
Для ДСК легко вычисляется вероятность получения любой последовательности символов на выходе. Например, для последовательности длины 3 имеем

Рис. 4.11Граф переходов в ДСК
Р(000/001)=gg(1-g) = g2Рош.
На практике при приеме последовательности длины “n” часто интересны вероятности отсутствия и наличия в ней одной, двух и так далее ошибок. Для вычисления таких вероятностей обозначим Рn(t) вероятность того, что среди “n” принятых символов имеется t ошибок в любом сочетании, а через Рn*(t) - вероятность одного заданного сочетания ошибок кратности t. Тогда Рn(t) определится как сумма Рn*(t) для всех возможных последовательностей ошибок кратности t. Следовательно:
Pn*(t)=Ptош(1-Рош) n-t, (4.5)
Pn(t)= СtnРn*(t)= СtnPtош(1-Pош) n-t . (4.6)
Для множества дискретных каналов с ошибками, в которых алфавиты на входе и выходе неодинаковы, интерес представляет так называемый стирающий канал, в котором число кодовых символов на выходе на единицу больше числа кодовых символов на входе. Появление дополнительного символа на выходе означает, что переданный символ искажен помехами и не может быть опознан. Таким образом, часть принятой кодовой последовательности оказывается стертой. Граф переходов такого канала приведен на рис.4.12.

Рис.4.12Граф переходов в симметричном канале со стиранием
В этом канале сигнал передается правильно с вероятностью
1-Рош-Р =Р(1/1)=Р(0/0;
передается неправильно (с ошибкой) с вероятностью
Рош=Р(1/0)=Р(0/1)
и “стирается” с вероятностью
Р=Р(С/1)=Р(С/0).
В каналах с памятью каждый символ выходной последовательности зависит как от соответствующего символа на входе, так и от прошлых входных и выходных сигналов. Большинство реальных каналов являются каналами с памятью.
Одна из причин появления памяти - межсимвольная интерференция, возникающая из-за ограничения полосы пропускания канала связи. В этом случае каждый символ на выходе канала частично зависит от нескольких следующих друг за другом символов на входе (зависимость эта определяется импульсной характеристикой канала). Другой причиной могут быть перерывы в канале, длительность которых значительно превышает длительность единичного элемента. В период действия перерыва вероятность неправильного приема резко возрастает и появляется последовательность ошибок, называемая пакетом ошибок.
Различают каналы с памятью по входу и каналы с памятью по выходу. Если выходной символ статистически зависит от входных символов
ak(ti), ak(ti-2), ..., ak(ti-n)...,
то такой канал называется каналом с памятью по входу. Он задается матрицей переходных вероятностей вида:
Р[âj(ti)/ak(ti),ak(ti-1), ..., ak(ti-n) , ...]
, (4.7)
строки которых удовлетворяют условию полноты
М
|
[âj(ti)/ak(ti),ak(ti-1),ak(ti-2),....,ak(ti-n),...]=1,k= |
1,..,К; |
i=1,2,...,N,... (4.8) |
j=1
Теоретически память канала бесконечна. Практически число символов, влияющих на вероятности правильного и ошибочного приема символа, ограничено.
Память канала может быть определена как число символов n, начиная с которого справедливо равенство условных вероятностей
P[âj(ti)/ak(ti),ak(ti-1),...,ak(ti-n),...]=P[âj(ti)/ak(ti),ak(ti-1),...,ak(ti-n+)] (4.9)
для всех 1.
Последовательность входных символов ak(ti-1),ak(ti-2),..,ak(ti-n) можно представить как состояние канала Сi-1в (i-1) момент времени. Тогда канал будет характеризоваться матрицей переходных вероятностейP[âj(ti)/ak(ti),Сi-1] вида
, (4.10)
Если выходной символ âj(ti) статистически зависит от нескольких предыдущих выходных символов, то такой канал называется каналом с памятью по выходу. С учетом представления выходных сигналовâj(ti-1),
âj(ti-2), ...,âj(ti-n) состоянием канала по выходуEi-1в (i-1) момент времени, канал будет характеризоваться матрицей переходных вероятностей
.
(4.11)
Задание канала с памятью с использованием переходных вероятностей вида (4.10) и (4.11) чрезвычайно громоздко, хотя с достаточной точностью моделирует реальные каналы передачи дискретной информации. Так, если для канала с межсимвольной интерференцией, память по выходу ограничивается пятью символами, то число состояний канала будет равно 25= 32.
В общем случае, если память только по выходу или только по входу ограничивается в двоичном канале Nсимволами, то число состояний равно 2 в степениN. Некоторые реальные каналы имеют память в десятки, сотни и даже тысячи символов.
Состояния каналов можно различать по вероятности ошибки в каждом из состояний. Изменения вероятности ошибки можно в свою очередь связать с физическими причинами - появлением перерывов, импульсных помех, замираний и т.д. Такой канал можно задать совокупностью переходных вероятностей вида P[âj(ti),Ci/ak(ti),Ci-1],CiL, гдеL- конечное множество состояний канала.
Если предположить, что имеется статистическая независимость между символом âj(ti) и состояниемCiпри условии, что заданаak(ti) и предыдущее состояниеCi-1, то можно записать
P[âj(ti),Ci/ak(ti),Ci-1]=P[âj(ti)/ak(ti),Ci-1]P[Ci/Ci-1]. (4.13)
В этом случае необходимо задать переходные вероятности для состояний канала P(Ci/Ci-1) и вероятности переходовP[âj(ti)/ak(ti),Ci-1] символов для каждого состояния каналов. Таким образом, канал имеет конечное множество состояний, переходные вероятности для которых не зависят от времени. Ошибки в каждом состоянии возникают независимо с постоянной вероятностью. В этом случае последовательность состояний является простой цепью Маркова.
Определение.Простой цепью Маркова называется случайная последовательность состояний, когда вероятность того или иного состояния в i-й момент полностью определяется состоянием Сi-1 в (i-1)-й момент времени.
Для описания простой цепи Маркова необходимо задать переходные вероятности Р(Сi/Сi-1) того, что система вi-й момент времени перейдет в состояниеCiпри условии, что в (i-1)-й момент она находилась в состоянии Сi-1, и вероятности ошибок в каждом из возможных состояний Рiош. В рассмотренной модели канала с памятью состояние канала статиcтически не зависит от входных и выходных символов. Достоинством такой модели является то, что достаточно большую память канала можно описать относительно малым числом состояний. Увеличивая число состояний, можно более точно описать реальный канал. Однако сложность использования модели в расчетах будет существенно возрастать с увеличением числа состояний.
Простейшей моделью, основанной на применении математического аппарата марковских цепей, является модель источника ошибок, предложенная Гильбертом. Согласно этой модели канал может находиться в двух состояниях (рис.4.15) - хорошем (состояние 1) и плохом (состояние 2). Первое состояние характеризуется отсутствием ошибок. Во втором - ошибки появляются с вероятностью Р2ош.
Если при передаче элемента аiканал находится в состоянии 1, то при передаче следующего элемента аi+1канал будет находиться в том же состоянии с вероятностью Р11 и в состоянии 2- с вероятностью Р12=1-Р11. Если же при передаче элемента аi канал находился в состоянии 2, то при передаче элемента аi+1 он может находиться в том же состоянии с вероятностью Р22 и в состоянии 1 - с вероятностью
Р21 = 1 - Р22 .
Матрицу переходов из состояния в состояние обозначим С:
.
Если Р11 и Р22 достаточно велики, но не равны между собой, то наблюдается тенденция к сохранению возникшего состояния 1 или 2, что имитирует канал с паке-тами ошибок.

Рис. 4.13Диаграммы переходов при описании дискретного канала
На графе рис.4.13 состояния канала изображены в виде кружков. Направленные стрелки обозначают переходы из одного состояния в другое, число на каждой стрелке указывает вероятность перехода.
Для изображенного на рис. 4.13 канала в состоянии 1 ошибки не возникают. В состоянии 2 ошибки возникают с вероятностью 0,4 (рис. 4.14).

Рис.4.14Граф возможных переходов в состоянии 2 (рис.4.13)
Канал, представленный графом на рис. 4.14, имеет тенденцию пребывать в том состоянии, в котором он находится. Большую часть времени канал находится в хорошем состоянии (состояние 1), когда Рош= 0. С вероятностью 10-5канал переходит в плохое состояние, когда около 0,4 элементов на выходе канала будут ошибочными. Состояние 1 длится в среднем в течение приема 105элементов, а состояние 2 -десяти элементов. Вероятность того, что канал в момент передачи данного элемента будет находиться в том или другом состоянии, зависит от состояния, в котором канал находился при передаче предыдущего элемента. Например, вероятность того, что канал будет находиться в момент приема данного элемента в хорошем состоянии, равна (1-10-5), если до этого он находился в плохом состоянии. Вероятность появления того или иного состояния определяется из системы уравнений:
р1+р2 = 1,
р1 = р2р21+р1р11,
Р2 = р2р22+р1р12,
где р1,р2-соответственно вероятности того, что канал находится в состоянии 1 и 2.
![]()
Средняя вероятность ошибки в канале, описываемом моделью Гильберта, определяется выражением
![]()
Среднее число элементов на интервале времени, соответствующем плохому состоянию канала (средняя длина пакета ошибок), определяется по формуле:
L2=
ip2(i)=1/p21+2\p22p21+3p322p21+.....=1/p21
,
где р2(i)=рi-122р21 вероятность того, что возникшее плохое состояние канала будет распространяться наiпереданных элементов.
Аналогично определяется средняя длина интервала между ошибками:
L1=
ip1(i)=1/p12,
где р1(i)= рi-111р12 - вероятность того, что хорошее состояние канала будет длиться в течение времени передачиiэлементов.
Вероятность появления tошибок в кодовой комбинации длинойnэлементов определяется по формуле
рn
(t)=
p(2)(i,n)pn
(t/i),
где р(2)(i,n) - вероятность того, что число элементов в кодовой комбинации, переданных за время плохого состояния канала, равноi:
рn(t/i)=Ctn[р(2)ош] t[1-р(2)ош]i-t- вероятность появленияtошибок в кодовой комбинации при условии, что число элементов кодовой комбинации, переданных за время плохого состояния канала,
равно i.
Предполагая, в первом приближении, что в кодовой комбинации длиной nэлементов возможно появление только одного пакета ошибок, получим:
р(2)(1,n)= р2 р21 рn-311 [2р11+ р21 (n-1)];
p(2)(i,n)= p2 p21 pi-122 pn-i-211 [2p11+(n-i-1) p11], 2=i=n-2;
p(2)(n-1,n)= 2p2 p21 pn-222;
p(2)(n,n)= p2 p22n-1.
Рассмотренная модель описывается тремя параметрами: р(2)ош , р12, р21, которые могут быть найдены экспериментально.
