Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория информационных процессов и систем. Учебное пособие
.pdf
6.1. Общие сведения
51
тропия Н(В/А). Эта добавочная энтропия обусловлена только помехами. При
отсутствии помех Н(В/А) = 0 и Н(В)=I(А,В). Кроме того, Н(В/А) = 0 и H(В) =
= H(A).
6.1.2. Производительность источника дискретных сообщений.
Скорость передачи информации
Энтропия дискретного источника, отнесенная к среднему времени
передачи одного символа Т, называется производительностью источника
дискретных сообщений [4].
R0 = Н(А)/Т. (6.12)
Скорость передачи информации равна количеству взаимной инфор-
мации, деленному на среднее время передачи одного символа [4]:
.
Вычислим скорость передачи информации по двоичному симмет-
ричному каналу. На вход канала поступают символы а1 = 0 и а2 = 1 с вероятностями Р(а1) и Р(а2), причем Р(а1)+Р(а2) = 1. На выходе канала присутствуют двоичные символы b1 = 0 и b2 = 1. Вероятность ошибки при передаче
любого символа равна Р. Переходные вероятности [4]:
; ;
вычислим взаимную информацию по формуле (6.11).
Энтропия
,
где
.
Условная энтропия при
.
.
Подставляя Н(В) и Н(B/А) В (6.11), получим
.
Скорость передачи информации определяется по формуле (6.12).
При отсутствии помех р = 0, I(A, B) = 1. Скорость равна 1/Т. При р = 0,5,
1(А, В) = 0, скорость передачи информации равна нулю.
6. Теория передачи и кодирования сообщений
52
6.2. Эффективное кодирование источников дискретных сообщений
Как показано выше, энтропия Н(А) источника дискретных сообщений
определяется априорными вероятностями реализации этих сообщений P(ai),
i = 1,2,..., т, причем
.
Количество информации, доставляемое этим источником, меньше
максимального в
раз.
Относительная разность:
,
где
называется избыточностью источника дискрет-
ных сообщении [4].
Одной из задач кодирования является устранение избыточности сообщения.
Кодирование, обеспечивающее устранение избыточности в закодированном сообщении, называется эффективным [4].
Возможность реализации эффективного кодирования была доказана
К. Шенноном. Теорема о кодировании сообщения при отсутствии помех
утверждает, что минимальное среднее число элементов кодовой последова-
тельности на выходе кодирующего устройства, соответствующее одному
символу дискретного источника, можно сделать сколь угодно близким к
Н(А) [4].
Эффективное кодирование реализуется применением неравномерного
кода, у которого более короткие кодовые комбинации используются для
передачи более вероятных символов и более длинные – для передачи менее
вероятных символов [4].
Часто неравномерный код является двоичным. Примером такого кода
является код Шеннона – Фано.
Построение кода Шеннона – Фано поясняется в табл. 6.1. Сообщения
располагают в таблице по мере убывания их вероятностей. Далее буквы
алфавита ai, разбивают на группы и подгруппы, обеспечивая их равновероятность. Верхней группе присваивается символ "0", а нижней "1". Каждую
из полученных групп, в свою очередь разбивают на две подгруппы с одинаковыми суммарными вероятностями и т.д. Процесс повторяется до тех
пор, пока в каждой подгруппе не останется по одному символу [4].
6.3. Пропускная способность канала связи
53
Таблица 6.1
Пример построения кода Шеннона – Фано
Сооб-
щения
ai
Вероятности
сообщения
P(ai)
Подгруппа
на этапах разбиения
Код
Символов
в кодовой
комбинации
1-й
2-й
3-й
4-й
a
1
a2
a
3
a
4
a
5
a
6
a
7
a
8
0,25
0,25
0,125
0,125
0,0625
0,0625
0,0625
0,0625
0
0
1
0
1
0
1
0
1
00
01
100
101
1100
1101
1110
1111
2
2
3
3
4
4
4
4
0
1
0
1
Вычислим энтропию, используя данные табл. 6.1.
.
Средняя длина двоичной кодовой комбинации
Энтропия, приходящаяся на один элемент двоичной кодовой последовательности [4]: Н(А)/пср = 2,75/2,75 = 1.
Это значение совпадает с максимальной энтропией на выходе двоич-
ного дискретного источника сообщений, которая равна Н
тах
(А) =log2=1.
6.3. Пропускная способность канала связи
6.3.1. Пропускная способность дискретного канала связи
Под пропускной способностью дискретного канала связи C0 понимают
максимальное количество переданной информации [4].
При этом из всего множества дискретных источников пропускную
способность определяет только такой источник, распределение вероятностей Р(А) которого обеспечивает максимальное значение передаваемой
информации [4]:
(6.13)
6. Теория передачи и кодирования сообщений
54
Размерность пропускной способности – бит. Пропускная способность
C0 зависит от энтропии Н(А), т.е. от свойств передаваемого сообщения.
Пропускная способность зависит также от энтропии Н(В), Н(А/В),
Н(В/А), которые определяются как свойствами дискретного канала связи,
так и свойствами передаваемого дискретного сообщения [4].
Пропускную способность канала связи определяют также в расчете на
единицу времени:
, (6.14)
где Т – средняя длительность передачи одного символа (сообщения). Пропускная способность С всегда больше скорости передачи информации по
каналу связи [4].
6.3.2. Пропускная способность непрерывного канала связи
Если канал имеет ограниченную ширину полосы пропускания F, то
сигнал z(t) и шум N(t) можно в соответствии с теоремой Котельникова
представить их выборочными значениями. Число выборочных значений [4]:
.
Пропускная способность непрерывного канала
, (6.15)
где – среднее количество информации о реализации сигнала υ(t)
длительностью Т, которое содержится в принятом сигнале z(t) той же длительности [4].
Максимум количества информации ищут по всем возможным рас-
пределениям непрерывного сигнала υ(t).
Если мощности (дисперсии) сигнала Рс и шума Рш ограничены, то
, (6.16)
Формулу (6.16) называют формулой Шеннона [4]. Пропускная спо-
собность непрерывного канала связи растет с ростом ширины полосы канала
F и отношения сигнал/шум . Одинаковые значения для С можно по-
лучить или изменением F при фиксированном отношении
, или изме-
нением
при фиксированном F. Это означает, что в непрерывном ка-
6.4. Основы теории помехоустойчивого кодирования
55
нале связи возможен обмен ширины полосы на отношение сигнал/шум и
наоборот.
Пропускная способность непрерывного канала неограниченно возрастает с неограниченным ростом полосы F и стремится к предельному
значению:
, (6.17)
где N0 = Pш / F.
6.4. Основы теории помехоустойчивого кодирования
6.4.1. Теорема кодирования для канала с помехами
Теорема, известная в технической литературе как основная теорема
кодирования К. Шеннона, применительно к дискретному источнику формулируется следующим образом: если производительность источника со-
общений Н'(А) меньше пропускной способности канала С, то существует,
по крайней мере, одна процедура кодирования и декодирования, при которой
вероятность ошибочного декодирования и ненадежность Н(А/В) могут
быть сколь угодно малы. Если Н'(А) > С, то такой процедуры не существует [4].
Положения, доказанные Шенноном, оказались неожиданными и расходились с признанными представлениями. В частности, считалось, что для
повышения верности нужно уменьшать скорость передачи сообщения. Однако теорема Шеннона указывает на принципиальную возможность передачи информации со скоростью, сколь угодно близкой к пропускной способности канала и при сколь угодно малой вероятности ошибки [4].
6.4.2. Принципы построения помехоустойчивых кодов
Целью помехоустойчивого кодирования является повышение верности передачи сообщения, которая достигается введением избыточности в
передаваемую информационную кодовую комбинацию. В дальнейшем будем рассматривать в основном коды с основанием 2, как наиболее просто
реализуемые на практике. Такие коды называются двоичными [3].
Рассмотрим передачу двоичной информации по каналу связи
(рис. 6.1). На вход кодирующего устройства поступают информационные
6. Теория передачи и кодирования сообщений
56
кодовые комбинации аn длиной в "k" символов. Их количество равно 2k. В
кодирующем устройстве производится формирование помехоустойчивого
кода добавлением к информационным символам проверочных. В результате
длина помехоустойчивого кода становится равной п. Отсюда число проверочных символов равно (п – k). Количество кодовых комбинаций на выходе
кодирующего устройства при этом остается равным количеству кодовых
комбинаций на его входе, т.е. 2k. Эти кодовые комбинации и называются
разрешенными. Разрешенные кодовые комбинации преобразуются модулятором в сигнал u(t), который передается по линии связи. В демодуляторе
происходит восстановление этих комбинаций. Восстановленные комбинации отличаются от переданных, так как в линии связи присутствует помеха
N(t).
Рис. 6.1. Передача помехоустойчивого кода по каналу связи [4]:
1 – кодирующее устройство, 2 – модулятор, 3 – линия связи,
4 –демодулятор, 5 – декодирующее устройство
Возможны следующие случаи передачи (рис. 6.2) [1].
1. Кодовая комбинация на выходе линии связи
равна кодовой
комбинации на ее входе
. Количество возможных случаев приема равно 2k.
Эти случаи имеют место, когда помеха в линии связи отсутствует.
2. Кодовая комбинация на выходе линии связи
не равна кодовой
комбинации на ее входе, но совпадает с одной из других разрешенных
комбинаций. Число этих возможных случаев равно 2k (2k – 1).
3. Кодовая комбинация на выходе линии связи
, не совпадает ни с
одной разрешенной кодовой комбинацией на ее входе
. Число этих воз-
можных случаев равно 2k (2n – 2k ).
6.4. Основы теории помехоустойчивого кодирования
57
Рис. 6.2. Случаи передачи помехоустойчивого кода по каналу связи
Случаи 2, 3 имеют место тогда, когда в линии связи действует помеха
и некоторые символы входной разрешенной кодовой комбинации принимаются с ошибками. Вместо "1" принимается "0" и наоборот. Входная разрешенная кодовая комбинация в результате этого переходит или в другую
разрешенную комбинацию (случай 2) или в запрещенную (случай 3) [5].
На приемном конце известны все разрешенные кодовые комбинации.
С этими комбинациями можно сравнить принимаемые кодовые комбинации
и на основании этого определить: принадлежит ли принимаемая комбинация к разрешенной или запрещенной. Таким образом решается задача обнаружения ошибок. В системах с обратной связью эта задача является одной
из главных. При ее решении принятая с ошибкой кодовая комбинация для
дальнейшей обработки не передается, а на передатчик посылается сигнал
запроса на повторение ранее переданной комбинации [5].
q-кратной ошибке при передаче кодовой комбинации длиной в
п двоичных символов соответствует принятая кодовая комбинация, у которой на любых позициях число ошибочно принятых символов равно q. На
остальных п–q позициях символы принимаются верно.
Степень отличия переданной и принятой кодовых комбинаций характеризуется вектором ошибки и кодовым расстоянием между ними
(расстоянием Хэмминга). Чтобы получить кодовое расстояние между двумя
двоичными комбинациями, нужно подсчитать число единиц в поразрядной
сумме этих комбинаций по модулю 2 [5].
Например:
10110111
+01001011
11111100
Число единиц равно 6. Кодовое расстояние равно 6.
6. Теория передачи и кодирования сообщений
58
Кратность ошибки, с учетом определения кодового расстояния, есть
не что иное, как кодовое расстояние между переданной и принятой кодовыми комбинациями или вес вектора ошибки, равный сумме единиц кодовой комбинации этого вектора [5].
Минимальное кодовое расстояние, взятое по всем парам разрешенных
кодовых комбинаций, называется минимальным кодовым расстоянием.
Обозначим его буквой d.
Обнаруживающая способность кода характеризуется следующей
теоремой [5].
Если код имеет d > 1 и используется декодирование по методу обнаружения ошибок, то все ошибки кратностью q < d обнаруживаются.
Что же касается ошибок кратности q ≥ d, то одни из них обнаруживаются, а другие нет [5].
Условие обнаружения ошибок кратности q можно записать в виде
q ≥ d + 1. (6.18)
Можно найти вероятность необнаруженной ошибки для двоичного
симметричного дискретного канала без памяти, считая, что ошибки в приеме символов являются независимыми:
, (6.19)
где р – вероятность ошибочного приема одного символа.
Из (6.19) следует, что ошибка обнаруживается при q ≤ d – 1 и не обнаруживается при q ≥ d. Это позволяет определить нижний предел суммы.
Рассмотрим процесс исправления ошибок в симметричном канале без
памяти [1, 5]. При построении кода все множество принимаемых последовательностей длиной п разбивается на т непересекающихся подмножеств
M1,Mг,...,Mт, где т – число разрешенных кодовых комбинаций. При приеме
комбинации ее сравнивают с комбинациями указанных подмножеств и таким образом определяют, к какому из подмножеств принадлежит принятая
кодовая комбинация.
Очевидно, что при таком правиле декодирования будут исправляться
все ошибки, если принимаемые кодовые комбинации не выводятся помехами за пределы указанных подмножеств.
Для двоичного симметричного канала без памяти справедлива следующая теорема, определяющая исправляющую способность кода.
6.4. Основы теории помехоустойчивого кодирования
59
Если код имеет d > 2 и используется декодирование с исправлением
ошибок по наименьшему расстоянию, то все ошибки кратностью q < d/2
исправляются. Что же касается ошибок большей кратности, то одни из
них исправляются, а другие нет [5].
Условие исправления ошибок записывается в виде: d ≥ 2q+1.
Вероятность ошибочного декодирования при коррекции ошибок записывается в виде
. (6. 20)
Поясним процесс разбиения множества кодовых комбинаций. Пусть
длина двоичных кодовых комбинаций п = 3, а минимальное кодовое расстояние d = 1. Разрешенные кодовые комбинации образуют следующее
множество: 000, 001, 010, 011, 100, 101, 110, 111. Любая одиночная ошибка
при приеме одной из этих кодовых комбинаций трансформирует ее в другую
разрешенную комбинацию. Это случай безызбыточного кода, не обладающего обнаруживающей и корректирующей способностью [4].
Если d = 2, то ни одна из разрешенных комбинаций при одиночной
ошибке не переходит в другую.
Например, разрешенные комбинации 000, 011, 101, 110, а запрещенные 001, 010, 100, 111. Этот код обнаруживает одиночные ошибки.
Для их исправления нужно обеспечить непересекаемость подмножеств из запрещенных комбинаций. Для этого нужно обеспечить d = 3.
Разрешенные комбинации 000, 111. Запрещенные комбинации 001,
010, 100 образуют 1-е подмножество M1. Эти комбинации получаются в
результате искажений символов разрешенной комбинации 000. Запрещенные комбинации 011, 101, 110 образуют 2-е подмножество M2. Они получаются при искажениях символов разрешенной кодовой комбинации 111.
Отметим одно важное свойство, с которым мы столкнулись при рассмотрении данного примера. Оно заключается в следующем. С уменьшением числа разрешенных кодовых комбинаций кодовое расстояние между
ними может увеличиваться, что позволяет сначала решить задачу обнаружения при d = 2, а затем и задачу исправления ошибок при d = 3.
Отмеченное свойство справедливо для любой длины кода п. Поэтому,
если длина п задана, то можно получить любое число d, не превышающее п,
уменьшением числа разрешенных кодовых комбинаций [4].
6. Теория передачи и кодирования сообщений
60
Из всевозможных задач помехоустойчивого кодирования главной
является задача поиска наилучшего (оптимального) кода. Она формулируется следующим образом: при заданных т и п найти код, имеющий
наибольшее d.
6.4.3. Классификация помехоустойчивых кодов
Помехоустойчивые коды делятся на два больших класса: блочные и
непрерывные. В блочных процедура кодирования заключается в сопостав-
лении любой буквы алфавита дискретного источника (или последовательности из k символов, соответствующей этой букве), блоку из и символов.
Длина блока может быть как постоянной, так и переменной [4]. При постоянной длине коды называются равномерными. Коды с переменной длиной называются неравномерными. Если символы кодовой последовательности разделяются на информационные и проверочные, то такие блочные
коды называются разделимыми. Разделимые коды длиной в п символов, из
которых "k" символов являются информационными, обозначаются как
(п, k). У неразделимых кодов их символы нельзя разделить на информаци-
онные и проверочные. Разделимые коды делятся на линейные и нелинейные.
Линейными называются такие коды, у которых поразрядная сумма по
модулю 2 любых двух кодовых комбинаций (кодовых слов) также является
комбинацией этого же кода [5].
Если первые k символов любой кодовой комбинации являются информационными, а остальные (п – k) – проверочными, то такой линейный
код называется систематическим [5]. Примером простого линейного систематического кода является код (п, п – 1), который содержит один проверочный символ. Этот код является кодом с проверкой на четность и обнаруживает ошибки нечетной кратности.
К линейным относятся циклические коды, используемые для обнаружения и исправления ошибок. Разновидностями циклических кодов являются: коды Хэмминга, Боуза – Чоудхури – Хоквингема (БЧХ-коды) и др.
[4].
К нелинейным относится код Бергера, проверочные символы которого
представляют двоичную запись числа единиц в информационной кодовой
комбинации.
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]