Указания по выполнению контрольной работы по дисциплине «Теория информации». Учебно-методическое пособие
.pdf8.Словарь содержит строку «abbbасас», буфер – «acb». В словаре ищется подстрока, максимально совпадающая с началом буфера. Такая подстрока имеется в словаре, длина совпадающей подстроки 2. Поэтому в качестве кода передается пара (1,<4,2>), где бит 1 – признак, что подстрока найдена в словаре, 4 – номер символа словаря, с которого начинается найденная подстрока, 2 – длина найденной строки в словаре. Окно сдвигается на два закодированных символов вправо.
9.Словарь содержит строку «abbbасасac», буфер – «b». В словаре ищется подстрока, максимально совпадающая с началом буфера. Такая подстрока имеется в словаре, длина совпадающей подстроки 1. Поэтому в качестве кода передается пара (1,<1,1>), где бит 1 – признак, что подстрока найдена в словаре, 1 – номер символа словаря, с которого начинается найденная подстрока, 1 – длина найденной строки в словаре. Окно сдвигается на один закодированный символ вправо. Процесс кодирования заканчивается, поскольку закончилась кодируемая строка.
Определим длину закодированной последовательности. В случаях, когда в буфере появляется символ, которого нет в словаре (шаги 1,2,6), кодер выдает двоичный код длины 3 (1 бит как флаг и 2 бита для кода символа, если считать что всего 4 различных символов в алфавите), на остальных шагах длина кода одинакова и составляет 6 бит (1 бит как флаг, 3 бита для представления местоположения начала совпадающей части буфера и словаря, 2 бита для длины подстроки). Таким образом, в рассмотренном выше примере общая длина кодовой последовательности составляет 45 бит.
Алгоритмы LZ77 и LZSS очень похожи и обладают похожими недостат-
ками:
•невозможность кодирования подстрок, отстоящих друг от друга на расстоянии, большем длины словаря;
•длина подстроки, которую можно закодировать, ограничена размером буфера;
•увеличение размера словаря и буфера приводит к снижению эффективности кодирования и резкому увеличению времени работы кодера.
Класс словарных кодов LZ78
Использование скользящего окна в качестве словаря в словарных методах группы LZ77 обладает рядом неудобств. Такой словарь содержит очень небольшое количество словарных сочетаний, а увеличение длины окна приводит к резкому повышению трудоемкости поиска подстроки в словаре и увеличению кодовых слов. Поэтому в словарных методах группы LZ78 предложен другой подход в организации словаря. Алгоритмы этой группы не используют скользящего окна, а для хранения слов используется адаптивный внешний словарь (массив или список), заполняющийся в процессе кодирования.
21
Рассмотрим словарный метод LZ78 с использованием адаптивного словаря, предложенный Лемпелом и Зивом в 1978 г. Кодер считывает символы исходного сообщения и проверяет наличие считанной строки S в словаре. Под словарь заранее резервируется область памяти, при этом в процессе кодирования объем словаря не меняется. Будем считать, что словарь может содержать не более N строк, каждая строка в словаре имеет уникальный индекс. После обнаружения максимально длинного совпадения кодируемой строки и словаря кодер выдает двоичный код, состоящий из индекса строки S в словаре и кода символа s, который следует за строкой S во входном потоке. Затем в словарь вставляется новое слово, которое представляет собой конкатенацию слова S и символа s. Если словарь уже заполнен, то из него предварительно удаляют менее всех используемую в сравнениях строку.
Пример. Рассмотрим процесс кодирования фразы «abbbacacacb» алгоритмом LZ78.
Пусть размер словаря N = 16 |
строк. Состояние словаря приведено в таблице 7. |
Таблица 7 – Кодирование алгоритмом LZ78 последовательности «abbbacacacb»
№ |
Словарь |
|
Код LZ78 |
|
|
|
|
0 |
Пустая |
|
-- |
строка |
|
||
|
|
|
|
1 |
a |
|
<0,’a’> |
|
|
|
|
2 |
b |
|
<0,’b’> |
|
|
|
|
3 |
bb |
|
<2,’b’> |
|
|
|
|
4 |
ac |
|
<1,’c’> |
|
|
|
|
5 |
aca |
|
<4,’a’> |
|
|
|
|
6 |
c |
|
<0,’c’> |
|
|
|
|
7 |
|
|
<2,’eos’> |
|
|
|
|
8 |
|
|
|
|
|
|
|
9 |
|
|
|
|
|
|
|
10 |
|
|
|
|
|
|
|
11 |
|
|
|
|
|
|
|
12 |
|
|
|
|
|
|
|
13 |
|
|
|
|
|
|
|
14 |
|
|
|
|
|
|
|
15 |
|
|
|
|
|
|
|
|
|
|
|
|
|
22 |
|
1.Перед кодированием словарь содержит только пустую строку, которая не содержит символов и имеет индекс 0 в словаре. Наличие пустой строки необходимо, чтобы кодер мог выдать код в случае, если входной поток не содержит совпадений со словарем. Кодер считывает последовательно символы кодируемой фразы и проверяет наличие считанного слова в словаре. После считывания символа ‘а’ кодер не обнаруживает этот символ в словаре и выдает код <0,’а’> (0 – номер совпадающей части строки в словаре, т.е. номер пустой строки, ’а’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘а’ с индексом 1.
2.Далее кодирование продолжается со второго символа входного потока. Кодер считывает символ ‘b’, не обнаруживает совпадения в словаре и выдает код <0,’b’> (0 – номер совпадающей части строки в словаре, т.е. номер пустой строки, ’b’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘b’ с индексом 2.
3.Далее кодирование продолжается с третьего символа входного потока. Кодер считывает символ ‘b’, обнаруживает совпадение со строкой с индексом 2 словаря, при этом более длинного совпадения со словарем нет. Кодер выдает код <2,’b’> (2 – номер совпадающей части строки ‘b’ в словаре, ’b’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘bb’ с индексом 3.
4.Далее кодирование продолжается с пятого символа входного потока, поскольку на предыдущем шаге было закодировано 2 символа. Кодер считывает символ ‘a’, и поскольку такая строка уже имеется в словаре, то кодер продолжает считывать символы из входного потока, пока не считает строку, не содержащуюся в словаре. Строка ‘ac’ не обнаруживается в словаре, и кодер выдает код <1,’c’> (1 – номер совпадающей части строки в словаре, т.е. номер строки ’a’, ’c’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘ac’ с индексом 4.
5.Далее кодирование продолжается с седьмого символа входного потока, поскольку на предыдущем шаге было закодировано 2 символа. Кодер считывает символ ‘a’, и поскольку такая строка уже имеется в словаре, то кодер продолжает считывать символы из входного потока, пока не считает строку, не содержащуюся в словаре. Строка ‘acа’ не обнаруживается в словаре, и кодер выдает код <4,’а’> (4 – номер совпадающей части строки в словаре, т.е. номер строки ’aс’, ’а’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘acа’ с индексом 5.
6.Далее кодирование продолжается с десятого символа входного потока, поскольку на предыдущем шаге было закодировано три символа. Кодер считывает символ ‘c’, не обнаруживает совпадения в словаре и выдает код <0,’c’> (0
23
– номер совпадающей части строки в словаре, т.е. номер пустой строки, ’c’ – код символа, который следует за совпадающей частью). После этого в словарь помещается строка ‘c’ с индексом 6.
7. Далее кодирование продолжается с одиннадцатого символа входного потока. Кодер считывает символ ‘b’, и выдает код <2, eos> (2 – номер совпадающей части строки в словаре, т.е. номер ’b’, eos – код спецсимвола окончания строки). После этого процесс кодирования завершается.
Как нетрудно видеть, длина кодового слова на каждом шаге кодирования постоянная и определяется только объемом адаптивного словаря и количеством бит для представления символов исходного текста. В данном примере длина кода на каждом шаге алгоритма 12 бит (4 бита определяют индекс совпадающей части в словаре, 8 бит – длина кода символа, если использовать ASCII кодировку), и общая длина кодовой последовательности 84 бит. Конечно, степень сжатия кажется не впечатляющей, объем закодированного сообщения всего на 4 бита меньше, чем исходная строка. Однако при кодировании длинных сообщений все реже случаются ситуации, когда нет совпадений входной строки со словарем и степень сжатия значительно увеличивается.
При декодировании декодер считывает из потока биты, которые определяют номер строки в словаре, символы этой строки передаются на выход декодера. Следующие 8 бит определяют код символа, который следует за строкой из словаря. После этого декодированная строка добавляется в словарь и процесс декодирования повторяется.
Алгоритм LZW на основе словарного кода LZ78 был предложен Т. Уэлчем (Terry Welch) в 1984 г. Поскольку строки, состоящие из одиночных символов сообщения, рано или поздно все равно попадают в адаптивный словарь, то Т. Уэлч предложил еще до кодирования инициализировать словарь всеми возможными односимвольными строками (обычно 256 символов). Объем словаря при этом должен быть достаточно большим, чтобы вместить все односимвольные строки и строки, возникающие в процессе кодирования. Далее, просматривая входной поток, кодер генерирует код, состоящий из номера строки S, которая максимально совпадает с фрагментом кодируемого сообщения, а в словарь добавляется новая, ранее не встречаемая строка Ss, где s – символ, следующий за подстрокой S в кодируемой строке. Если словарь уже заполнен, то из него предварительно удаляют менее всех используемую в сравнениях строку либо все слова, отличающиеся от одиночного символа.
Как и в алгоритме LZ78, длина получаемых кодов на каждом шаге алгоритма LZW постоянна и зависит только от размера словаря (округленный двоичный логарифм размера словаря).
Пример. Рассмотрим процесс кодирования фразы «abbbacacacb» алгоритмом LZW. Пусть размер словаря N = 512 строк. Состояние словаря приведено в таблице 8.
24
Таблица 8 – Кодирование алгоритмом LZW последовательности «abbbacacacb»
№ |
Словарь |
Код LZW |
0-255 |
ASCII |
-- |
|
|
|
256 |
ab |
индекс ‘a’ |
|
|
|
257 |
bb |
индекс‘b’ |
|
|
|
258 |
bba |
257 |
|
|
|
259 |
ac |
индекс ‘a’ |
|
|
|
260 |
ca |
индекс ‘c’ |
|
|
|
261 |
аса |
259 |
|
|
|
262 |
cb |
индекс ‘c’ |
|
|
|
263 |
|
|
|
|
|
264 |
|
|
|
|
|
… |
|
|
|
|
|
511 |
|
|
|
|
|
1.Перед кодированием словарь инициализирован ASCII кодами символов, каждая односимвольная строка имеет в словаре индекс равный ASCII-коду символа, под индекс достаточно выделить 9 бит при объеме словаря 512.
2.Кодер считывает последовательно символы кодируемой фразы и проверяет наличие считанного слова в словаре. После считывания строки ‘ab’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’a’. После этого в словарь помещается строка ‘ab’ с индексом 256.
3.Далее кодер продолжает работу со второго символа входного потока ‘b’. После считывания строки ‘bb’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’b’, далее в словарь помещается строка ‘bb’ с индексом 257.
4.Кодер продолжает работу с третьего символа входного потока ‘b’. После считывания строки ‘bba’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’bb’ (номер 257). После этого в словарь помещается строка ‘bba’ с индексом 258.
5.Далее кодер продолжает работу с пятого символа входной строки ‘a’. После считывания строки ‘ac’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’a’, а в словарь помещается строка ‘ac’ с индексом 259.
25
6.Кодер продолжает работу с шестого символа ‘с’. После считывания строки ‘са’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ‘c’, в словарь помещается строка ‘ca’ с индексом 260.
7.Кодер продолжает работу с седьмого символа входного потока ‘а’. После считывания строки ‘аса’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’ас’ (номер 259). После этого в словарь помещается строка ‘аса’ с индексом 261.
8.Кодер продолжает работу с десятого символа входного потока ‘с’. После считывания строки ‘сb’ кодер не обнаруживает этой строки в словаре и выдает в качестве кода номер совпадающей части строки ’с’, в словарь помещается строка ‘cb’ с индексом 262.
Определим длину закодированной строки в битах. На каждом шаге кодирования кодер выдает двоичный код длины 9, поскольку длина кода – это минимальное количество бит для однозначного кодирования всех возможных индексов словаря. Всего шагов кодирования – 7, а общая длина кодовой последовательности 63 бит. Видно, что произошло сжатие последовательности даже небольшой длины (длина исходной последовательности 88 в 8-битной кодировке). При кодировании длинных входных потоков следует ожидать улучшения степени сжатия, поскольку в словарь будут попадать более длинные подстроки, заполняя словарь. К недостаткам метода LZW можно отнести ограниченность объема адаптивного словаря, в определенный момент словарь обязательно будет заполнен и для дальнейшего кодирования необходимо освобождать.
Процесс декодирования похож на процесс кодирования. Перед началом декодирования декодер имеет словарь, инициализированный всеми возможными односимвольными строками. Далее при декодировании декодер считывает из потока фиксированное количество битов равное длине кода, которые определяют номер строки в словаре, символы этой строки передаются на выход декодера.
26
Задача 3
Определить пропускную способность канала связи, по которому передаются сигналы xi . Помехи в канале определяются канальной матрицей 
P( y j / xi )
, т.е. набором вероятностей искажения сигнала xi на сигнал y j . За секунду по кана-
лу связи может быть передано L = 10 сигналов. Конкретный вид канальной матрицы определяется числом v3 в таблице 1. (4б)
Таблица 9 – Выбор канальной матрицы
v3
1
2
3
4
5
6
7
8
Канальная матрица |
P( y |
j |
/ x |
i |
) |
|||||
|
|
|
|
|
|
|
|
|
||
|
0,2 |
0,8 |
0 |
|
|
|
|
|
|
|
|
0 |
0,2 |
0,8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,8 |
0 |
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,4 |
0,3 |
0,3 |
|
|
|
|
|
|
|
|
0,3 |
0,4 |
0,3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,3 |
0,3 |
0,4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,7 |
0,3 |
0 |
|
|
|
|
|
|
|
|
0 |
0,7 |
0,3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,3 |
0 |
0,7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,4 |
0,4 |
0,1 |
|
0,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,1 |
0,1 |
0,4 |
|
0,4 |
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,4 |
0,6 |
0 |
|
|
|
|
|
|
|
|
0 |
0,4 |
0,6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,6 |
0 |
0,4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,2 |
0,8 |
0 |
|
|
|
|
|
|
|
|
0 |
0,2 |
0,8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,8 |
0 |
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,4 |
0,3 |
0,3 |
|
|
|
|
|
|
|
|
0,3 |
0,4 |
0,3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,3 |
0,3 |
0,4 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,7 |
0,3 |
0 |
|
|
|
|
|
|
|
|
0 |
0,7 |
0,3 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
0,3 |
0 |
0,7 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
v3
11
12
13
14
15
16
17
18
Канальная матрица |
P( y |
j |
/ x |
) |
|||||||
|
|
|
|
|
|
|
|
|
i |
|
|
|
0,6 |
0,2 |
0,2 |
|
|
|
|
|
|
|
|
|
0,2 |
0,6 |
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,2 |
0,2 |
0,6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
1/ 3 |
1/ 3 |
1/ 6 |
1/ 6 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1/ 6 |
1/ 3 |
1/ 3 |
|
|
|
|
|||
1/ 6 |
|
|
|
|
|||||||
|
0,8 |
0,1 |
0,1 |
|
|
|
|
|
|
|
|
|
0,1 |
0,8 |
0,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,1 |
0,1 |
0,8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,4 |
0,4 |
0,1 |
0,1 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
0,1 |
0,1 |
0,4 |
0,4 |
|
|
|
|
|
||
|
|
|
|
|
|
||||||
|
0,3 |
0,35 0,35 |
|
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
0,35 |
0,3 |
0,35 |
|
|
|
|
|
|||
|
0,35 |
0,35 |
0,3 |
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|||||
|
0,6 |
0,2 |
0,2 |
|
|
|
|
|
|
|
|
|
0,2 |
0,6 |
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,2 |
0,2 |
0,6 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
1/ 3 |
1/ 3 |
1/ 6 |
1/ 6 |
|
|
|
|
||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1/ 6 |
1/ 3 |
1/ 3 |
|
|
|
|
|||
1/ 6 |
|
|
|
|
|||||||
|
0,8 |
0,1 |
0,1 |
|
|
|
|
|
|
|
|
|
0,1 |
0,8 |
0,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
0,1 |
0,1 |
0,8 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
27
9 |
|
0,2 |
0,4 |
0,4 |
|
|
|
19 |
|
0,4 |
0,4 |
0,1 |
0,1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0,4 |
0,2 |
0,4 |
|
|
|
|
|
0,1 |
0,1 |
0,4 |
0,4 |
|
|
|
|
|
|
|
|||||||||
|
|
0,4 |
0,4 |
0,2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
10 |
1/ 3 |
1/ 3 |
1/ 6 |
1/ 6 |
|
20 |
|
0,3 |
0,35 |
0,35 |
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1/ 6 |
1/ 3 |
1/ 3 |
|
|
|
0,35 |
0,3 |
0,35 |
|
||
|
1/ 6 |
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
0,35 |
0,35 |
|
|
|
|
|
|
|
|
|
|
|
|
|
0,3 |
|
|||
Необходимый теоретический материал для решения задачи 3
Согласно принятой в теории информации модели передачи сигналов источник без памяти X с алфавитом {x1 , x2 ,...xm } порождает сообщение, которое
затем передается по каналу связи получателю. Помехи, которые неизменно возникают в канале связи, вносят искажения в передаваемое сообщение. Таким образом, получатель принимает сообщение, состоящее из символов алфавита {y1 , y2 ,...ym }. Под искажениями в данном издании понимается замещение одно-
го символа другим, искажения типа «пропадания/вставки» рассматриваться не будут. Для полного описания характера искажений в канале связи или модели канала связи с помехами необходимо задать весь набор условных вероятностей
P( y |
j |
|
/
x |
) |
i |
|
, т.е. матрицы вероятностей приема получателем символа
y |
j |
|
при
условии передачи источником символа
x |
i |
|
при всех
i,
j
=1,2,...m
. Графическое
изображение каналов связи без помех и с помехами приведено на рисунках 2 и
3.
|
p(y1 |
/ x )=1 |
|
|
|
x |
|
y1 |
|||
|
1 |
|
|||
1 |
|
|
|
|
|
|
p(y2 |
/ x )=1 |
|
|
|
x |
|
y2 |
|||
|
2 |
|
|||
2 |
|
|
|
|
|
|
p(y3 |
/ x )=1 |
|
|
|
x |
|
y3 |
|||
|
3 |
|
|||
3 |
|
|
|
|
|
|
p(ym/x )=1 |
|
|||
xm |
ym |
||||
|
m |
||||
|
|
|
|||
|
|
|
|
|
|
Рисунок 2 – Модель канала без шума
28
|
|
p(y1 / x ) |
|
|
|
|
|
x1 |
|
|
|
|
y1 |
||
|
|
1 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
x2 |
|
p(y2 |
/ x ) |
p(y /x |
) |
y2 |
|
|
|
|
|||||
|
|
|
2 |
2 |
m |
|
|
|
|
|
|
|
|
|
|
|
|
p(y3 / x ) |
|
|
|
|
|
x3 |
|
|
|
|
y3 |
||
|
|
3 |
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
p(ym/x ) |
|
||
|
|
|
|
|
|||
|
|
|
|
ym |
|||
xm |
|
|
|
1 |
|
||
p(ym/x ) |
|
|
|
|
|||
|
|
|
|
|
|
||
|
|
|
|
|
|
||
|
|
|
|
|
|
||
|
|
|
m |
|
|
|
|
|
Рисунок 3 – Модель канала с шумом |
|
|||||
Вероятности приема искаженных символов
y |
j |
|
можно рассчитать по формуле
полной вероятности
m
p( y j ) = p(xi )p( y j i=1
/
x |
i |
|
)
. Используя полученные вероят-
ности
y
j
, можно вычислить общее количество полученной информации
H (Y )
.
Количество информации, которое несет символ на выходе канала при условии,
что на входе был символ |
xk |
определяется частной условной энтропией |
m
H (Y / xk ) = j=1
p( y |
j |
|
/ x |
k |
) log p( y |
j |
|
|
/
x |
k |
|
)
. Усредняя величины
H (Y / x |
) |
k |
|
по вероят-
ностям p(xk ) получим величину
m
H (Y / X ) = p(xk )H (Y k =1
/
x |
k |
|
)
,
(9)
которая показывает влияние помех в канале связи или на количество потерянной информации сообщения источника на выходе канала. Среднее количество полезной информации, принятой приемником за один сигнал, определяет вели-
чина полной взаимной информации
Величину
I (X ,Y ) = H(Y ) − H(Y / X ) = H(X ) − H(X /Y ) |
(10) |
H(Y / X ) называют потерей информации, |
обусловленной воздей- |
ствием помех на сообщения, передаваемые по каналу связи, а H(X /Y ) – нена-
дежностью канала связи.
Пример. Модель канала с помехами представлена на рис. 4. Найти среднее количество информации, переданное одним сигналом по такому каналу.
29
Рисунок 4 – Модель канала с помехами
Решение.
Найдем вероятности приема искаженных символов
y
j
, которые можно рассчи-
тать |
|
|
p( y |
j |
) = |
|
|
|
по |
|
|
p(x ) p( y |
j |
/ x ) + |
|
1 |
|
1 |
|
формуле
p(x |
2 |
) p( y |
j |
/ x |
2 |
) + |
|
|
|
|
p(x |
3 |
) |
|
|
p(
полной y j / x3 ) ,
вероятности
j =1,2,3
Тогда
p( y ) = |
1 |
1+ |
1 |
|
1 |
+ |
1 |
0 |
= 0,375 |
|
|
|
|
||||||
1 |
4 |
|
2 |
|
4 |
|
4 |
|
|
|
|
|
|
|
|
p( y |
|
) = |
1 |
0 + |
1 |
|
1 |
+ |
1 |
0 = 0,25 |
||||
2 |
4 |
2 |
2 |
4 |
||||||||||
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
||||||||
p( y3 ) = |
1 |
|
0 + |
1 |
|
|
1 |
+ |
1 |
|
1 = 0,375 |
|||
4 |
|
2 |
|
4 |
4 |
|
||||||||
|
|
|
|
|
|
|
|
|
|
|||||
Используя вычисленные вероятности, получим среднее количество полученной информации H (Y ) = H (0,375;0,25;0,375) =1,56 бит на один входной
символ. Среднее количество информации щее в канал связи от источника H(X ) = H
на один входной символ, поступаю-
(0,25;0,5;0,25) =1,5.
Количество информации, которое несет символ
что на |
|
входе |
был |
символ |
xk |
, |
определяется |
|||||||
H (Y / x |
k |
) = |
3 |
p( y |
j |
/ x |
k |
) log p( y |
j |
/ x |
k |
) , |
H (Y / x ) |
|
|
|
|
|
|
|
|
|
|
1 |
|||||
j=1
на выходе канала при условии, частной условной энтропией
= 0 |
бит, |
H (Y / x2 ) =1,5 |
бит, |
H (Y /
но (9)
x3 ) = 0 бит. Усредняя величины H (Y / xk ) получим величину H(Y / X ) = 0,75 бит,
по вероятностям |
p(xk ) |
соглас- |
которая показывает количество
потерянной информации под влиянием помех в канале. Таким образом, по
формуле |
(10) |
величина |
полной |
взаимной |
информации |
I (X ,Y ) = H(Y ) − H(Y / X ) =1,56 − 0,75 = 0,81 бит. |
|
|
|||
Ответ 0,81 бит.
Основной информационной характеристикой канала связи является его пропускная способность, которая определяется как наибольшее возможное количество информации, передаваемое по каналу в единицу времени. Пусть по
30