Учебно-методическое пособие и задание на курсовую работу по дисциплине Теория информации

Вх. У - входное устройство (входной фильтр и усилитель приемника), Демодулятор - блок снятия модуляции и решающее устройство приемника, БПД - блок помехоустойчивого декодирования, БЭД - блок декодирования эффективного кода, БРИ – блок расшифрования информации, ЦАП - цифро-аналоговый преобразователь,

ПНС - получатель непрерывного сообщения (воспринимаемой информации).

Источник непрерывного сообщения - устройство (микрофон, датчик телеметрии и т.д.), которое на своем выходе формирует первичный электрический сигнал (непрерывное сообщение), содержащий передаваемую для получателя информацию.

Фильтр нижних частот ограничивает спектр первичного сигнала в полосе 0 Fm , так что на выходе ФНЧ практически не содержатся составляющие на частотах f Fm .

Аналогово-цифровой преобразователь, содержащий временной дискретизатор,

квантователь по уровню и примитивный кодер, превращает аналоговый сигнал на выходе ФНЧ в двоичный цифровой сигнал импульсно-кодовой модуляции (ИКМ).

Блок шифрования информации осуществляет защиту информации от её несанкционированного использования и подмены путем криптографического преобразования.

Блок эффективного кодирования перекодирует сигнал ИКМ на выходе БШИ с целью сокращения содержащейся в нем избыточности и тем самым уменьшения времени передачи сообщения.

Блок помехоустойчивого кодирования формирует код, позволяющий обнаружить и исправить ошибки в принятой кодовой комбинации, искаженной помехами.

Модулятор - устройство, изменяющее один из параметров несущей (сигналапереносчика) в соответствии с информационным модулирующим сообщением.

Поскольку передача непосредственно информационного сигнала на требуемое расстояние оказывается неэффективной, а зачастую невозможной, то необходим модулятор, который создает сигнал, содержащий исходную информацию и приспособленный для передачи по линии связи.

Выходное устройство передает модулированный электрический сигнал в линию связи (для радиосвязи выходное устройство - излучающая антенна).

Линия связи - среда (например, оптоволокно, двухпроводная линия, воздушное пространство), по которой происходит передача информационного сигнала от передатчика к приемнику. В ЛС сигнал уменьшается по уровню и искажается помехой.

Входное устройство принимает сигнал из линии связи, усиливает его и отфильтровывает помехи.

Демодулятор - устройство детектирования вместе с решающим устройством, выделяющее информационный цифровой сигнал из сигнала-переносчика.

Блок декодирования помехоустойчивого кода обнаруживает и исправляет ошибки в принятой кодовой комбинации.

Блок декодирования эффективного кода восстанавливает сигнал ИКМ.

11

Блок расшифрования информации путем обратного криптографического преобразования восстанавливает цифровой эквивалент переданного сообщения.

Цифро-аналоговый преобразователь, содержащий декодер и интерполятор, преобразует сигнал ИКМ в аналоговый по времени и квантованный по уровню сигнал. В ЦАП часто включается и ФНЧ на выходе приемника, который осуществляет сглаживание сигнала и отфильтровывает продукты дискретизации и шум передачи.

Получатель непрерывного сообщения - устройство, воспринимающее информацию, содержащуюся в восстановленном сообщении на выходе ЦАП.

2.Методические указания к решению задания 2 КР (МКР 2)

Вкачестве примера рассмотрим передачу некоторой псевдослучайной последовательности букв (фамилия, имя и отчество виртуального студента - ИВАНОВ МИХАИЛ ИВАНОВИЧ).

1) Система шифрования RSA. В соответствии с заданием на КР с целью предотвращения подмены сообщения требуется его защитить путем создания ЭП для сообще-

ния – ИВАНОВ; его цифровой эквивалент определяется по таблице 1: m m1m2 m3m4 m5 m6 , m1 8 (И), m2 2 (В), m3 0 (А), m4 13 (Н), m5 14 (О), m6 2 (В).

Данные, связанные с формированием и проверкой ЭП, сводятся в таблицу 2.

(33) (11 3) (11 1) (3 1) 10 2 20.

3)Определение открытого ключа. Ключ d (N) определяется как число, взаимно простое с (N ) . Для (33) 20 к взаимно простым относятся числа: 3, 7, 9 и т.д.

Для примера выберем d 3 .

4)Определение секретного ключа. e d [ (N)] 1 mod (N ) , где функция Эйлера

от функции Эйлера равна [ (N)] [ i j ... k ] (N)(1 1 )(1 1 )...(1 1 ) . Для

6)Определение s =ЭП: s h6e mod N 227 mod 33 22(Ц).

Подписанное сообщение: ms 8,2,0,13,14,2,22 (ИВАНОВЦ).

7)Проверка подлинности ЭП. Подписанное сообщение ms разбивается на два

блока: m* и s* (звездочка означает, что сообщение ms может быть искажено). В нашем случае: m* 8,2,0,13,14,2 ; s* 22 (искажений нет).

По m* 8,2,0,13,14,2 в соответствии с пунктом 5) определяется h* h6 22 . По s* 22 и открытым данным находим h** (s* )d mod N 223 mod 33 22 . Если h* h** h6 - ЭП верна. В нашем случае h* h** h6 22 .

3.Методические указания к решению задания 3 КР (МКР 3)

1)Пусть каждая буква представляет собой импульс-отсчет некоторого сигнала, амплитуда которого равна порядковому номеру данной буквы в русском алфавите. Закодируем буквы русского алфавита двоичным кодом (таблица 3).

Таблица 3 – Двоичное представление букв русского алфавита

2) Запишем ФАМИЛИЮ ИМЯ ОТЧЕСТВО и ЭП без пробелов в таблицу 4.

Таблица 4 – ФАМИЛИЯ ИМЯ ОТЧЕСТВО и ЭП

3) Передаваемая последовательность десятичных чисел, отображающая: ФАМИЛИЮ ИМЯ ОТЧЕСТВО и ЭП, показана на рисунке 2.

23

22

21

И В А Н О В М И Х А И Л И В А Н О В И Ч Ц

Рисунок 2 - Передаваемая последовательность чисел для ФИО и ЭП

4) Запишем двоичное представление ФИО и ЭП (сигнал ИКМ в таблице 4) без пробелов:

0100000010000000110101110000100110001000101010000001000010110100000010000000

11010111000010010001011110110.

5) Так как передаваемая десятичная последовательность содержит 21 число, а каждому числу соответствует 5 двоичных единиц (бит) сигнала ИКМ, то вся последовательность содержит 105 бит. В исходной двоичной последовательности содержится 36 «единиц» (1) и 69 «нолей» (0). Отсюда находятся априорные вероятности:

M 1

6) Энтропия дискретного M -го источника равна: H pi log2 pi . Отсюда для

i 0

двоичного источника энтропия на один символ равна:

H1 ( p1 log 2 p1 p0 log 2 p0 ) (0.3429 log 2 0.3429 0.6571 log 2 0.6571) 0.92757 . 7) Избыточность источника при поэлементной передаче равна:

Следует отметить, что эта избыточность получена только за счет неравновероятного распределения 1 и 0 и не учитывает статистические взаимосвязи между символами.

4. Методические указания к решению задания 4 КР (МКР 4)

Уменьшить возможные статистические связи между символами ИКМ сигнала можно, если укрупнить алфавит источника, например, осуществлять передачу парами двоичных единиц (дибитами). Для этого двоичную последовательность следует разделить на дибиты*. (*Если количество двоичных символов нечетное, то к последнему символу следует добавить 1, потом он удаляется при восстановлении ИКМ сигнала).

1) Представим передаваемый ИКМ сигнал дибитами (запятые не учитывать !):

01,00,00,00,10,00,00,00,11,01,01,11,00,00,10,01,10,00,10,00,10,10,10,00,00,01,00,00,10,11,

01,00,00,00,10,00,00,00,11,01,01,11,00,00,10,01,00,01,01,11,10,11,01.

Рассчитаем вероятности появления различных дибитов. Всего в передаваемой последовательности 53 дибита. Из них дибит 00 (D0) встречается 23 раза, вероятность появления дибита D0 равна р00=23/53 0.434; дибит 01 (D1) встречается 12 раз, отсюда р01=12/53 0.226; дибит 10 (D2) встречается 11 раз, поэтому р10=11/53 0.208; дибит 11 (D3) встречается 7 раз, следовательно, р11=7/53 0.132.

Таблица 5 – Распределение вероятностей дибитов

i 0

2)Энтропия источника или количество информации, в среднем приходящееся на один дибит (дв.ед/дибит), равна

Н2 (0.434log2 0.434 0.226log2 0.226 0.208log2 0.208 0.132log2 0.132) 1.864 .

3)Избыточность источника дибитов равна:

Полученный код - статистический, так как длина кодовой комбинации зависит от вероятности кодируемого символа. Данный код – неравномерный и имеет разную длину кодовых комбинаций. Наиболее вероятный дибит D0 кодируется кодовой комбинацией минимальной длины, а наименее вероятные дибиты D2 , D3 - имеют кодовые комбинации максимальной длины.

4) Средняя длина кода Хаффмена равна:

3

n ni pi 1 0.434 2 0.226 3 0.208 3 0.132 1.906 бит/символ.

i 0

5)Эффективный код оптимален по Шеннону, если справедливо равенство:

n nmin H / log 2 mk ,

где nmin - минимальная средняя длина кода, H - энтропия источника, mk - основание кода. В нашем случае H H2 1.864 , а mk 2 . Отсюда следует nmin 1.864 бит. Так как n nmin , то построенный код квазиоптимален (близкий к оптимальному).

6) Квазиоптимальный код обладает избыточностью, определяемой так

r n nmin 1 nmin / n 1 1.864 /1.906 0.022 (2.2%) ,

что существенно ниже избыточности равномерного кода (дибитов) и приводит к уменьшению цифрового объема передаваемого сообщения.

7) После кодирования по Хаффмену передается цифровой поток вида (без учета запятых) следующего вида: 10,0,0,0,111,0,0,0,110,10,10,110,0,0,111,10,111,0,111,0,111,111,111,0,0,10,0,0,111,110,10, 0,0,0,111,0,0,0,110,10,10,110,0,0,111,10,0,10,10,110,111,110,10;

он содержит: 23×1 + 12×2 + 11×3 + 7×3 = 101 дв. ед., что на 4 дв. ед. меньше исходного потока дибитов.

Код Хаффмена обладает префиксным свойством - никакая короткая кодовая комбинация не должна являться началом более длинной комбинации. При этом не нужно использовать дополнительные разделительные символы. Однако возникают и проблемы. Если произойдет ошибка при передаче информации, то нарушается разбиение кодовых комбинаций и возникает несколько ошибок при декодировании.

Так, например, пусть десятый и двадцатый символы передаваемой последовательности приняты неверно (эти символы подчеркнуты)

10,0,0,0,111,0,1,0,110,10,10,100,0,0,111,10,111,0,111,0,111,111,111,0,0,10,0,0,111,110,10, 0,0,0,111,0,0,0,110,10,10,110,0,0,111,10,0,10,10,110,111,110,10.

После декодирования кода Хаффмена получим последовательность дибитов

01,00,00,00,10,00,01,11,01,01,01,00,00,00,10,01,10,00,10,00,10,10,10,00,00,01,00,00,10,11,

01,00,00,00,10,00,00,00,11,01,01,11,00,00,10,01,00,01,01,11,10,11,01.

17

Сравнение с переданной последовательностью

01,00,00,00,10,00,00,00,11,01,01,11,00,00,10,01,10,00,10,00,10,10,10,00,00,01,00,00,10,11,

01,00,00,00,10,00,00,00,11,01,01,11,00,00,10,01,00,01,01,11,10,11,01

показывает, что даже одиночные ошибки приводят к появлению пакетов ошибок при декодировании эффективного кода, которые выделены жирным шрифтом и подчеркнуты. Декодированная последовательность букв будет иметь вид

ИВ Г Х И В М И Х А И Л И В А Н О В И ЧЦ, вместо переданной

ИВ А Н О В М И Х А И Л И В А Н О В И ЧЦ,

т.е. три буквы приняты неверно. Заметим, что в этом случае не удастся подтвердить подлинность ЭП (!), так как искажения попали на ФАМИЛИЮ. Поэтому h* h** .

Для борьбы с ошибками применяют методы помехоустойчивого кодирования, которые позволяют обнаруживать и даже исправлять ошибки, вызванные действием помех в системе связи или обработки информации.

5. Методические указания к решению задания 5 КР (МКР 5)

Помехоустойчивые или корректирующие коды, в отличие от статистических (эффективных) кодов, для коррекции ошибок канала связи связаны не с устранением избыточности цифровых данных, но (!) с введением дополнительной избыточности; они позволяют обнаружить и исправить ошибки в принятой кодовой комбинации, искаженной помехами. Для этого к передаваемой информации добавляются проверочные символы, которые формируются по определенным правилам. Все возможные кодовые комбинации делятся на разрешенные и запрещенные. Передаются только разрешенные комбинации. Ошибки превращают разрешенную кодовую комбинацию в запрещенную и обнаруживаются, либо исправляются. Ошибки не обнаруживаются, когда одна разрешенная комбинация переходит в другую разрешенную.

1) Отличие одной кодовой комбинации от другой характеризуется кодовым расстоянием d Хемминга. Для двоичного кода величина d - это количество позиций, в которых одна кодовая комбинация отличается от другой. Например, для кодовых комбина-

ций: 010 и 011 - d 1 , для 1100 и 0110 - d 2 , для 0111011 и 1010001 d 4 .

Для обнаружения одиночных ошибок минимальное кодовое расстояние dmin между комбинациями (кодовое расстояние кода) должно равняться dmin 2. Например, для корректирующего двоичного кода длиной n 3 возможный набор разрешенных комбинаций с dmin 2 имеет вид: 000; 110, 101, 011. Разрешенные комбинации содержат четное число единиц (1). Запрещенные комбинации содержат нечетное число единиц: 001, 010, 100, 111.

Предположим, что была передана комбинация 000. В линии связи помеха исказила второй символ и мы приняли 010. Это запрещенная комбинация, и декодер обнаружит ошибку. Выигрыш в помехоустойчивости получен за счет проигрыша в скорости пере-

18

дачи, т.к. четыре сообщения мы могли бы передавать с помощью четырех комбинаций

и мы приняли 010. Эта комбинация запрещенная, декодер фиксирует ошибку и определяет кодовые расстояния между принятой комбинацией 010 и возможными разрешенными 000 и 111. Комбинация 010 ближе к переданной комбинации 000 ( d 1 ), чем к другой возможной 111 ( d 2 ). Таким образом, мы декодируем комбинацию 010 как 000, т.е. исправляем ошибку. Выигрыш в помехоустойчивости достигается за счет еще большего проигрыша в скорости передачи, т.к. два сообщения мы могли бы передавать с помощью двух комбинаций безызбыточного кода с m 2 и n 1: т.е. 0 и 1. Проигрыш по скорости передачи данного кода, исправляющего одиночные ошибки, по сравнению с безызбыточным кодом равен 3.

2) Количество ошибок в кодовых комбинациях называется кратностью ошибок. Для обнаружения ошибок кратности q следует использовать код с dmin q 1. Для исправления ошибок кратности q следует использовать коды с dmin 2q 1.

Модель дискретного канала предполагает независимость появления ошибок. Если

Как следует из приведенных расчетов, наиболее вероятны одиночные ошибки. Вероятность двойных ошибок в 300 раз меньше.

19

Для обнаружения одиночных ошибок одним из наиболее совершенных способов кодирования является «проверка на четность»: к кодовой комбинации из k информационных символов добавляется один проверочный, такой, чтобы количество единиц в кодовой комбинации было четным. Например, к семизначной комбинации 0100110 с нечетным числом единиц добавляем проверочный символ 1 и передаем восьмизначную комбинацию 01001101 (при семизначной комбинации с четным числом единиц добавляется проверочный символ 0). Одиночная ошибка ( q 1) делает число единиц в принятой кодовой комбинации нечетным, что и обнаруживается декодером.

3) Корректирующий линейный код (КЛК)

Втехнике связи для защиты информации от ошибок широко используются корректирующие линейные блочные коды (КЛК). Блочный код состоит из кодовых комбинаций, называемых также кодовыми словами. Кодовые комбинации КЛК образуют линейное пространство относительно поразрядного сложения по модулю 2: сумма двух комбинаций дает тоже комбинацию этого кода.

Вкаждом кодовом слове систематического (n, k) КЛК первые позиции занимают k

информационных символа, отображающих кодовый эквивалент букв передаваемого сообщения, остальные (n k) символов – проверочные. При длине двоичного кодового слова, равной n , общее количество кодовых слов КЛК равно N0 2n , из которых разрешенных N 2k и запрещенных N 2(n k ) . Величина R k / n есть скорость кода.

Избыточность КЛК равна:

rk (n k) / n 1 R .

4) КЛК Хемминга (7,4). В таблице 6 показана структура формирования разрешенных кодовых комбинаций данного кода. Здесь N 24 16 , R 4/ 7 0.571, rk 0.429 .

Разрешенные кодовые комбинации имеют вид: Xi = (S1 S2 S3 S4 С1 С2 С3) i , i 0,15 . Здесь (S1 S2 S3 S4) – блок информационных, а (С1 С2 С3) – блок проверочных символов.

Проверочные символы связаны с информационными символами КЛК следующими линейными соотношениями:

C1 = S1 S2 S4, C2 = S1 S3 S4, C3 = S2 S3 S4,

где - знак суммирования по модулю 2 (0 0=0, 0 1=1, 1 0=1, 1 1=0).

На основе этих соотношений строится схема кодера КЛК (рис. 4)

20