Учебно-методическое пособие и задание на курсовую работу по дисциплине Теория информации

План УМД на 2016/17 уч.г.

Учебно-методическое пособие и задание на курсовую работу

по дисциплине

ТЕОРИЯ ИНФОРМАЦИИ

Составители: В.В.Павлюк, к.т.н., доцент В.Г.Санников, к.т.н., профессор

Работа содержит методические указания и задание на курсовую работу по дисциплине «Теория информации». Курсовая работа содержит комплексное задание, включающее аналого-цифровое и цифро-аналоговое представление сигналов, эффективное и помехоустойчивое кодирование, а также вопросы защиты информации. Даются методические рекомендации по выполнению курсовой работы.

Предназначено для студентов 3 курса заочной формы обучения по направлению 09.03.02 - Информационные системы и технологии.

Отв. редактор В.Г.Санников, к.т.н., профессор

Издание стереотипное. Утверждено на заседании кафедры.

Рецензент Н.Е.Поборчая, к.т.н., доцент

2

Все задачи, стоящие перед техникой и теорией передачи информации в системах связи, сводятся к двум основным проблемам: эффективности и помехоустойчивости

(надежности). Важной проблемой является также проблема защиты информации от несанкционированного доступа.

Первая проблема состоит в том, чтобы передать по системе с заданной верностью наибольшее количество информации наиболее экономным способом. Эта проблема освещается в теории информации, которая показывает, в каком специальном для элек-

тросвязи смысле понимается термин «экономность»; устанавливает зависимость между вероятностными свойствами сообщений и количеством содержащихся в них информа-

ции; позволяет сравнивать по эффективности различные системы и указывает резервы,

за счет которых может быть повышена эффективность конкретной системы.

Вторая проблема заключается в том, чтобы обеспечить предельно возможную верность приема сообщений при заданной скорости передачи информации по каналу связи. Эта проблема рассматривается в теории потенциальной помехоустойчивости, ко-

торая позволяет сравнить между собой различные системы электросвязи по помехо-

устойчивости, указывает общие пути повышения помехоустойчивости конкретных си-

стем и позволяет решать задачи синтеза оптимальных по помехоустойчивости отдель-

ных устройств или системы в целом.

Проблема защиты информации приобретает актуальность для очень многих при-

ложений теории и техники передачи информации.

В настоящем учебном пособии рассматриваются вопросы, связанные с решением как первой, так и второй проблем теории передачи информации. Проблема защиты ин-

формации реализуется на основе введения в текст электронной подписи по схеме RSA.

Работа содержит методические указания по курсу, контрольное задание на курсо-

вую работу и методические рекомендации по ее выполнению. Предназначено для сту-

дентов 3 курса заочной формы обучения по направлению 09.03.02 - Информационные системы и технологии.

3

СПИСОК ЛИТЕРАТУРЫ

Основная

1.Парамонов Ю.В. Основы теории информации: Учебное пособие / МТУСИ. – М., 2004.

2.Аджемов А.С., Назаров М.В., Парамонов Ю.В., Санников В.Г. Помехоустойчивость и эффективность систем передачи информации: Учебное пособие / МТУСИ. – М., 1997.

3.Парамонов Ю.В. Введение в теорию и методы защиты информации: Учебное посо-

бие / МТУСИ. – М., 1999.

4.Санников В.Г. Введение в теорию и методы криптографической защиты информа-

ции: Учебное пособие / МТУСИ. – М., 2009.

Дополнительная

5.Панин В.В. Основы теории информации: Учебное пособие для вузов. - М.: БИНОМ.

Лаборатория знаний, 2007.

6.Шеннон К. Работы по теории информации и кибернетике. Пер. с англ. / Под ред.

Р.Л. Добрушина и О.Б. Лупанова. - М.: Изд. иностранной литературы, 1963.

7.Стратонович Р.JI. Теория информации. - М.: Сов. радио, 1975.

8.Добаткина Н.В. Основы теории телекоммуникаций: Курс лекций. – М.: Издательский центр «Интерэкомс», 2010.

9.Санников И.Г. Сборник задач по курсу ТЕОРИЯ ЭЛЕКТРИЧЕСКОЙ СВЯЗИ. Ч. 2 /

МТУСИ. – М., 2001.

4

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

1. Введение

[1, с. 3-5; 2, с. 22-24; 5, с. 3-19; 6, с. 243-259; 7, с. 5-13; 8, с. 116-121]

Основные задачи теории информации. Краткая справка по истории возникновения и развития и современному состоянию теории информации. Понятия информации, источника информации. Дискретные и непрерывные источники информации. Проблемы количественного измерения информации и подходы к введению количественной меры информации.

Вопросы для самопроверки

1.Что понимается под эффективностью системы связи?

2.Что понимается под помехоустойчивостью системы связи?

3.Что понимается под информацией в теории связи?

4.С какой целью и какими методами осуществляется защита информации?

5.Что понимается под количеством взаимной информации?

6.Запишите основное неравенство для взаимной информации в системе связи.

2. Основные понятия теории информации

[1, с. 3-6; 2, с. 34-35; 5, с. 76-124; 6, с. 259-268; 7, с. 11-37; 8, с. 122-125; 9, с. 47-48]

Понятие количества информации и различные подходы к измерению количества информации. Вероятностная мера Шеннона и смысл меры Шеннона. Единицы измерения информации. Энтропия источника информации. Условия максимума энтропии источника информации.

Вопросы для самопроверки

1.Дайте определение количественной меры Хартли. В чем её недостаток?

2.Дайте определение количественной меры Шеннона; её свойства.

3.В каком случае информационная мера Хартли совпадает с мерой Шеннона?

4.В каких единицах оценивается количество информации?

5.Как рассчитывается энтропия бернуллиевского источника?

6.Как рассчитывается энтропия простого марковского источника?

3. Взаимная информация источников

[1, c. 6-10; 2, с. 34-36; 5, с. 113-160; 6, с. 259-268; 7, с. 61-82; 8, с. 117-126]

Свойства взаимной информации. Условная энтропия. Модель источника дискретных сообщений. Информационная производительность источника.

5

Вопросы для самопроверки

1.Дайте определение условной энтропии источника информации; её свойства.

2.Определите количество взаимной информации дискретного источника.

3.Определите величину производительности источника информации.

4.Как определяется избыточность источника информации?

5.Что понимается под информационной насыщенностью источника?

4.Избыточность сообщений дискретного источника

[1, с. 10-14; 2, с. 39-40; 5, с. 189-261; 6, с. 270-275; 7, с. 43-60; 8, с. 129-140; 9, с. 49-56]

Эффективное кодирование дискретных сообщений. Первая теорема кодирования Шеннона. Алгоритмы построения эффективных кодов. Метод укрупнения алфавита источника. Метод неравномерного эффективного кодирования: алгоритм Хаффмена, алгоритм Шеннона-Фано.

Вопросы для самопроверки

1.С какой целью применяется эффективное кодирование источника?

2.Почему эффективный код называют статистическим кодом?

3.Назовите методы эффективного кодирования дискретного источника.

4.Сформулируйте основную теорему Шеннона для канала без шумов.

5.Запишите условие оптимальности, справедливое для эффективного кода.

5. Теория потенциальной помехоустойчивости В.А. Котельникова

[2, с. 4-17; 8, с. 88-115; 9, с. 3-39]

Определение понятий сигнала, информационного канала и помех.

Структурная схема системы связи и обработки информации. Оптимальный приемник сигналов при воздействии белого шума. Помехоустойчивость оптимального приемника. Методы повышения скорости и помехоустойчивости передачи дискретной информации.

Вопросы для самопроверки

1.Дайте определения информации, сообщения и сигнала. Какая между ними взаимосвязь?

2.Дайте определение канала связи. Опишите простейшие модели каналов.

3.Нарисуйте структурную схему системы связи с кодированием.

4.Назовите критерии оптимального приема сигналов дискретной модуляции.

4.Нарисуйте обобщенную схему оптимального приемника Котельникова.

5.Что понимается и как определяется потенциальная помехоустойчивость системы передачи информации?

6

6. Модель дискретного канала передачи с ошибками

[1, с. 32-39; 2, с. 40-45; 6, с. 280-285; 8, с. 141-149; 9, с. 57-63]

Классификация дискретных каналов. Пропускная способность симметричного канала связи. Вторая теорема Шеннона для канала с шумом. Понятие о помехоустойчивом кодировании сообщений. Двоичные избыточные коды. Запрещенные и разрешенные кодовые комбинации. Минимальное кодовое расстояние. Способность избыточного кода обнаруживать ошибки. Принципы декодирования избыточного кода. Корректирующая способность избыточного кода. Принципы построения избыточных кодов: систематические блочные и циклические коды, понятие о сверточном кодировании. Эффективность помехоустойчивого кодирования.

Вопросы для самопроверки

1.Дайте определения скорости передачи и пропускной способности канала связи.

2.Сформулируйте вторую теорему Шеннона для канала с шумами.

3.С какой целью применяется помехоустойчивое кодирование канала?

4.Дайте определения кодового расстояния Хемминга и кодового расстояния кода.

5.Запишите условия, при которых код является корректирующим.

6. Назовите методы помехоустойчивого кодирования сообщений дискретного источника информации.

7. Опишите принципы декодирования корректирующего кода с обнаружением и исправлением ошибок.

8. Опишите свойства корректирующего линейного кода.

9. Что понимается под эффективностью помехоустойчивого кодирования.

7. Источники непрерывной (аналоговой) информации

[1, с. 20-31; 2, с. 36-39; 5, с. 27-75; 6, с. 290-322; 8, с. 33-62; 9, с. 40-46]

Законы распределения, энергетический спектр и эффективная полоса непрерывного сообщения. Теорема Котельникова. Дискретизация непрерывного сообщения по времени и амплитуде. Импульсно-кодовая модуляция. Дифференциальная и эпсилонэнтропия непрерывных сообщений. Понятие избыточности непрерывных сообщений. Методы устранения избыточности непрерывных сообщений. Современные методы эффективной передачи телефонных и телевизионных сообщений.

7

Вопросы для самопроверки

1.Опишите вероятностные и числовые характеристики непрерывных сообщений.

2.Сформулируйте теорему Котельникова для дискретизации непрерывных сообщений.

3.Поясните принцип формирования сигнала импульсно-кодовой модуляции (ИКМ).

4.Как определяются информационные характеристики непрерывных сообщений?

5.Приведите примеры методов устранения избыточности непрерывных сообщений.

6.Как определяются скорость передачи и пропускная способность гауссовского канала связи?

8. Криптографические методы защиты информации

[3, с. 3-55; 4, с. 3-33; 6, с. 333-401]

Защита информации от несанкционированного доступа. Причины возникновения и история криптографии. Современные симметричные криптопреобразования. Примеры стандартов. Преимущества и недостатки симметричных алгоритмов. Несимметричные криптопреобразования. Примеры систем без передачи ключей и систем с несимметричным ключом. Современные стандарты несимметричных алгоритмов. Преимущества и недостатки асимметричных алгоритмов. Электронная подпись. Понятие криптостойкости алгоритмов шифрования и задачи криптоанализа.

Вопросы для самопроверки

1.В чем различие симметричных и асимметричных систем защиты информации?

2.Назовите основные классы криптографических методов защиты информации.

3.Что понимается под односторонними функциями при шифровании данных? Приведите примеры односторонних функций.

4.Приведите примеры современных методов шифрования и расшифрования данных.

4.В чем суть формирования секретных ключей по Диффи и Хелману?

5.Опишите алгоритм шифрования данных по системе RSA.

6.Какие требования налагаются на электронную подпись?

7.Опишите метод формирования электронной подписи по системе RSA.

8

ЗАДАНИЕ НА КУРСОВУЮ РАБОТУ (КР)

1.Нарисовать структурную схему цифровой системы связи и указать назначение основных блоков.

2.Используя символы русского алфавита и их цифровые эквиваленты, представ-

ленные в таблице 1, записать свою ФАМИЛИЮ в виде сообщения m m1m2 ...mk .

N Q P . Проверить подлинность ЭП (см. МКР 2).

ПРИМЕЧАНИЕ:

В качестве Q и P выбираются большие простые числа. Однако для учебных целей и согласования с таблицей 1 их можно взять равными: Q 11 и P 3 . При этом N 33 совпадает с мощностью русского алфавита.

В качестве сообщения m берется цифровой эквивалент ФАМИЛИИ.

Начальное значение хеш-функции при формировании ЭП берется по номеру журнала учебной группы.

3.Сформировать свою ФАМИЛИЮ, ИМЯ, ОТЧЕСТВО и символ ЭП без пробелов. Каждую букву (символ) в соответствии с таблицей 1 сопоставить с десятичным числом.

щий им сигнал ИКМ. Полученная последовательность двоичных символов сигнала ИКМ имитирует передаваемую информацию.

Рассчитать вероятности передачи единицы (1) и ноля (0) в передаваемой двоичной последовательности, а также энтропию источника двоичных символов и его избыточность (см. МКР 3).

4. Определить вероятности дибитов 00, 01, 10, 11 в двоичной последовательности сигнала ИКМ, полученной в пункте 3. Рассчитать энтропию источника с полученным распределением вероятностей дибитов. Закодировать дибиты двоичным эффективным кодом с префиксными свойствами; определить среднюю длину кодовых комбинаций кода, проверить код на оптимальность, оценить его избыточность (см. МКР 4).

9

5. Осуществить помехоустойчивое кодирование сорока первых двоичных информационных символов, используя для этого линейный блочный код Хэмминга (7.4). Изобразить структурные схемы кодера и декодера и объяснить принцип их работы. Рассмотреть процесс исправления одиночной ошибки двадцать третьего символа кодовой последовательности ИКМ сигнала (см. МКР 5).

Методические указания по выполнению КР (МКР)

1. Структурная схема цифровой системы связи

Современный этап развития телекоммуникационной техники характеризуется интенсивным внедрением оптимальных способов обработки сигналов. Успехи микропроцессорной техники сделали возможной реализацию самых сложных алгоритмов. Пожалуй, наиболее впечатляющие результаты получены в области кодирования и оптимальной обработки принятых сигналов, что позволило вплотную приблизиться к параметрам идеальной системы связи.

На рисунке 1 показана обобщенная структурная схема цифровой системы связи.

Передающая часть цифровой системы связи

ИП ЛС

Рисунок 1 - Обобщенная структурная схема цифровой системы связи

Назначение отдельных блоков будет рассматриваться по мере изучения очередного преобразования сигнала. Сокращенные обозначения на схеме расшифровываются так:

ИНС - источник непрерывных сообщений (передаваемой информации), ФНЧ - фильтр низких частот с максимальной частотой пропускания Fm , АЦП - аналогово-цифровой преобразователь, БШИ - блок шифрования (защиты) информации, БЭК - блок эффективного кодирования, БПК - блок помехоустойчивого кодирования,

Модулятор - блок модуляции высокочастотного переносчика, Вых. У - выходное устройство (выходные усилитель и фильтр), ИП - источник помех (t) ,

ЛС - линия (канал) связи,

10