14

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ УКРАИНЫ

СЕВАСТОПОЛЬСКИЙ НАЦИОНАЛЬНЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

Кафедра кибернетики

и вычислительной техники

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

по изучению дисциплины «Теория информации и кодирования»

для студентов заочной формы обучения

специальности 7.091501 – «Компьютерные системы и сети»

Севастополь – 2007

1. Цели и задачи дисциплины

Преподавание дисциплины преследует следующие цели:

• дать студентам знание методов передачи, преобразования и классификации информации;

• научить студентов применять наиболее часто используемые в практике инженерных и научно-технических расчетов методы решения задач по теории информации и кодирования.

В результате изучения дисциплины студент должен знать:

• основы теории информации и современные направления ее развития;

• основы теории сигналов;

• основы цифровой обработки сигналов;

• принципы кодирования информации;

• основы теории эффективного кодирования информации;

• основы теории избыточного кодирования информации.

В результате изучения дисциплины студент должен уметь:

• применять современные методы теории информации, теории сигналов и кодирования в информационных системах;

• владеть навыками вычисления информационных характеристик систем связи;

• строить эффективные и помехоустойчивые коды.

В результате изучения дисциплины студент должен овладеть навыками оценки информационных характеристик систем связи, построения и оценки эффективных и помехоустойчивых кодов.

Дисциплина связана с предшествующими ей дисциплинами «Высшая математика», «Теория вероятностей и математическая статистика», «Прикладная математика», «Программирование» и является базовой для дисциплин «Схемотехника ЭВМ», «Сети ЭВМ», «Надежность, контроль и эксплуатация ЭВМ», «Основы защиты информации».

2. Учебная нагрузка по дисциплине Курс 3 Семестр 6

1. Установочные лекции(6 часов)

2. Выдача задания к контрольным работам № 1, 2, 3.

Курс 4 Семестр 7

1. Практические занятия (8 часов).

2. Защита контрольных работ.

3. Экзамен

На протяжении 7-го семестра проводятся консультации каждую нечетную субботу в соответствии с расписанием.

3.Структура дисциплины

Учебный материал излагается в четырех разделах в часы установочных лекций шестого семестра:

Раздел 1. Предмет теории информации и кодирования. Структурная теория сигналов;

Раздел 2. Энтропия как мера неопределенности выбора. Количество информации как мера снятой неопределенности;

Раздел 3. Информационные характеристики систем связи;

Раздел 4. Основы кодирования информации.

Дополнительную информацию по разделам студент может получить из источников, которые указаны в списке вопросов для подготовки экзамену.

Задание на контрольную работу состоит из трех пунктов, формулировка которых и исходные данные к ним приведены на сервере компьютерного класса А-102 в папке «ТИК_заочники_2010» (файлы «Контрольное_задание_1.doc», «Контрольное_задание_2.doc», «Контрольное_задание_3.doc», там же находятся методические указания по выполнению заданий в электронной форме, а в учебном абонементе библиотеки СевНТУ  их «твердые» копии [12-14].

Вопросы для самопроверки результатов изучения материалов раздела 1:

1. Совокупность каких объектов составляет систему передачи информации?

2. Что понимают под сообщением и сигналом?

3. Какие модели приняты для дискретного сигнала?

4. Какие модели приняты для непрерывного сигнала?

5. Что такое вероятность события?

6. Что такое сумма событий?

7. Что такое условная вероятность?

8. Что такое произведение событий?

9. Что такое канальная матрица? Какие виды канальных матриц Вы знаете?

10. Перечислите свойства канальных матриц p(a, b), p(a/b), p(b/a).

11. Что называется распределением вероятностей?

12. Как связаны функция распределения F(x) с функцией плотности распределения?

13. Какие законы распределения вероятностей Вам известны?

Вопросы для самопроверки результатов изучения материалов раздела 2:

1. В каких единицах измеряется неопределенность состояния системы?

2. Какие требования предъявляются к мере неопределенности состояния системы?

3. Охарактеризуйте сущность понятия энтропии.

4. Может ли энтропия дискретной системы быть отрицательной величиной?

5. Чему равна энтропия детерминированной системы?

6. Чему равна энтропия системы, имеющей n равновероятных состояний?

7. Каким образом определяется максимальное значение энтропии?

8. Что называется частной энтропией?

9. Представьте энтропию системы в виде математического ожидания частной энтропии.

10. Каким образом вычисляется энтропия объединения независимых систем?

11. Чему равна энтропия объединения k независимых систем?

12. Чему равна энтропия объединения k зависимых систем?

13. Чему равна полная условная энтропия объединения двух детерминированных систем?

14. Представьте формулу для вычисления условной энтропии H(A/B) через вероятности соответствующих состояний систем А и В, а также через энтропии H(A,B) и H(B).

15. В каких пределах изменяются условные энтропии H(A/B) и H(B/A)?

16. Каким образом вычисляются частные условные энтропии H(A/bj) и H(B/ai)?

17. Сформулируйте теорему единственности функционала энтропии.

18. Как вычисляется количество информации по Р.Хартли?

19. Как вычисляется количество информации по К.Шеннону?

20. Как вычисляется количество информации при учёте зависимости между символами?

21. Напишите все известные выражения для вычисления количества информации.

22. Представьте все известные виды частной информации и соответствующие формулы.

23. Перечислите свойства количества информации.

24. Какими свойствами обладает частная информация?

25. Какая система называется непрерывной?

26. Опишите вероятностные характеристики, представляющие непрерывную систему.

27. Каким образом можно непрерывную величину представить в виде дискретной величины?

28. Какая энтропия называется относительной (дифференциальной, приведенной) H*(X)? Что называется эталонной энтропией?

29. Представьте энтропию объединения непрерывных систем.

30. Какими свойствами обладает энтропия непрерывных систем?

31. Сформулируйте принцип экстремума энтропии.

32. Как вычисляется количество информации в непрерывных системах?

33. Как вычисляется количество информации при объединении дискретной и непрерывной систем?

34. Напишите формулу для вычисления математического ожидания M[x] непрерывной случайной величины X.

35. Сформулируйте теорему Котельникова.

36. Какие способы дискретизации непрерывных сигналов Вам известны? В чем суть этих способов?

37. Перечислите свойства функции отсчетов.

Вопросы для самопроверки результатов изучения материалов раздела 3.

1. Дайте определение канала связи.

2. Дайте определение дискретного канала связи.

3. Что представляет собой симметричный бинарный канал?

4. В чем различие между технической и информационной скоростями передачи по каналу связи?

5. Запишите формулы для вычисления скорости передачи информации для следующих случаев:

   • источник может находиться в n равновероятных независимых состояниях равной длительности;

   • источник может находиться в n неравновероятных независимых состояниях равной длительности;

   • источник может находиться в n равновероятных взаимозависимых состоя-ниях разной длительности;

6. Запишите все возможные формулы для вычисления пропускной способности канала связи для следующих случаев:

   • помехи в канале связи отсутствуют;

   • при наличии помех в канале связи через энтропию источника и условную энтропию;

   • при наличии помех в канале связи через соответствующие вероятности.

7. Каким образом можно оценить эффективность канала связи?

8. Какой смысл имеет коэффициент использования канала связи?

9. Каким образом можно повысить эффективность канала связи?

10. Что понимают под избыточностью источника сообщений?

11. Каковы причины избыточности в сообщении?

12. Является ли избыточность величиной, имеющей размерность?

13. Какую размерность имеет абсолютная недогруженность?

14. Являются ли относительная недогруженность и коэффициент сжатия величинами, имеющими размерность?

15. Запишите выражение для избыточности, обусловленной неравновероятным появлением символов.

16. Запишите выражение для избыточности, вызванной статистической связью между символами.

17. Запишите выражение для полной информационной избыточности.

18. Приведите конкретный пример избыточности от округления.

19. Каким образом можно уменьшить избыточность источника сообщений?

Вопросы для самопроверки результатов изучения материалов раздела 4.

1. Сформулируйте теорему Шеннона для канала без шума.

2. Сформулируйте первую и вторую теоремы Шеннона для канала с шумом.

3. Какой код называется однозначно декодируемым?

4. Какой код называется префиксным?

5. Сформулируйте теорему Крафта.

6. Как строится код Шеннона-Фано?

7. Представьте показатели качества эффективных кодов.

8. Сформулируйте теоремы Хаффмена.

9. Как строятся коды Хаффмена для двоичного и недвоичного алфавитов?

10. Представьте пример реализации блочного кодирования при построении оптимального неравномерного кода.

11. Каким образом вводится избыточность при построении помехоустойчивого кода?

12. Как происходит исправление ошибки помехоустойчивого кода?

13. Как связаны корректирующие способности кода с кодовым расстоянием?

14. Представьте основные положения алгебры групп.

15. Как строится код, исправляющий все одиночные ошибки?

16. Проиллюстрируйте процесс исправления ошибки в коде(7,4).

17. Постройте кодирующее и декодирующее устройства кода Хэмминга (7,4).

18. Как строится код, исправляющий все одиночные и двойные ошибки.

В седьмом семестре проводится восемь часов практических занятий, на которых решаются основные типы задач.