Список литературы

1. Димтриев В.И. Прикладная теория информации: Учеб. Для студ. Вузов по спец. “Автоматизированные системы обработки информации и управления”.  М.: Высш.шк., 1989. 320с.

2. Темников Ф.Е. и др. Теоретические основы информационной техники. М.: Энергия, 1979

3. Куликовский Л.Ф. и др. Теоретические основы информационных процессов. М.: Высш.шк., 1987

4. Цымбал В.П. Теория информации и кодирование. Киев: Вища школа, 1977

5. Ризаев И.С. Сборник задач по курсу “Теория информации и кодирование”, Казань, КАИ, 1976

6. Питерсон У., Уэлдон Э. Коды, исправляющие ошибки. М.: Мир, 1976

7. Сэломон Д. Сжатие данных, изображений и звука. – М.: Техносфера, 2004. – 368 с.

8. Фомин А. А. Основы сжатия информации. – СПб.: СПГТУ, 1998. – 83 с.

9. Вернер М. Основы кодирования. Учебник для ВУЗов. – М.: Техносфера, 2004. – 288 с.

10. Хаффмен Д. А. Метод построения кодов с минимальной избыточностью: Пер. с англ. //Кибернетический сборник. – М.: ИЛ, 1961. – Вып. 3. – С. 79 – 87.

11. Шень А. Программирование: теоремы и задачи. – 2 – е изд., испр. и доп. – М.: МЦНМО, 2004. – 296 с.

12. Дискретная математика и математические вопросы кибернетики. Т. 1 /Ю. Л. Васильев, Ф. Я. Ветухновский, В. В. Глаголев, Ю. И. Журавлев, В. И. Левенштейн, С. В. Яблонский. Под общей редакцией С. В. Яблонского и О. Б. Лупанова. – М.: Главная редакция физико – математической литературы изд – ва «Наука», 1974. – 312 с.

13. Шеннон К. Математическая теория связи: Пер. с англ. // Работы по теории информации и кибернетике. – М.: ИЛ, 1963. – С. 243 – 332.

14. Ватолин Д., Ратушняк А., Смирнов М., Юкин В. Методы сжатия данных. Устройство архиваторов, сжатие изображений и видео. – М.: ДИАЛОГ – МИФИ, 2002. – 384 c.

15. Семенюк В. В. Экономное кодирование дискретной информации. – СПб.: СПб ГИТМО (ТУ), 2001. – 115 с.

Оглавление

	Введение…………………………………………………………	3
1.	Информационные характеристики источников сообщений….	3
1.1.	Энтропия как мера неопределенности физической системы...	3
1.2.	Энтропия сложной системы……………………………………	6
1.3.	Количественные аспекты информации………………………..	10
1.4.	Количество информации, как мера снятой неопределенности	11
1.5.	Объем информации……………………………………………..	13
1.6.	Взаимная информация………………………………………….	13
	Вопросы………………………………………………………….	15
	Упражнения……………………………………………………...	15
	Лабораторная работа. Свойства энтропии…………………….	20
2.	Неопределенность непрерывных случайных величин……….	21
2.1.	Энтропия непрерывной случайной величины………………...	21
2.2.	Количество информации для непрерывных систем…………..	22
2.3.	Принцип экстремума энтропии и экстремальные распределения…………………………………………………...	23
2.4.	Эпсилон энтропия……………………………………………….	27
	Вопросы………………………………………………………….	28
	Упражнения……………………………………………………..	28
3.	Передача информации по каналам связи……………………...	29
3.1.	Источники сообщений………………………………………….	29
3.2.	Избыточность информации…………………………………….	30
3.3.	Передача информации по каналам связи. Пропускная способность канала……………………………………………...	31
3.4.	Пропускная способность непрерывных каналов связи……….	35
3.5.	Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи……..	36
3.6.	Согласование оконечных устройств с каналами связи……….	39
	Вопросы………………………………………………………….	40
	Упражнения……………………………………………………...	41
	Лабораторная работа. Скорость передачи информации и пропускная способность каналов связи……………………….	42
4.	Кодирование информации……………………………………...	43
4.1.	Префиксные коды……………………………………………….	43
4.2.	Основные теоремы кодирования……………………………….	44
4.3.	Оптимальное кодирование……………………………………..	46
4.4.	Код Шеннона-Фано……………………………………………..	46
4.5.	Блочное кодирование…………………………………………...	47
4.6.	Код Хаффмана…………………………………………………...	48
4.7.	Совмещенный способ построения кода Хаффмана…………..	50
	Вопросы…………………………………………………………	50
	Упражнения……………………………………………………..	51
	Лабораторная работа. Кодирование информации…………….	53
5.	Сжатие информации	54
5.1.	Основные понятия	54
5.2.	Методы сжатия без потерь	55
5.3.	Методы сжатия с потерями	65
	Вопросы	66
	Упражнения	66
6.	Помехоустойчивое кодирование ………………………………	67
6.1.	Коды с обнаружением ошибок ………………………………..	68
6.2.	Корректирующие коды…………………………………………	72
6.3.	Код Хэмминга …………………………………………………..	74
6.4.	Техническая реализация кода Хэмминга………………………	76
6.5.	Циклические коды………………………………………………	78
	Вопросы………………………………………………………….	86
	Упражнения……………………………………………………...	86
	Лабораторная работа. Исследование способов построения корректирующих кодов…………………………………………	87
	Приложение 1. Контрольные задания для самостоятельного выполнения по дисциплине “Теория информации” ….………...	89
	Приложение 2. Таблица значений функции (p)= - p log2 p …………	94
	Список литературы …………………………………………….	95

96