- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
Литература:
Дмитриев В.И. Прикладная теория информации. – М.: «Высш. шк.», 1989 – 320 с.: ил.
Куликовский Л.Ф., Мотов В.В. Теоретические основы информационных процессов – М.: «Высш. шк.», 1987 – 248с.
Зюко А.Г., Коробов Ю.Ф. Теория передачи сигналов. – М.: «Связь», 1972 – 282 с.: ил.
Кловский Д.Д. Теория передачи сигналов. – М.: «Связь», 1973 – 376 с.: ил.
Назаров М.В. и другие. Теория передачи сигналов. – М.: «Связь», 1970 – 368с.: ил.
Липкин И.А. Основы статистической радиотехники, теории информации и кодирования. – М.: «Сов. радио», 1978 – 240с.: ил.
Яглом А.М., Яглом И.М. Вероятность и информация. – М.: «Наука», 1973 – 512с.: ил.
Кловский Д.Д., Шилкин В.А. Теория передачи сигналов в задачах – М.: «Связь», 1978 – 252с.: ил.
Кловский Д.Д., Шилкин В.А. Теория электрической связи – М.: «Радио и связь», 1990 – 280с.: ил.
Горяинов В.Т., Журавлев А.Г., Тихонов В.И. Статистическая радиотехника. Примеры и задачи. – М.: «Сов. радио», 1980 – 544с.: ил.
Кузнецов О.Г. и др. Дискретная математика для инженера. – М.: «Энергия», 1980 – 344с.: ил.
Самсонов Б.Б. и др. Теория информации и кодирования. – Ростов на Дону.: «Феникс», 2002 – 288с. (Математические основы).
Электросвязь 2003, №1 «Электронная Россия» в 2002 и 2003 годах. - 10÷11с.
Липкин И.А. Статистическая радиотехника. Теория информации и кодирования. – М.: «Вузовская книга», 2002. – 216с.: ил.
Макаров А.А., Чиненков Л.Л. Основы теории передачи информации. Учебное пособие – М.: «СибГУТИ», 1998. – 39с.: ил.
Теория электрической связи. Учебник для вузов. Под ред. Д.Д. Кловского. – М.: «Радио и связь», 1998. – 432с.: 204ил.
Содержание
Предисловие 2
Введение 3
концепцтуальные основы информационных процессов 4
О понятии «Информация» 4
Виды и свойства информации 5
Этапы обращения информации 6
Информационные системы 7
Система передачи информации 8
Уровни проблем передачи информации 11
О смысле «Теория информации» в системе связи 12
Контрольные вопросы к разделу 1 в форме «задание-тест» 13
Математические основы теории вероятностей 15
случайное событие и вероятность 15
Случайные величины и их вероятностные характеристики 19
Случайные функции и их вероятностное описание 25
Корреляционные характеристики случайных процессов 25
Контрольные вопросы к разделу 2 в форме «задание-тест» 29
КОличественная оценка информации 33
энтропия, как мера неопределенности выбора независимых сообщений дискретного источника 33
Свойства энтропии 36
Условная энтропия и ее свойства 39
Энтропия непрерывного источника информации (дифференциальная энтропия) 44
Передача информации от дискретного источника 49
Передача информации от непрерывного источника 52
Основные свойства количества информации 52
информационные характеристики источника сообщений и канала связи 53
Введение 53
Информационные характеристики источника дискретных сообщений 54
Модели источника дискретных сообщений 54
Свойства эргодических последовательностей знаков 55
Избыточность источника 57
Производительность источника дискретных сообщений 58
Информационные характеристики дискретных каналов связи 59
Модели дискретных каналов 59
Скорость передачи информации по дискретному каналу 61
Пропускная способность дискретного канала без помех 62
Пропускная способность дискретного канала с помехами 63
Информационные характеристики непрерывных каналов связи 66
Согласование физических характеристик сигнала и канала 70
Согласование статистических свойств источника сообщений и канала связи 71
Контрольные вопросы к разделам 3 и4 в форме «задание-тест» 73
основы теории оптимального кодирования 79
Кодирование как процесс выражения информации в цифровом виде 79
Классификация кодов 83
Представление кодов 84
Оптимальное (эффективное) статистическое кодирование 86
Методы эффективного кодирования некоррелированной последовательности знаков 88
Свойства префиксности эффективных кодов 94
Методы эффективного кодирования коррелированной последовательности знаков 95
Недостатки системы эффективного кодирования 96
Контрольные вопросы к разделу 5 в форме «задание-тест» 96
литература 105
содержание 106