- •Предисловие
- •Введение
- •Концептуальные основы информационных процессов.
- •О понятии «Информация» [1,2]
- •1.2. Виды и свойства информации [2].
- •1.3. Этапы обращения информации [1].
- •1.4. Информационные системы [1].
- •1.5. Система передачи информации [1].
- •1.6. Уровни проблем передачи информации [1].
- •1.7. О смысле «Теории информации» в системе связи [1].
- •2. Математические основы теории вероятностей [6,4].
- •2.1. Случайное событие и вероятность.
- •2.2 Случайные величины и их вероятностные характеристики.
- •Случайные функции и их вероятностное описание.
- •2.4 Корреляционные характеристики случайных процессов.
- •Дифференциальный; 2) интегральный;
- •3) Плотность вероятностей.
- •Дифференциальный; 2) интегральный; 3) числовой.
- •Свойства энтропии [1,3 и др.].
- •Условная энтропия и ее свойства [1,2 и др.].
- •Свойства условной энтропии
- •Энтропия непрерывного источника информации (дифференциальная энтропия) [1, 2 и др.].
- •Передача информации от дискретного источника [1 и др.].
- •Передача информации от непрерывного источника [1 и др.].
- •Основные свойства количества информации [1 и др.].
- •4. Информационные характеристики источника сообщений и канала связи.
- •4.1. Введение [1 и др.].
- •4.2. Информационные характеристики источника дискретных сообщений.
- •4.2.1 Модели источника дискретных сообщений [1 и др.].
- •4.2.2 Свойства эргодических последовательностей знаков [1 и др.].
- •4.2.3 Избыточность источника [1 и др.].
- •4.2.4 Производительность источника дискретных сообщений [1 и др.].
- •4.3. Информационные характеристики дискретных каналов связи.
- •4.3.1 Модели дискретных каналов [1, 4, 5 и др.].
- •Скорость передачи информации по дискретному каналу [1 и др.].
- •Пропускная способность дискретного канала без помех [1 и др.].
- •Пропускная способность дискретного канала с помехами [1 и др.].
- •Информационные характеристики непрерывных каналов связи [1 и др.].
- •Согласование физических характеристик сигнала и канала [1 и др.].
- •Согласование статистических свойств источника сообщений и канала связи [1 и др.].
- •4.6 Контрольные вопросы к разделам 3 и 4 в форме «Задание – тест» тема: «Количественная оценка информации».
- •1) Бод; 2) бит (двоичная цифра); 3) байт.
- •1) Сумма; 2) произведение; 3) разность.
- •1) Безусловной энтропией; 2) условной энтропией;
- •3) Совместной энтропией.
- •1) Объем алфавита;
- •2) Объем алфавита и вероятности создания источником отдельных знаков; 3) вероятности создания источником отдельных знаков.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) Нестационарным; 2) стационарным; 3) постоянным.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) С памятью; 2) без памяти; 3) регулярный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Симметричный; 2) несимметричный; 3) условный.
- •1) Максимальная скорость; 2) пропускная скорость; 3) предел скорости.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •1) Уменьшается; 2) увеличивается; 3) не изменяется.
- •5.2. Классификация кодов [4 и др.].
- •5.3. Представление кодов [4 и др.].
- •5.4. Оптимальное (эффективное) статистическое кодирование [3 и др.].
- •5.4.1 Методы эффективного кодирования некоррелированной последовательности знаков [1 и др.].
- •Методика построения кода Шеннона – Фано [1].
- •Методика построения кода Хаффмена [2 и др.].
- •5.4.2 Свойство префиксности эффективных кодов [1 и др.].
- •5.4.3 Методы эффективного кодирования коррелированной последовательности знаков.
- •5.4.4 Недостатки системы эффективного кодирования.
- •1) Номер разряда;
- •2) Множитель, принимающий целочисленные значения;
- •3) Количество разрядов.
- •Всякий блочный код можно представить таблицей:
- •Всякий блочный код можно представить таблицей:
- •Литература:
- •Содержание
ФЕДЕРАЛЬНОЕ АГЕНТСТВО СВЯЗИ
ХАБАРОВСКИЙ ИНСТИТУТ ИНФОКОММУНИКАЦИЙ (филиал)
Государственного образовательного учреждения высшего профессионального образования
«Сибирский государственный университет телекоммуникаций и информатики»
(ХИИК ГОУ ВПО «СибГУТИ»)
В.Н. Кудашов
ОСНОВЫ ТЕОРИИ ИНФОРМАЦИИ
И ОПТИМАЛЬНОГО КОДИРОВАНИЯ
Конспект лекций
Хабаровск
2008
УДК 621.391
к.т.н., В.Н. Кудашов. Основы теории информации и оптимального кодирования: конспект лекций/ ХИИК ГОУ ВПО «СибГУТИ»: - Хабаровск, 2008 г. – 108 с.
Рассмотрены основные информационные характеристики системы связи. Изложены концептуальные основы и математические методы в информационных процессах. Уделено внимание вопросам моделирования дискретных (цифровых) и непрерывных (аналоговых) источников сообщений и каналов связи. Исходя из знания основных информационных характеристик представлено и рассмотрено оптимальное по К.Шеннону кодирование дискретных источников, а также методики оптимального кодирования Шеннона-Фано и Хаффмена.
Кафедра систем радиосвязи (СРС).
Утверждено редакционно-издательским советом ХИИК ГОУ ВПО «СибГУТИ» в качестве учебного пособия
Предисловие
Конспект лекций написан в соответствии с учебной программой дисциплины «Основы теории информации» на основе материалов лекций, которые в течении ряда лет читались автором в Хабаровском институте инфокоммуникаций ГОУ ВПО «СибГУТИ» для студентов дневной и заочной формы обучения с полным и сокращенным сроком обучения. Автор исходил из предположения, что студенты заочники мало знакомы с основами теории вероятности, отдельными сведениями о сигналах и о теории случайных процессов, поэтому об этом в конспекте приводятся необходимые для успешного освоения курса сведения.
Значительное внимание при написании конспекта лекций уделено физической трактовке рассматриваемых понятий и закономерностей. Теоретические положения, методы и возможные средства контроля знаний «Задание – тест» иллюстрируются примерами в конце каждого раздела.
Однако не все разделы программы освещены в полной мере. Для более полного изучения некоторых разделов дисциплины студент может обратиться к литературе, указанной в ссылках конспекта, а также в списке литературы.
Автор.
Введение
В настоящее время в России по-новому оценивают потенциал информационных технологий. Проявляется значительный общественный интерес к происходящим изменениям в информационных технологиях. Важное место в этих бесспорно положительных процессах занимает федеральная целевая программа «Электронная Россия (2002-2010 года)» [13]. Одной из основных задач которой является расширение подготовки специалистов по информационным технологиям и квалифицированных пользователей.
Основой решения многих теоретических проблем по созданию новых более совершенных информационных технологий является теория информации, представляющая возможности для комплексного информационного рассмотрения сложных систем. Создание общей теории информации позволяет подходить к анализу и синтезу систем с единых позиций. При этом современная теория информации базируется на статистических (вероятностных) принципах. Последнее объясняется, во-первых, тем, что сигналы, несущие информацию, всегда являются случайными функциями времени, и, во-вторых, тем, что требование максимальной дальности действия современных радиосистем при минимальных энергетических и прочих материальных затратах не позволяет игнорировать влияние помех, представляющих, как правило, также случайные процессы.
Современная статистическая теория связи, начало которой положено фундаментальными работами К.Шеннона и В.А.Котельникова, использует совершенные математические методы для синтеза и оценки качества самых разнообразных информационных систем.
Организация обмена информацией в современном мире приобретает все большее значение, прежде всего, как условие успешной практической деятельности людей. Объем информации, необходимой для нормального функционирования современного общества, растет примерно пропорционально квадрату развития производительных сил. Доля рабочей силы, занятой вопросами обеспечения информацией, в развитых странах начинает превышать долю рабочей силы, занятой непосредственно в сфере производства. Это и оптимизация и автоматизация информационно-телекоммуникационных технологий позволит повысить эффективность функционирования экономики страны и высвободить значительные трудовые ресурсы.