
- •1. Понятие информации
- •1.1. Предмет, место и роль теории информации и передачи сигналов
- •1.2. Предмет и метод теории информации
- •1.3. Этапы обращения информации
- •1.4. Типовая структурная схема информационной системы. Разновидности информационных систем
- •1.5. Виды информации
- •1.6. Структура информации
- •1.7. Устранение избыточности информации
- •2. Измерение информации
- •2.1. Структурные меры информации
- •2.1.1. Геометрическая мера
- •2.1.2. Комбинаторная мера
- •2.1.3. Аддитивная мера информации
- •2.2. Статистические меры информации
- •2.2.1. Вероятность и информация
- •Двоичные однопредметные явления
- •Двоичные двухпредметные явления
- •Понятие энтропии
- •Энтропия ансамбля
- •Энтропия объединения
- •Количество информации и избыточность
- •2.3. Семантические меры информации
- •2.4. Другие меры полезности информации
- •2.4.1. Энтропия, шум и тезаурус
- •3. Информационные характеристики источника сообщений и канала связи
- •3.1. Основные понятия и определения
- •3.2. Информационные характеристики источника дискретных сообщений
- •3.2.1. Модели источника дискретных сообщений
- •3.2.2. Свойства эргодических последовательностей знаков
- •3.2.3. Избыточность
- •3.2.4. Производительность источника дискретных сообщений
- •3.3. Информационные характеристики дискретных каналов связи
- •3.3.1. Модели дискретных каналов
- •3.3.2. Скорость передачи информации по дискретному каналу
- •3.3.3. Пропускная способность дискретного канала без помех
- •3.3.4. Основная теорема Шеннона о кодировании для дискретного канала без помех
- •3.3.5. Пропускная способность дискретного канала с помехами
- •3.3.6. Основная теорема Шеннона о кодировании для дискретного канала с помехами
- •3.4. Информационные характеристики источника непрерывных сообщений
- •3.5. Информационные характеристики непрерывных каналов связи
- •3.5.1. Модели непрерывных каналов связи
- •3.5.2. Скорость передачи информации по непрерывному каналу
3. Информационные характеристики источника сообщений и канала связи
3.1. Основные понятия и определения
Рассмотрим информационные характеристики источника сообщений и канала связи, позволяющие установить пути повышения эффективности систем передачи информации и, в частности , определить условия , при которых можно достигнуть максимальной скорости передачи сообщения по каналу связи как в отсутствие , так и при наличии помех .
Источники сообщений и каналы связи в системах передачи отличаются большим разнообразием по своей структуре и физической природе. Используются механические, акустические, оптические, электрические и радиоканалы. Для выяснения общих закономерностей необходимо абстрагироваться от их конкретного физического воплощения и оперировать формализованными понятиями источника сообщений и канала связи.
Источник дискретных сообщений формирует дискретные последовательности из ограниченного числа элементарных сообщений. На выходе источника непрерывных сообщений образуются непрерывные сообщения. Источник сообщений в теории информации полностью определяется статистическими данными о формируемых им сообщениях.
Под каналом связи подразумевают совокупность устройств и физических сред, обеспечивающих передачу сообщений из одного места в другое (или от одного момента времени до другого). Если канал используется для передачи дискретных сообщений, он называется дискретным каналом. Непрерывным будем называть канал, предназначенный для передачи дискретных сообщений.
Рис.3.1.
Дискретный канал связи
Так как в процессе передачи дискретных сообщений модулятором в соответствии с поступающей последовательностью символов осуществляется изменение информативного параметра непрерывного (чаще всего высокочастотного) сигнала, генерируемого передатчиком в линию связи, то часть дискретного канала от выхода модулятора до входа демодулятора (рис.3.1) является непрерывным каналом связи. Включив в состав этого канала на передающей стороне модулятор, а на приёмной – демодулятор, получим дискретный канал , характеризуемый на входе множеством символов U , а на выходе – множеством символов V .
Для достижения определённых целей в указанный дискретный канал могут быть введены кодирующие и декодирующие устройства. При этом получаем дискретный канал связи, на вход которого поступают сообщения Z, а выходом являются сообщения W , направляемые адресату. Отметим, что непрерывные сообщения z(t) путём дискретизации и квантования всегда можно преобразовать в дискретные и, т.о., перейти от непрерывного канала к дискретному.
Если вредным действием помех в канале можно пренебречь, то для анализа используется модель в виде идеализированного канала, называемого каналом без помех. В идеальном канале каждому сообщению на входе однозначно соответствует определённое сообщение на выходе и наоборот .
Когда требования к достоверности велики и пренебрежение неоднозначностью связи между сообщениями Z u W недопустимо, используется более сложная модель – канал с помехами.
Канал считается заданным, если известны статистические данные о сообщениях на его входе и выходе и ограничения, накладываемые на входные сообщения физическими характеристиками канала . Канал прямой передачи (от источника сообщений к их получателю), дополненный обратным каналом , например , для запроса повторной передачи в случае обнаружения ошибки , называют каналом с обратной связью .