- •Системы электрической связи. Общие сведения о системах электросвязи. Основные понятия и определения
- •Часть 1
- •Раздел 1. Элементы общей теории сигналов
- •1.1 Классификация сигналов
- •1.2. Некоторые элементы функционального анализа сигналов
- •1.3 Основы теории ортогональных сигналов
- •Раздел 2. Спектральные представления сигналов
- •2.1. Понятие о спектре периодических и непериодических сигналов
- •2.2 Спектральное представление периодических сигналов
- •2.3 Спектральное представление непериодических сигналов
- •2.4 Теоремы о спектрах
- •2.5 Спектральные представления сигналов с использованием негармонических функций
- •Раздел 3. Сигналы с ограниченным спектром
- •3.1. Некоторые математические модели сигналов с ограниченным спектром
- •3.2 Теорема Котельникова
- •3.3. Узкополосные сигналы
- •3.4. Аналитический сигнал и преобразования Гильберта
- •Раздел 4. Основы корреляционного анализа сигналов
- •4.1. Взаимная спектральная плотность сигналов. Энергетический спектр
- •4.2. Автокорреляционная функция сигналов
- •4.3. Акф дискретного сигнала
- •4.4. Взаимокорреляционная функция двух сигналов
- •Раздел 5. Модулированные сигналы
- •5.1. Сигналы с амплитудной модуляцией
- •5.2 Сигналы с угловой модуляцией
- •5.3. Дискретные формы угловой модуляции
- •5.4 Сигналы с импульсной модуляцией
- •Раздел 6. Основы теории случайных процессов
- •6.1. Случайные процессы. Основные понятия и определения
- •6.2. Характеристики случайных процессов
- •6.3. Моментные функции случайных процессов
- •6.4. Свойства случайных процессов
- •6.5. Функция корреляции двух случайных процессов
- •6.6. Измерение характеристик случайных процессов
- •6.7. Спектральное представление стационарных случайных процессов. Теорема Винера-Хинчина
- •6.8 Типовые модели случайных сигналов
- •6.9 Узкополосные случайные сигналы
- •Раздел 7. Основные элементы цифровой обработки сигналов
- •7.1. Дискретное преобразование Фурье
- •7.2. Быстрое преобразование Фурье
- •7.3 Z-преобразование
- •Раздел 1.Каналы электросвязи
- •Тема1.1 Общие сведения о каналах электросвязи и их классификация
- •1.2 Математические модели каналов электросвязи
- •1.2.1 Математические модели непрерывных каналов связи
- •1.2.2 Математические модели дискретных каналов связи
- •Раздел 2 Основные положения теории передачи информации
- •2.1 Информационные параметры сообщений и сигналов
- •2.2 Взаимная информация
- •Эффективное кодирование дискретных сообщений
- •Тема 2.4. Информация в непрерывных сигналах
- •Тема 2.5. Пропускная способность канала связи
- •Тема 2.6. Теорема к. Шеннона
- •Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
- •Раздел 3. Оптимальный приём дискретных сообщений
- •Тема 3.1. Постановка задачи оптимального приёма дискретных сообщений как статистической задачи. Понятие помехоустойчивости
- •3.2. Элементы теории решений
- •3.3. Критерии качества оптимального приёмника
- •3.4 Алгоритм оптимального приёма при полностью известных сигналах. Когерентный приём
- •3.5 Структурное построение оптимального приёмника
- •3.6 Реализация алгоритма оптимального приёма на основе согласованных фильтров. Свойства согласованного фильтра
- •3.8 Потенциальная помехоустойчивость систем с различными видами манипуляции
- •3.9 Приём сигналов с неопределённой фазой (некогерентный приём)
Тема 2.7. Информация в непрерывных сообщениях. Эпсилон-энтропия
Для передачи непрерывного сообщения с абсолютной точностью нужно было бы передать бесконечно большое количество информации, что, разумеется, невозможно сделать за конечное время, пользуясь каналом с конечной пропускной способностью. Точно так же непрерывное сообщение нельзя абсолютно точно запомнить (записать) при наличии сколь угодно слабой помехи.
Тем не менее, непрерывные сообщения (например, телевизионные, телефонные) успешно передаются по каналам связи и записываются. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного и записанного сообщения. А для передачи даже с самой высокой, но ограниченной точностью требуется конечное количество информации так же, как и при передаче дискретных сообщений. Это количество информации тем больше, чем выше точность, с которой требуется передать (воспроизвести) непрерывное сообщение. Пусть допустимая неточность измеряется некоторым малым параметром . То минимальное количество информации, которое требуется передать по каналу связи для воспроизведения непрерывного сообщения с неточностью не более допустимой, академик А.Н.. Колмогоров предложил называть-энтропией (эпсилон-энтропией)
Критерий , определяющий требуемую точность, может быть различным. Будем называть два варианта сообщений, различающиеся не более, чем на, эквивалентными. Это значит, что если послано одно сообщение, а принято другое, эквивалентное ему, то по данному критерию переданное сообщение считается принятым верно. Так, в системе телефонной связи, если необходимо передать лишь содержание речи, то один и тот же текст, разборчиво прочитанный двумя различными дикторами (например, мужчиной и женщиной), представляет собой эквивалентные сообщения, несмотря на то, что они резко различны даже по спектру. Критерием эквивалентности сообщений здесь является разборчивость речи. При художественных вещательных передачах такой критерий не является приемлемым, ибо в этих случаях существенны и более тонкие характеристики сообщения.
В дальнейшем удобнее будет оперировать не с передаваемым непрерывным сообщением А, а с первичным сигналом В и его реализациями b(t). Дело в том, что непрерывное сообщение А может и не быть функцией времени либо быть функцией нескольких аргументов (например, при телевизионном вещании). Первичный сигнал B(t) в современных системах связи всегда является функцией времени. В тех случаях, когда и сообщение является функцией времени (например, при телефонной связи), первичный сигнал B(t) точно повторяет функцию A(t) и отличается от сообщения только физической природой [например A(t) – звуковое давление, B(t) – ток]. Будем считать, что преобразование сообщения в первичный сигнал обратимо и точность воспроизведения B(t) предопределяет точность воспроизведения A(t). Поэтому в дальнейшем под сообщением будем понимать первичный сигнал В(t).
Обеспечение необходимой верности передачи является обязательным требованием к любой системе связи. При передаче дискретных сообщений верность передачи определяется вероятностью правильного приёма (или вероятностью ошибки). Такое определение верности можно распространить и на непрерывные сообщения если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будем понимать вероятность того, что принятое сообщение b(t) эквивалентно переданному b(t).Перейдём к количественному определению -энтропии.
Минимальное количество информации, содержащееся в принятом сообщении относительно переданногоB(t), при котором они ещё эквивалентны, называется эпсилон-энтропией.
По определению
(2.40)
Рассмотрим наиболее простой случай, когда источник непрерывного сообщения (сигнала) гауссовский, то есть когда сообщение B(t) представляет собой стационарный гауссовский процесс с заданной мощностью . Поскольку, то условная дифференциальная энтропия при заданном сообщении B) полностью определяется так называемым шумом воспроизведения (t). Поэтому . Если шум воспроизведения(t) имеет фиксированную дисперсию , то дифференциальная энтропияh() имеет максимум при нормальном распределении
(2.41)
При заданной дисперсии сообщения дифференциальная энтропия гауссовского источникаh(B) равна . Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчёт:
(2.42)
Величина характеризует минимальное отношение сигнал-шум, при котором сообщенияB(t) и ещё эквивалентны. Это отношение обычно обозначают.
Производительность непрерывных сообщений можно определить как количество информации, которое необходимо передать в единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности. Если источник выдает независимые отсчёты сообщения (сигнала) дискретно во времени со средней скоростью V, то его эпсилон-производительность:
(2.43)
Эпсилон-производительность называют так же скоростью создания информации при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой , согласно теореме Котельникова, шаг дискретизации, то есть необходимое число отсчётов в секунду равно. Если спектр сообщения в полосеравномерен, то эти отсчёты некоррелированы, а для гауссовского источника и независимы. В этом случае:
(2.44)
Подставив (2.42) в (2.44), получим для гауссового источника с равномерным спектром в полосе
(2.45)
Из предыдущих рассуждений ясно, что производительность гауссовского источника квазибелого шума (2.45) больше производительности любого другого источника с той же мощностью и той же шириной спектра при том же допустимом шуме воспроизведения , Количество информации, выдаваемое гауссовским источником за время,
(2.46)
Выражение (2.46) совпадает с характеристикой, названной объёмом сигнала, если . Это означает, что объём сигнала равен максимальному количеству информации, которая содержится в сигнале длительностью.
Для канала с пропускной способностью С, на вход которого подключён источник, обладающий производительностью , К. Шеннон доказал следующую теорему: если при заданном критерии эквивалентности сообщений источника, его эпсилон-производительность меньше пропускной способности канала, то существует способ кодирования и декодирования, при котором неточность воспроизведения сколь угодно близка к. Притакого способа не существует.
Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом.