2. Сжатие информации

Под сжатием информации (или сжатием данных) понимается устранение избыточности сообщений. Как уже было сказано, реальные сообщения имеют достаточно большую избыточность. Частично избыточность связана с повышением помехоустойчовости (например, речь, корректирующие коды), частично это дань способам отображения информации (в частности, двоично-десятичный код). Определим количественную оценку избыточности. Если максимально допустимая энтропия источника равна H_макс (это, например, соответствует равным вероятностям букв русского алфавита), а реальная H(x), избыточность

.

(2.1)

Из (2.1) вытекает диапазон изменения избыточности: 0R(x) 1, причём, чем больше R(x), тем меньше информационная ёмкость сообщений. Существует несколько разных групп методов снижения избыточности: аппаратные, математические, лингвистические, кодовые.

Рассмотрим наиболее распространённые.

1. Адаптивная дискретизация, разностная и дельта-модуляция.

Адаптивная дискретизация осуществляется с переменным шагом, причем величина шага обратно пропорциональна производной сигнала:

,

(2.2)

где c - константа.

Оценим выигрыш по эффективности, вычислив среднюю тактовую частоту. Будем считать, что выбирается по два отсчёта относительно мгновенной частоты, а она, в свою очередь, пропорциональна производной:

.

(2.3)

Математическое ожидание

.

(2.4)

Плотность распределения производной вычисляется для каждого распределения индивидуально по способу, изложенному, например, в [14].

Относительный проигрыш в производительности

.

(2.5)

Возможны и другие способы оценивания эффективности адаптивной дискретизации [2.1], в том числе коэффициент сжатия:

Кср = F/Fд.,

(2.6)

где F - полоса частот при равномерной дискретизации, F_д - полоса частот при адаптивной дискретизации.

Коэффициент сжатия зависит от распределения сигнала и вида спектра; в частности, при нормальном распределении и равномерном спектре:

Kс = 2.17 xмакс/х,

(2.7)

где x_макс - максимальная амплитуда сигнала, _х - его с.к.о.

Из (2.7) видно, что чем меньше _х (то есть, чем уже распределение), тем эффективнее сжатие.

Структура адаптивного дискретизатора приведена на рис.2.1. Здесь УВХ- устройство выборки-хранения, Д-дифференциатор. Под воздействием дифференциатора изменяется частота срабатывания УВХ. Недостатком этой схемы является наличие дифференциатора, который чувствителен к помехам, особенно импульсам и высокочастотным.

Лучшие характеристики имеет схема, представленная на рис.2.2. Здесь И-интегратор.

Выбор частоты дискретизации в большой степени зависит от способа восстановления дискретизированного сигнала. Из раздела 1.4 следует, что восстановление по формуле (1.118) невозможно из-за физической нереализуемости фильтра с прямоугольной частотной характеристикой. На практике наиболее часто восстанавливают непрерывное колебание с помощью полиномов низких степеней. Выбор полиномов низкой степени определяется снижением эффективности аппроксимации при дальнейшем увеличении степени. Так, при восстановлении синусоидального колебания полиномами первой степени вместо нулевой с погрешностью 1% точность возрастает в 100  раз [7].

При восстановлении непрерывных колебаний возможно решение задач экстраполяции и интерполяции. В первом случае следующее значение вычисляется (восстанавливается) из предыдущего на основании знания этого значения и производной в этой точке. Метод поясняется чертежом на рис.2.3. На основании значения сигнала в точке t₁(U(t₁)) и его производной (U'(t₁)) проводится прямая линия до момента времени t₂. Если за интервал времени t=t₂ – t₁ , производная изменится, экстраполированное значение U_э(t₂) отличается от действительного U(t₂) на величину U=|U(t₂)-U_э(t₂)|. Величина U зависит от значения второй производной в точке t₂ и минимальна при . Если это условие не выполняется, необходимо делать поправку с учетом величины и знака второй производной.

Интерполяция - это восстановление колебания по известным значениям. Она может выполняться по хорошо разработанным методикам, например, квадратичной аппроксимации Ньютона или с помощью полиномов Лежандра [15].

Один из широко используемых методов сжатия данных - разностная модуляция. Суть её заключается в том, что в дискретные такты передаются не абсолютные значения символов, а разности относительно предыдущих отсчётов:

U(tк)=U(tк)-U(tк-1).

(2.8)

Оценим эффективность этого метода, предполагая, что сигнал U(t) непрерывный и дифференцируемый во всех точках. На основании теоремы о конечных приращениях выразим разность:

.

(2.9)

Вместо производной можно записать частоту f в предположении единичной амплитуды. Вычислим среднее значение частоты сигнала:

,

(2.10)

где Suu(f) - спектральная плотность мощности.

Тогда

.

(2.11)

Поскольку длина кода пропорциональна двоичному логарифму амплитуды, сигнал предполагается ограниченным по частоте значением f_в, а по теореме Котельникова , выигрыш от разностной модуляции можно вычислить по формуле:

.

(2.12)

В наиболее неблагоприятном случае при равномерном распределении мощности от 0 до f_в интеграл в знаменателе равен f_в/2, что дает коэффициент сжатия КC=2. Наиболее часто распределение частоты по экспоненциальному закону: S_uu(f)=e^-f . Тогда

,

(2.13)

то есть, чем круче спадает характеристика, тем выше коэффициент сжатия.

Структурная схема разностного модулятора представлена но рис. 2.4. Здесь обозначено: УВХ - устройство выборки-хранения;  - вычитатель аналоговых сигналов; Т - таймер (дискретизатор), К - ключ. По командам от таймера УВХ запоминает мгновенное значение сигнала с какой-то задержкой. Вначале вычитатель через ключ К заносит разность мгновенного значения входного сигнала и его предыдущего значения на АЦП, где и образуется код разности. После этого на УВХ устанавливается новое мгновенное значение сигнала.

Структура демодулятора представлена на рис. 2.5. Демодулятор состоит из накапливающего сумматора и ЦАП. Поступающий на него код разности суммируется с предыдущим кодом, после чего преобразуется в аналоговую величину.

Дельта-модуляция - предельная ситуация разностной модуляции [13]. Её сущность лучше проиллюстрировать на временной диаграмме, приведенной на рис. 2.6. Выбирается величина шага по амплитуде , запоминается начальное значение сигнала и отслеживаются изменения его амплитуды относительно запомненного значения. Как только текущая амплитуда изменяется относительно этого значения на величину , модулятор вырабатывает импульс превышения и одновременно запоминает новое значение сигнала. В дальнейшем процесс повторяется. Как видно из рис.2.6, положительному приращению сигнала соответствует положительный импульс, отрицательному - наоборот. Достоинством - модуляции является её очень высокая помехоустойчивость: приёмнику достаточно отличить положительный импульс от отрицательного.

К ак видно из рис. 2.6, частота импульсов прямо пропорциональна производной сигнала и обратно пропорциональна величине приращения . Структурная схема модулятора приведена на рис.2.7.

Здесь обозначено: К - компаратор. УВХ хранит предыдущее мгновенное значение входного сигнала, К имеет характеристику идеального трёхпозиционного реле: при положительном приращении сигнала + он выдаёт положительный импульс, при отрицательном - отрицательный. С каждым импульсом компаратора УВХ запоминает новое значение сигнала.

Демодулятор показан на рис.2.8. Здесь Д - детектор полярности принимаемого импульса; МП - мультиплексор;  - аналоговый сумматор. Под действием принимаемых импульсов Д переключает мультиплексор на суммирование положительных или отрицательных приращений, а сумматор накапливает эти приращения.

Недостатком -модуляции является специфическая ошибка, называемая ошибкой накопления. Сущность её заключается в том, что если приёмник не принял один из импульсов или принял его неверно, на выходе появляется ошибка величины , которая при дальнейшей работе не уничтожается, а накапливается. Если канал связи симметричный, то есть вероятности искажения положительных и отрицательных импульсов одинаковы, на большом интервале времени средняя ошибка стремится к нулю, но возрастает дисперсия ошибки. При несимметричном канале связи -модуляция вообще неприменима, так как неизбежно приводит к неприемлемым ошибкам.

Второй недостаток -модуляции - она требует абсолютно прозрачного канала связи. Это означает, что, поскольку те и другие импульсы в принципе появляются случайно во времени, канал связи между передатчиком и приёмником должен поддерживаться постоянно. Вследствие этого -модуляция используется для очень низкочастотных случайных процессов. Например, это могут быть сигналы от стационарных производственных процессов (информация о частоте в энергосистеме, о давлении газа в газопроводе и т. д.).

В заключение отметим, что в некоторых случаях положительные и отрицательные импульсы заменяются кодами. Например, в системах телемеханики [39] сигналы -модуляции выдаются двухразрядным двоичным кодом, в котором положительное приращение передаётся кодом 01, отрицательное - кодом 10, а отсутствие приращения - кодом 11.