5.1.3. Кодирование сообщений с заданной мерой верности

Доказано, что кодирование без ошибок возможно тогда, и только тогда, когда среднее число бит, используемое на одну букву сообщения, больше или равно энтропии источника Н(А). Если при кодировании использовать N бит на букву и (среднее чмсло бит на букву источника) меньше H(A), то восстановление (декодирование) исходного сообщения без ошибок невозможно ни при каком способе кодирования. В этом случае можно найти минимальное число символов на букву или на единицу времени, требуемое для кодирования букв источника таким образом, чтобы по кодовой последовательности двоичных символов можно было восстановить сообщение с заданной мерой верности. Ясно, что этот предел будет зависеть от статистики источника, меры искажения и критерия верности.

Пусть источник выдает сообщение А={а_i}^K_i=1 (K – объем алфавита источника), которое кодируется с использованием N<H(A) бит на букву. На выходе декодера восстанавливается сообщение ={ }^K_i=1, которое теперь не будет точно совпадать с исходным сообщением А. Оно будет восстановлено с некоторой ошибкой (А, )0, среднее значение которой

(5.11)

где черта означает усреднение по ансамблю возможных сообщений. В качестве меры искажений часто используется функция вида

(5.12)

Такая мера искажений является приемлемой во всех случаях, когда требуется точное воспроизведение букв источника и все ошибки считаются одинаково нежелательными. Действительно, при  = _н среднее искажение на букву есть просто средняя вероятность ошибки на букву источника Р₀:

(5.13)

А теперь определим энтропию источника H() как функцию искажений . Сделаем это для источника без памяти, входом которого являются сообщения А_к, а выходом декодера — сообщения . Количество информации, содержащееся в восстановленном на выходе декодера сообщении относительно исходного сообщения А, определяется известным соотношением

(5.14)

где безусловная энтропия Н(А) определяется выражением , а условная энтропия

(5.15)

Минимальное количество бинарных символов (бит), которое необходимо для представления сообщения А с ошибкой , не превышающей некоторого заданного значения ₀, определяется эпсилон-энтропией:

(5.16)

Согласно (5.14) для заданного источника

(5.17)

где максимум берется по всем условным распределениям P(а_i/а_j), удовлетворяющим условию . Для любого источника можно вычислить предельное значение ошибки ₀ как функцию Н_ (А) и определить среднюю ошибку при заданном способе кодирования-декодирования. Тогда можно сформулировать следующую теорему.

Теорема. При любом способе кодирования сообщений источника и Н_(А)0; 1) ; 2) существует способ кодирования-декодирования, при котором средняя ошибка будет сколь угодно близкой к ₀.

Пусть  = _Н (5.12). Тогда при Н_(А)Н(А) может быть достигнута ошибка  = ₀ = 0, что соответствует утверждению теоремы 1. Для двоичного источника, вырабатывающего статистически независимые двоичные символы 0 и 1, согласно (5.17) и (5.13)

(5.18)

где h() —функция, характеризующая энтропию двоичной случайной величины (8.3). При Н_(А)Н(А)=1 ошибка ₀ = 0. Для источника с объемом алфавита К на основании (5.17) имеем

(5.19)

Уравнения (5.18) и (5.19) позволяют вычислить предельную ошибку ₀ при заданной эпсилон-энтропии источника Н_ (А).

При передаче кодовых символов по каналу возникают дополнительно ошибки за счет шумов в канале. Для дискретного канала с шумами справедлива следующая теорема, которую часто называют основной теоремой Шеннона.

Теорема. 1) Если скорость передачи меньше или равна пропускной способности канала (R  C), то можно найти такой способ кодирования-декодирования (построить такой кодек канала), при котором частота ошибок Р₀ (ошибка декодирования) при передаче по каналу будет сколь угодно малой. 2) При R>С значение ошибки Р₀ отлично от нуля.

Так как ошибки за счет шумов в канале могут быть сколь угодно малыми, то их влиянием на полную ошибку можно пренебречь и решать задачу представления (кодирования) источника отдельно от задачи передачи кодовых символов по каналу (кодирования канала). В модели системы передачи информации отдельно представлены кодек источника и кодек канала.

5.1.4. Совместное кодирование для источника и канала

Оптимальную по Шеннону СПИ можно построить либо по схеме с раздельным кодированием для источника и для канала, либо по схеме с совместным кодированием, в которой функции кодирования для источника и для канала объединены в одном блоке-передатчике, а функции декодирования для канала и для источника — в другом блоке-приемнике. В принципиальном отношении эти схемы, очевидно, равноценны. Однако их практическая реализация и соответственно их сложность могут быть существенно различными. Известно, что при данной эффективности  = Н_(А)/С и заданной верности , достигаемых при раздельном кодировании источника и канала, существует система совместного кодирования для тех же источника и канала, которая при той же эффективности обеспечивает ту же верность  и будет, по крайней мере, не сложнее системы раздельного кодирования. Это указывает на весьма привлекательную сторону совместного кодирования — возможность уменьшения сложности по сравнению с системами раздельного кодирования. Покажем эту возможность на примере СПИ, в которой используют линейное кодирование как для источника, так и для канала. Источник будем считать двоичным без памяти с параметром q. Он выдает последовательность случайных символов а₁, а₂, ..., a_k, таких, что Р(а₁=1)=1-Р(a_i=0)=q для всех i. Согласно (8.3) энтропия такого источника H(A)=h(q) на цифру (букву). Это минимальное в среднем число бит, которое необходимо для восстановления буквы источника с произвольно малой ошибкой (кодирование без искажений). Эпсилон-энтропия двоичного источника согласно (5.18)

(5.20)

где  = P₀ — побуквенная вероятность ошибки при восстановлении; H_(А) определяет минимальное число бит на букву источника, необходимое для восстановления сообщения с ошибкой, не превышающей  (случай кодирования сообщений с искажениями). Эффективность кодека источника при этом

 = H_(А) / log m = H_(А), которая в пределе при 0 равна _и = Н(А). Для передачи двоичных символов с выхода кодера источника используют двоичный симметричный канал без памяти с параметром р=Р(1/0)=Р(0/1). Пропускную способность такого канала определяют по формуле C=v C_N = v [1h(p)], а эффективность кодека канала _k= log m / C_N = l / C_N. Общая эффективность системы = _и_k = H_(А) / С_N. При кодировании без искажений ( = 0) эффективность достигает предельного значения =Н(А)/С_N. Блочный линейный (N, К) двоичный кодер определяется с помощью порождающей матрицы G размерности KN и ранга К линейным оператором.

(5.21)

где B=(b₁, b₂, …, b_K)—информационный вектор-строка, определяющий кодовую последовательность на входе кодера канала, a U = (и₁, и₂, ..., u_N) — передаваемая по каналу последовательность двоичных символов. Операции в (8.21) и далее для всех матриц и векторов производятся в арифметике по модулю 2. Скорость кода R_K = K / N. Известно, что для данного >0 и R_K < С_N- существуют при достаточно большом N линейные (N, К) кодеры и соответствующие декодеры, такие, что средняя ошибка при использовании двоичного симметричного канала с пропускной способностью С_N независимо от статистики сообщений источника. Для данной матрицы G всегда найдется матрица Н (ее называют проверочной) размерности (N-К)N и ранга N - К, что

(5.22)

где Т — означает транспонирование. Данный вектор U является кодовым словом для какого-либо информационного вектора В тогда, и только тогда, когда UH^T = 0. Если записать принятый на выходе канала вектор Y=(y₁, y ₂, ...,y_N) в виде Y = U+E, где E=(e₁, e₂, ..., e_N) — шумовая последовательность, тогда из (5.23) следует, что

(5.23)

Вектор-строка S=(s₁, s₂, ..., s_N-K) называется синдромом и зависит только от шумовой последовательности Е.

Из теории кодирования известно, что без потери оптимальности декодер для линейного кода может быть построен в виде, изображенном на рис. 5.5. Наиболее сложным для реализации в этой схеме является «оцениватель шумовой последовательности». Блочный линейный (N, K) кодер источника определяется с помощью двоичной матрицы Н (N-К)N и ранга N - К оператором вида

(5.24)

где A=(a₁, a₂, ..., a_N) — исходное сообщение и B=(b₁, b₂, ..., b_N-K) — закодированное сообщение на выходе кодера источника.

Рис. 5.5. Схема синдромного декодера линейного кода

При кодировании источника без искажений, когда требуется воспроизведение сообщений источника с пренебрежимо малой (но не нулевой) ошибкой , для симметричного двоичного канала с переходной вероятностью р, равной q, где будем считать 0q¹/₂, существует линейный кодер канала (G_K, H_K), такой, что для любого данного >0 он имеет скорость

(5.25)

и достигает вероятности ошибки на букву в оцениваемом кодовом слове не более . Для этой схемы кодирования вероятность ошибки на букву в векторе Е на рис. 8.2 совпадает с вероятностью ошибки на букву в векторе U. Таким образом, если использовать те же самые матрицы в качестве G_и и Н_и в схеме кодирования источника и тот же самый «оцениватель шумовой последовательности», то из предыдущего следует, что вероятность ошибки на букву при восстановлении сообщения будет той же самой, т. е. не более . Эффективность кодека источника при этом

(5.26)

и может быть сделана сколь угодно близкой к предельному значению _и=Н(А). Таким образом, линейное кодирование источника не влечет за собой потери эффективности (оптимальности), когда требуется восстановление сообщений источника с пренебрежимо малой ошибкой. Для канала же линейное кодирование, как уже отмечалось, всегда может быть выполнено оптимальным. Кроме того, если N_и—K_и = N_K, что всегда может быть достигнуто увеличением длины блоков в целое число раз, то для совокупной комбинации этих двух линейных систем можно записать

(5.27)

Оператор D=H^T_иG_K можно рассматривать как матрицу, определяющую совместный линейный кодер источника и канала. Тогда оператор совместного декодера запишется в виде

(5.28)

Реализация матрицы D в общем случае значительно проще, чем раздельная реализация матриц Н^T_и и G_К. Следовательно, совместное линейное кодирование для источника и канала не вызывает потери эффективности в случае, когда требуется восстановление сообщений с пренебрежимо малой ошибкой («без искажений»). При этом сложность системы совместного кодирования может быть проще, чем системы с раздельным кодированием.

При кодировании с искажениями совместное кодирование может привести к заметной потере эффективности по сравнению с эффективностью системы раздельного кодирования.

5.1.5. Информационные характеристики источника непрерывных сообщений

Источник непрерывных сообщений характеризуется тем, что за некоторое конечное время Т он может выдать любую из бесконечного множества реализацию сообщения (первичного сигнала). Сообщение при таком подходе представляют в виде случайного процесса, который определяют как ансамбль случайных функций {b_k(t), tT}^_k=1, где t — дискретный или непрерывный параметр. Ансамбль реализаций непрерывного источника бесконечен, а вероятность появления отдельных реализаций равна нулю. Если попытаться определить энтропию такого источника путем предельного перехода, то она окажется бесконечной. Однако это не означает, что информация, интересующая получателя и подлежащая передаче по каналу, также бесконечна.

В общем случае моделью непрерывного сообщения (первичного сигнала) является нестационарная случайная функция b(t), отличная от нуля на конечном интервале Т, т. е. финитная случайная функция. Такая модель хорошо отражает реальные сообщения, но она сложна для математического анализа в силу нестационарности. Более удобна модель в виде стационарной случайной функции, определяемой на всей оси t. Такая модель отражает важнейшее свойство реальных сообщений — их непредсказуемость с нулевой ошибкой. Из условия непредсказуемости следует, что спектральная плотность таких сообщений не может быть ограничена, т. е. она не равна, нулю на оси частот. Стационарная случайная функция может быть представлена рядом

(5.29)

где — некоррелированные случайные величины; _k(t) — орты (базисные функции), определяемые из интегрального уравнения, зависящего от функции корреляции процесса B(t). В силу трудностей определения _k(t) и сложности их вида, а следовательно, и сложности их реализации модель (8.29) до сих пор не получила применения на практике. Более широкое применение нашла модель в виде функции, ограниченной по спектру. Согласно теореме Котельникова такую функцию можно представить в виде ряда по ортогональным функциям:

(5.30)

где

Длительность реальных сигналов всегда ограничена некоторым интервалом Т. Для таких сигналов ряд (5.30) переходит в сумму

(5.31)

где n=2TF_c — число отсчетов.

Функции с ограниченным спектром относятся к классу целых аналитических функций. Аналитичность функции обусловливает возможность их экстраполяции с нулевой ошибкой (их предсказуемость). Следовательно, такая модель сообщения в виде ансамбля (5.31) не отражает основное свойство сообщения нести информацию. Однако эта модель нашла широкое распространение в теории связи в силу своей простоты.

Многие реальные сообщения достаточно хорошо аппроксимируются моделью гауссовского процесса. Так, речевой сигнал можно представить в виде стационарного нормального процесса с корреляционной функцией

(5.32)

где 10³ Гц, f₀ = 400 Гц.

Сигналы черно-белого изображения для различного типа сюжетов также хорошо описываются стационарным нормальным случайным процессом b(t₁, t₂) с корреляционными функциями.

Гауссовская модель достаточно хорошо аппроксимирует и многие телеметрические сообщения. Помимо допущения о нормальности, процессы с корреляционными функцией (5.32) можно считать марковскими. Таким образом, в качестве модели непрерывного сообщения можно принять стационарный гауссовский марковский процесс, который адекватен широкому классу реальных сообщений.

Предположим, что выходом источника является первичный сигнал b(t), который представляет собой реализацию случайного процесса B(t) с шириной полосы частот F_c Гц. Такой процесс согласно (5.30) можно представить последовательностью {A_k,=b(kt)}^_k= отсчетов, взятых с частотой 2F_c. Такой процесс невозможно закодировать в последовательность кодовых символов так, чтобы по этой последовательности можно было точно его восстановить на выходе декодера. В таких случаях можно только потребовать, чтобы восстановленное сообщение аппроксимировало исходное сообщение b(t) с заданным критерием верности. В качестве такого критерия часто принимают средний квадрат ошибки

(5.33)

Тогда можно определить эпсилон-энтропию источника как

(5.34)

которая определяет минимальное количество двоичных символов (бит) для представления одного отсчета первичного сигнала (сообщения) b(t) с ошибкой, не превышающей заданное значение . При определенных математических ограничениях теорема 2 остается справедливой и для источника непрерывных сообщений. В этом случае

(5.35)

где

(5.36)

— дифференциальная энтропия источника; w(b) плотность распределения первичного сигнала (сообщения);

(5.37)

—условная дифференциальная энтропия.

Тогда

(5.38)

Рассмотрим гауссовский источник, для которого сообщения на выходе представляют собой стационарный гауссовский процесс с заданной дисперсией (мощностью) ²_b=Р_b и одномерным распределением

(5.39)

Поскольку B(t) = —(t), то условная дифференциальная энтропия Н(В/ ) при заданном сообщении B(t) полностью определяется величиной ошибки (t), которую можно рассматривать как шум воспроизведения. Поэтому maxH(B/ )=max H().

Если шум воспроизведения (t) имеет фиксированную дисперсию , то дифференциальная энтропия имеет максимум при нормальном распределении:

(5.40)

При данной дисперсии первичного сигнала ²_b, дифференциальная энтропия гауссовского источника максимальна. Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчет

(5.41)

Если отдельные отсчеты сообщения независимы, то содержащаяся в них информация складывается. Пусть источник выдает независимые отсчеты сообщения дискретно во времени со скоростью v. Тогда можно определить количество информации, выдаваемое источником за одну секунду при заданном критерии верности:

(5.42)

Величина R называется производительностью источника непрерывных сообщений или скоростью создания информации источником при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой F_c, согласно теореме Котельникова, v = 2F_c. Если спектр сообщения в полосе F_c равномерен (²_b=G₀F_C, где G₀ — спектральная плотность мощности), то эти отсчеты некоррелированы, а для гауссовского источника и независимы. В этом случае

(5.43)

Для гауссовского источника с равномерным спектром в полосе F_c на основе (5.41) и (5.43) имеем

(5.44)

Из выражений (5.37) и (5.40) следует, что минимально возможная среднеквадратическая ошибка восстановления первичного гауссовского сигнала b(t)

(5.45)

При R = 0 ошибка максимальна: . При увеличении R становится возможным все более точное восстановление и в пределе, когда R можно достичь сколь угодно малой ошибки 0.

5.1.6. Цифровое кодирование непрерывных сообщений

Практически кодер источника непрерывных сообщений реализуется в виде дискретизатора, осуществляющего взятие отсчетов со скоростью v, и квантователя, представляющего собой аналого-цифровой преобразователь (АЦП), назначение которого состоит в том, чтобы последовательность отчетов непрерывного сообщения представить последовательностью двоичных символов, используя для этого N бит на один отсчет. При оптималыюм кодировании сообщений источника N = Н_(В). Реализация таких кодеков сопряжена с известными трудностями, и прежде всего связанными с катастрофическим возрастанием сложности кодека при NН_(В). Поэтому на практике используют неоптимальные кодеки, для которых N>Н_(В). В современных СПИ широко используют кодеки на основе ИКМ преобразования. В таких кодеках отсчеты выбираются равномерно со скоростью v = 2F_с, равномерно квантуются по уровню и кодируются с применением равномерных кодов. При M-уровневом квантовании объем данных на один отсчет при ИКМ I = lоg M, а скорость передачи данных R = 2F_сlоgМ. Дисперсия ошибок квантования при этом

(5.46)

где П — пик-фактор сообщения.

Для равномерного распределения П= , для нормального распределения П4. Для телефонных сообщений ПЗ, а для музыкальных передач П>10.

Для источника, сообщения которого имеют равномерное распределение вероятностей (П = ), ошибка квантования имеет наименьшее значение:

(5.47)

Для гауссовского источника (П = 4)

(5.48)

Эту ошибку можно уменьшить, применяя неравномерное квантование, при котором большие амплитуды квантуются менее точно, чем малые. При оптимальном неравномерном квантовании можно получить

(5.49)

Однако и в этом случае не достигается предельное значение ошибки, определяемое формулой (5.45).

Таким образом ИКМ-преобразование является оптимальным для источников, сообщения которых независимы и имеют равномерное распределение вероятностей. Для всех других источников это преобразование является избыточным. Применение неравномерного квантования или статистического кодирования позволяет сократить избыточность, обусловленную неравномерностью распределения вероятностей. Однако, как показывают исследования, получаемое при этом сжатие сравнительно небольшое ( = 1,1 ... 1,3).

Для более экономного представления сообщений необходимо учитывать корреляционные связи между значениями (отсчетами) первичного сигнала. Для этого, очевидно, при формировании оценки первичного сигнала в момент отсчета необходимо учитывать его значения на предшествующих отсчетах. Это возможно, в частности, с помощью разностных или дельта-представлений. На практике нашли применения простые регулярные разностные представления. Отсчеты сообщения при таких представлениях формируются путем следующих преобразований регулярных выборок b_k = b(kt), k=1, …, n, первичного сигнала b(t) на интервале Т = пt (t — шаг дискретизации): и₁=b₁, b₂ = b₂ — b₁, ... , u_k = b_k—b_k1. Первый отсчет и₁=b₁ называют опорным, а остальные u₂, u₃, ... , и_п — разностными. Восстановление выборок первого сигнала осуществляется по правилу: = и₁, =u₁+u₂, …, . По совокупности восстановленных выборок { } путем интерполяционной обработки находится интересующая нас оценка первичного сигнала . Частота дискретизации f_Д=1/t при разностных представлениях выбирается такой же, как и при дискретизации сообщения регулярными выборками (при ИКМ, например).

Разностным представлениям свойствен известный недостаток, который заключается в накоплении и размножении ошибок: ошибка в восстановлении одного отсчета приводит к ошибочному восстановлению последующих отсчетов и соответственно к искажению восстанавливаемого сообщения. По этой причине опорные отсчеты (координаты) и₁=b₁ не должны передаваться очень редко.

Дельта-представления являются некоторым развитием представлений первыми разностями. Отсчеты первичного сигнала выбираются следующими:

и₁=b_1кв/b b_1кв=bи₁

и₂=sign (b₂ -b_1кв) b_2кв=b(и₁+и₂)

. . . . . . . . . . . . . . . . .

и_k=sign (b_k –b_k-1,кв)

где b_k = b(t_k)—регулярные выборки в момент времени t_k; b_i,кв— квантованное значение b_i; b=b_m/(M—1)—шаг квантования; b_m— шкала изменения b(t); M — число уровней квантования. Как видим, значение отсчетов u_k, k = 2, 3, ... , п, определяется лишь знаком разности текущей выборки b_k и предшествующей квантованной выборки b_k-1,кв, sign x=+l при x>0 и sign x = — 1 при х<0. Объем первой координаты I(u₁)=log M, а остальных координат I(u_k)=1 бит, k = 2, 3, ..., п. Следовательно, объем сообщения (данных) при дельта-представлении

(5.50)

Дельта-представления, так же как и разностные, имеют тот же недостаток: ошибки при восстановлении сообщения накапливаются. При соответствующей процедуре формирования квантованных разностей и дельта-представлений можно избежать накопления ошибок.

Представление первичных сигналов с учетом корреляционных связей позволяет существенно уменьшить (сжать) объем данных, необходимых для представления (передачи) сообщения.

В современных СПИ кодирование сообщений источника и кодирование для канала осуществляются раздельно. Покажем, что в этой схеме достигается тот же результат, что и в схеме совместного кодирования. В этой схеме в соответствии с классической работой Шеннона под кодированием (в широком смысле) понимается преобразование сообщения в сигнал, включая все операции, производимые на передающей стороне, с целью наилучшей передачи сообщений источника по каналу с шумами. С помощью кодера источника осуществляется представление (кодирование) сообщений источника {A_k} последовательностью двоичных символов {B_k} с некоторой средней ошибкой , зависящей от эпсилон-энтропии Н_(В) или соответственно, от скорости R = H'_(B). Для гауссовского источника эта зависимость определяется соотношением. (5.45). Согласно теореме 2 при соответствующем, достаточно сложном кодировании может быть достигнута ошибка, сколь угодно близкая к предельному значению для данной скорости R. Последовательность кодовых символов с выхода кодера источника поступает на вход кодера канала, назначение которого — осуществлять надежную передачу этих символов по каналу с шумами. Согласно теореме Шеннона это возможно, если RC, где С — пропускная способность канала. На выходе системы (декодера канала) восстанавливается копия переданного сообщения { } с ошибкой .

Теорема. Для любого канала без памяти с пропускной способностью С бит/с и для любого источника с заданной мерой искажения , зависящей от R, при RC справедливо следующее: 1) ; 2) можно выбрать такой способ кодирования-декодирования, при котором будет сколь угодно близкой к .

Для гауссовского непрерывного канала с пропускной способностью, определяемой формулой Шеннона С =log(Р_с/P_ш+1), и гауссовского источника с функцией искажения вида (5.45) предельная средне-квадратическая ошибка может быть определена по формуле (5.45), если в последнюю вместо R подставить С:

(5.51)

Добиться лучшего результата, разумеется, невозможно.

5.1.7. Цифровое кодирование с предсказанием

Первичные сигналы, как правило, сильно коррелированы. Во многих случаях (речевые сигналы, видеосигналы) эта корреляция распространяется на большое число отсчетов, разнесенных во времени. Существование таких корреляций позволяет предсказать значения текущих отсчетов по ранее переданным и тем самым уменьшить (сжать) объем передаваемых по каналу данных. Предположим, что на передающем конце системы связи имеется некоторое устройство, называемое предсказателем П, которое на основании исходных данных {x_k-1}, полученных до момента времени t_k, т, е. в моменты t_k-1, t_k-2,…, t_k-m, может оценить текущий отсчет сигнала b(t_k), который обозначим b(k), оценкой , где m — порядок предсказания. Функцию _k() можно трактовать как некоторый оператор, ставящий в соответствие в k-й момент времени набору чисел (x_k-1, x_k-2, …, x_k-m) по заданному правилу (алгоритму) число . Очевидно, алгоритм должен быть таким, чтобы

(5.52)

была наименьшей.

В качестве исходных данных x_i можно использовать предыдущие отсчеты сигнала x_i = b(i) или их оценки , где i = k—1, k—2, ..., k—т. Во втором случае обеспечивается меньшая средне-квадратическая ошибка, и поэтому он чаще используется на практике.

Выбор функции предсказания () определяется априорными сведениями о статистических характеристиках передаваемых сообщений. Эта функция может быть линейной и нелинейной. Наиболее простым в реализации является линейное предсказание. В этом случае

(5.53)

Предсказание широко используется при различных способах сжатия данных. Один из них состоит в следующем. Для каждого отсчета b(k) вычисляются его оценка и разность

(k)=b(k)— . Если |(k)|<, где  — допустимая погрешность восстановления отсчета (апертура), то b(k) не передается. На приемном конце вместо отсчета b(k) используется его предсказанное значение . Так происходит до тех пора, пока |(k)|<. Если в момент k' это условие не выполняется, то передается текущее значение b (k') и процесс повторяется. Совокупность переданных (информационных) отсчетов {b(k_и)} вместе с информацией о временных интервалах между ними позволяет восстановить исходное сообщение b(t) с ошибкой (е). При таком способе передачи происходит устранение избыточных отсчетов (выборок) целиком, и за счет этого поток передаваемых выборок будет иметь нерегулярный характер. При передаче по синхронному каналу необходимо выравнивание потока с помощью буферных запоминающих устройств (БЗУ).

Более широкое применение находит метод, при котором передается по каналу непосредственно ошибка предсказания (k). Поток данных в этом случае будет регулярным, что исключает необходимость применения БЗУ. Сигнал ошибки (t) имеет более слабую корреляцию, нежели исходный первичный сигнал b(t), и обладает меньшим динамическим диапазоном.

Характерным примером системы с предсказанием является дифференциальная импульсно-кодовая модуляция (ДИКМ), структурная схема которой приведена на рис. 8.4. Эта система работает следующим образом. В блоке Д осуществляется дискретизация входного сигнала b(t) с частотой f_Д =1/t  2F_C и формируется последовательность отсчетов {b(k)}. Одновременно в предсказателе П определяются оценки этих отсчетов { }. Далее производится вычитание и формируется сигнал ошибки (k)=b(k)— , который поступает на вход М-уровневого квантователя Q. На выходе квантователя получается квантованный сигнал

(5.54)

который затем кодируется и передается кодовыми комбинациями длиной N=[log M]+1 двоичных единиц, где [•] — целая часть числа. По этим кодовым комбинациям на приемной стороне восстанавливаются уровни квантования { }, а затем оценка исходного сигнала . В отсутствие помех в канале оценка будет отличаться от исходного сигнала b(t) на величину шума квантования q(t). Как видно из рис. 5.6, формирование очередного предсказанного значения на выходе предсказателя П осуществляется по сигналу , восстановленному из цифровой формы, что позволяет избежать накопления ошибок в системе передачи. Если в качестве предсказанного значения использовать предыдущий отсчет , то получим систему типа разностной ИКМ, а при двухуровневом квантовании (М=2) будем иметь систему с дельта-модуляцией.

Рис. 5.6. Структурная схема кодека ДИКМ

Эффективность системы ДИКМ обычно оценивается по выигрышу в отношении сигнала к шуму квантования по сравнению с системой ИКМ или по коэффициенту сжатия  (5.55) при заданном уровне квантования.

Мощность шума квантования в системе ДИКМ:

(5.55)

где — дисперсия ошибки предсказания; М — число уровней квантования. Формула (5.55) получена в предположении, что разностный сигнал (t) подчиняется распределению Лапласа:

Мощность шума квантования при ИКМ согласно (5.56) определяется формулой

Тогда выигрыш системы ДИКМ по сравнению с системой ИКМ будет

(5.56)

Для гауссовского источника (П = 4)

(5.57)

Для получения наибольшего выигрыша необходимо минимизировать дисперсию ошибки предсказания

(5.58)

При линейном предсказании согласно рис. 8.4

При M>8 можно считать

Тогда (5.58) запишется так:

(5.59)

где B(|i—k|)=M{b(i)b(k)} —автокорреляционная функция первичного сигнала b(i); В(0)= . Выражение (5.59) может быть представлено в матричной форме

(5.60)

где

Минимизируем (5.60) путем подбора коэффициентов предсказания а_i (матрицы А). Для этого продифференцируем по а_i. В результате получим следующую систему уравнений:

(5.61)

Решением этого уравнения является

(5.62)

Ошибка предсказания при этом минимальна и согласно (5.60) и (5.62)

(5.63)

В частном случае, когда коэффициент корреляции первичного сигнала (| i— k|)=B(| i — k|) /B(0) аппроксимируется показательной функцией (это имеет место, например, для телевизионных видеосигналов), т. е.

(5.64)

уравнение (5.61) запишется в виде

Очевидным решением этой системы уравнений является А₁=, a₂=a₃= ... =а_m = 0. Это означает, что минимум среднеквадратичес-кой ошибки предсказания достигается при предсказании по одному предшествующему отсчету. Знание значений более удаленных отсчетов не увеличивает точности предсказания. Минимум дисперсии ошибки при этом достигается при a_i=(l)=₁ и согласно (5.63)

(5.65)

Отношение определяет величину, на которую мощность исходного сигнала может быть уменьшена за счет линейного предсказания по одному отсчету.

Для реальных сигналов ошибка предсказания существенно уменьшается при увеличении порядка предсказания m от 1 до 3 и уменьшается незначительно при дальнейшем увеличении т.

Коэффициент сжатия при ДИКМ можно определить на основе (5.45):

(5.66)

где N — число затрачиваемых бит на отсчет соответственно при ИКМ и ДИКМ.

В общем случае минимальное число бит на отсчет при оптимальном кодировании определяется энтропией источника. Для гауссовского источника согласно (5.41):

Здесь предполагается, что сигнал ошибки (t) также имеет гаус-совское распределение и канал не вносит ошибок (канал без шумов). Следовательно, выигрыш в числе бит за счет предсказания

(5.67)

при одинаковом шуме квантования . Коэффициент сжатия при этом

(5.68)

В частном случае, когда коэффициент корреляции исходного сигнала определяется показательной функцией (5.64) и предсказание осуществляется по одному предшествующему отсчету согласно (5.65) и (5.67) имеем

(5.69)

Для телевизионного сигнала ₁ близко к единице. Если положить ₁ = 0,985, то согласно (5.69) N = 2 или согласно (5.57) выигрыш в отношении сигнал-шум квантования В = 15,2 дБ.

Таким образом, предсказание в системе ДИКМ позволяет уменьшить динамический диапазон и ослабить корреляцию разностного сигнала, одновременно уменьшается шум квантования при заданном числе уровней квантования. Предсказание декоррелирует сигнал и тем самым сокращает его избыточность. Дальнейшее сокращение избыточности можно получить за счет статистического кодирования квантованного разностного сигнала. При этом учитывается неравномерность распределения вероятностей этого сигнала, т. е. малые значения отображаются короткими кодовыми комбинациями, а большие (редко встречающиеся) значения — более длинными кодовыми комбинациями.

Первичные сигналы многих источников, в том числе речевые и видеосигналы, являются нестационарными случайными процессами с медленно изменяющимися во времени энергетическими и спектральными характеристиками. Поэтому значительное улучшение эффективности ДИКМ можно получить, если использовать адаптивный предсказатель и адаптивный квантователь, т. е. вместо ДИКМ применить АДИКМ.

Метод предсказания широко используется и в вокодерных системах. В этих системах, в отличие от систем ДИКМ, в которых кодируются отсчеты сигнала (кодирование формы сигнала), кодируются отдельные параметры сигнала (параметрическое кодирование). Вокодерные системы на основе линейного предсказания строятся по принципу анализ-синтез. Сначала методами линейного предсказания с помощью модели речеобразования оцениваются параметры сигнала, а также вид возбуждения и период основного тона. Затем эти параметры передаются по каналу связи. В приемнике на основе их синтезируется речевой сигнал, аналогичный исходному.

Вокодеры позволяют получить коэффициент сжатия порядка 100 и более. Применение вокодеров обеспечивает разборчивость речи, но не качество, в то время как кодеки формы сигнала позволяют сохранить хорошую разборчивость без существенного нарушения естественности речи. Из-за сложности и высокой стоимости вокодеры не нашли широкого применения. Однако параметрический подход, используемый в вокодерах, успешно используется при передаче неподвижных изображений. Ведутся работы по использованию этого подхода в телевидении. Так, при передаче черно-белых текстов, состоящих из печатных символов, с помощью алгоритмов оптического распознавания символов каждый символ и его положение отображаются двумя параметрами, которые затем кодируются и передаются. Такой подход обеспечивает высокие коэффициенты сжатия по сравнению с кодированием формы сигнала. Например, стандартная страница машинописного текста размером 216280 мм (3066 знаков) может быть передана с использованием 8 бит на знак, т. е. около 0,01 бит на отсчет Котельникова.

5.2. Сплайн-интерполяция

Наряду с предсказанием для сокращения избыточности непрерывных сообщений широко используются методы декорреляции, основанные на аппроксимации первичных сигналов b(t) с помощью различных базисных функций. Чаще всего в качестве таких функций используются степенные полиномы нулевого и первого порядков. Апостериорный анализ на основе интерполяции позволяет исключить значительную часть избыточных отсчетов путем сравнения исходного сигнала b(t) с аппроксимирующей и передать только те отсчеты (назовем их информационными), для которых выполняется условие , где  — допустимая ошибка аппроксимации. Совокупность информационных отсчетов вместе с информацией о временных интервалах между ними позволяет восстановить на приеме исходное сообщение с ошибкой (t)  .

В последнее время проявляется большой интерес к интерполяционным методам сжатия данных с применением кусочно-полиномиальной интерполяции на основе сплайн-функций. Среди всех кусочно-полиномиальных функций сплайны обладают наибольшей гладкостью за счет непрерывности нескольких производных. Широко используется следующее определение сплайна. Пусть задана сетка вещественной переменной t:

Сплайном S_D(, t), заданным на сетке  (порядка т, дефекта D) называется функция

(5.70)

(5.71)

Выражение (5.70) определяет сплайн S_D(, t) как объединение n полиномов степени m на интервале АВ, а выражение (5.71) выражает условие непрерывности m — D производных сплайна на интервале АВ.

Рассмотрим случай кубического сплайна (m = 3) дефекта D=l для задержки s=l. Из условия (5.71) при i=0 следует равенство P_k-1(t_k)= P_k(t_k), а согласно (5.70)

.

Отсюда получаем первое уравнение рекуррентного алгоритма:

Запишем это уравнение относительно для k+1 интервала:

(5.72)

При i = l из (5.71) следует

После дифференцирования и подстановки получаем второе уравнение рекуррентного алгоритма:

(5.73)

Аналогично из (5.71) при i=2 имеем третье уравнение:

(5.74)

Кроме того, из условия равенства интерполируемой и интерполирующей функций в узлах интерполяции t_k следует четвертое уравнение b(t_k)=P_k(t_k), т. е.

(5.75)

Объединив полученные уравнения, имеем следующую систему, отражающую рекуррентный алгоритм построения кубического сплайна:

( 5.76)

где h_k = t_k+1 — t_k — длина k-го интервала.

Для обеспечения устойчивости алгоритма (5.76) необходимо наложить одно из дополнительных условий. Эти условия могут быть сформулированы, например как требования минимизации выражений вида:

Потребуем выполнения второго локального условия, т. е.

(5.77)

Выполняя интегрирование, имеем

Тогда условие минимума интеграла I_к

(5.78)

из (5.78) получаем

(5.79)

Теперь для трех коэффициентов a₁^(k), a₂^(k), а₃^(k) имеем четыре уравнения (5.72), (5.73), (5.74) и (5.79). Так как всем им удовлетворить невозможно, то откажемся от одного из них, например (5.74). Тогда a₁^(k) определится из (5.73), а a₂^(k) и a₃^(k) — из совместного решения (5.72) и (5.79). Учитывая, что a₀^(k) = b(t_k), и a₀^(k+1)=b(t_k+1), окончательно получаем следующие формулы для определения коэффициентов кубического сплайна на k-м интервале независимой переменной t:

(5.80)

Алгоритм сплайн-интерполяции на основе (5.80) устойчив и может служить основой для построения приемного устройства. Алгоритм преобразования первичного сигнала b(t) с помощью сплайн-интерполяции представляет собой процесс выбора информационных отсчетов из равномерной последовательности отсчетов {b(t_k)}, где k=1,…, п. В результате такого преобразования получается последовательность неравноотстоящих отсчетов этого сигнала, предназначенная для передачи по каналу. На приемной стороне переданный сигнал восстанавливается с заданной точностью  по значениям информационных отсчетов и их расстановке во времени. Действительно, восстановленный сигнал представляет собой сплайн-функцию, которая на каждом интервале между опорными отсчетами определяется формулой

(5.81)

Значения коэффициентов в (5.81) вычисляются через отсчеты функции b(t_k) и интервалы между ними по формулам (5.80); величина коэффициента a⁰₁ задается произвольно. В результате получается совокупность равноотстоящих отсчетов сплайн-функции S(t_k), т. е. для последовательности неравноотстоящих отсчетов вычисляются значения сплайнов в моменты времени, соответствующие пропущенным отсчетам сигнала.

Рассмотренные алгоритмы сплайн-интерполяции непрерывных сигналов можно реализовать с помощью ЭВМ или с помощью специализированных устройств, работающих в реальном масштабе времени. Одна из возможных схем такого устройства приведена на рис. 5.7. Из блока хранения отсчетов 1 отсчеты исходного сигнала b(t_k) поступают в блок вычисления 2, где по значениям этих отсчетов и формулам (5.80), (5.81) вычисляются коэффициенты а_k и значение сплайна S_k(t). При увеличении интервала аппроксимации часть коэффициентов, не подлежащая пересчету, из блока вычисления 2 поступает в блок хранения коэффициентов 3. Считывание коэффициентов из блока 3 происходит при увеличении интервала аппроксимации и поступлении в блок 3 из блока сравнения 4 импульса разрешения считывания. Этот импульс на выходе блока 4 появляется в случае, если разность между отсчетами исходного сигнала, поступающими из блока 1, и значениями сплайна, вычисленными в блоке 2, не превосходит допустимой погрешности . В противном случае, когда эта разность превосходит  хотя бы в одной точке, предпоследний отсчет интервала аппроксимации считается исходным для определения нового интервала аппроксимации. Результаты моделирования методов сплайн-интерполяции на ЭВМ и простота их технической реализации позволяют сделать вывод о перспективности их использования для сокращения избыточности в речевых и видеосигналах.

Рис. 5.7. Структурная схема сплайн-аппроксимации

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

1. Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963.

2. Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991.

3. R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp'92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) p. 1-4.

4. Maxwell's Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990).

5. Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников : учеб. пособ. /

В.Н. Потопав – Новосибирск : Новосиб. гос. ун-т., 1999.

6. Шульгин В.И. Основы теории передачи информации - Основы теории передачи информации. Ч. I. Экономное кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 102 с. Основы теории передачи информации. Ч. 2. Помехоустойчивое кодирование / В.И. Шульгин. - Учеб. пособие. – Харьков: Нац. аэрокосм. ун-т «Харьк. авиац. ин-т», 2003. - 87 с.

7. Баскаков С.И. Радиотехнические цепи и сигналы. / С.И. Баскаков -М. : Высш. шк.., 1988.

8. Цифровая обработка сигналов./ Л.М. Гольденберг и др. М.: Радио и связь, 1990.

9. Гутников В.С. Фильтрация измерительных сигналов. /В.С. Гутников –Л.: Энергоатомиздат, 1990.

10. Каллер М.Я., Теоретические основы транспортной связи. / М.Я. Каллер, А.Ф, Фомин -М.: Транспорт, 1989.

156