2 семестр / Лекции / Лекция № 11 2025 г

Относительная условная информационная содержательность непрерывного процесса u при наличии процесса z на входе приемника характеризуется условной дифференциальной энтропией h (U/Z) .

Взаимная информация является по определению относительной информацией и потому без изменений распространяется на непрерывные случайные процессы. Так как условная дифференциальная энтропия также характеризует потери информации в канале связи из-за влияния помех, то условная энтропия равна энтропии помехи h(Z/U)=h(U/Z)=h(Х). Следовательно:

Введенные информационные характеристики дискретных и непрерывных процессов позволяют определить способы увеличения эффективности систем связи.

Рассчитаем дифференциальную энтропию равномерного распределения:

A; a x b;

W(x) = (7.4)0; a > x; b < x;

Так как А=1/(b-a) из условия нормировки ФПВ, то :

b

h = - AlogAdx = log(b - a);

a

Аналогично, дифференциальная энтропия нормального распределения равна:

Доказано, что дифференциальная энтропия нормального случайного процесса больше, чем энтропия любого другого случайного процесса с иной плотностью вероятности, если дисперсия процесса 2 = const.

Следовательно, чтобы сигнал с ограниченной мощностью переносил максимальное количество информации он должен быть нормальным шумом. Производительность источника Н' – это количество информации производимой источником в единицу времени:

(7.6)

Н – энтропия источника; Т – длительность сообщения.

1

Из-за влияния помехи количество переданной по КС информации уменьшается на величину, равную количеству мешающей информации, вносимой помехой. Скорость передачи информации - количество взаимной информации передаваемое по каналу связи в единицу времени.

Пропускная способность канала связи С - максимально возможная скорость

можным способам передачи и приѐма при заданных ограничениях на сигнал и помеху.

Элементарная формулировка теоремы Шеннона.

По каналу связи с полосой пропускания F , в котором действует сигнал с мощностью Рс и нормальный белый шум со спектральной плотностью энергии G0, можно предавать информацию со скоростью сколь угодно близкой к пропускной способности канала связи:

При этом вероятность ошибки может быть сделана сколь угодно малой. Доказательство.

Количество взаимной информации содержащейся в процессе z(t) о сигнале u(t) равно из (7.3):

I(Z;U)=h(Z)-h(X);

Дисперсия белого шума x(t) в полосе F: σ 2 = G0F. Т.к. шум нормальный, то его дифференциальная энтропия равна:

h(X)=0.5 log(2πeσ 2)

Чтобы энтропия процесса z была максимальной, этот процесс должен быть нормальным случайным процессом, т.е. сигнал тоже должен быть нормальным случайным процессом с дисперсией Рс . Тогда максимальное количество взаимной информации равно :

I(Z;U)=0.5 log[2πe(Pc + σ 2)] - 0.5 log(2πeσ 2)= =0.5 log(1 + Pc / σ 2) ;

Т.к процесс на выходе канала связи финитный по спектру, то он полностью определяется по теореме Котельникова своими отсчетами взятыми через интервал времени T=1/2F. Таким образом в единицу времени следует передавать 2F отсчетов.

Каждый отсчѐт процесса z(t) несет информацию о сигнале I(z;u). Таким образом за 1с максимальное количество, переданной по КС информации, равно:

С=2F*I (Z;U)=Flog(1+Pc/G0F)

Для того, чтобы вероятность ошибки была сколь угодно малой ( рош 0), необходимо использовать бесконечно длинные кодовые комбинации, т.е время задержки принятия решения бесконечно велико.

2

Из формулы для пропускной способности следует, что при F ∞ величина C стремится к пределу равному С∞=Рс log e/G0 (рис.7.1.).

C

Pcloge/G0

0 F Рис.7.1.

7.5. Согласование кодера и модулятора для увеличения

эффективности системы связи. Сигнально-кодовые КОНСТРУКЦИИ

Качество работы системы связи характеризуется совокупностью показате-

лей, т.е. некоторым вектором Q=f(Qi ,Q2, ....Qi) , который является функцией частных показателей Qi , f(*) - некоторая целевая функция. Частные показатели считают внешними параметрами, зависящими от внутренних параметров.

Например, вероятность ошибки - внешний параметр, зависит от внутренних па-

раметров: мощности передатчика, длительности символа, энергии помехи. За-

дача построения эффективной, оптимальной системы связи сводится к поиску оптимального вектора внутренних параметров, обеспечивающего максимум це-

левой функции. Основные частные показатели системы связи: энергетическая или -эффективность и частотная или -эффективность:

R- скорость передачи информации в битах на секунду;

No - спектральная плотность энергии шума;

Рс - мощность сигнала;

Н- энтропия источника, т.е. среднее количество информации на один символ;

F - полоса частот канала связи.

3

Максимальная скорость передачи информации по каналу связи называется про-

пускной способностью канала связи.

Целевой функцией может быть выбран также коэффициент использования про-

пускной способности канала связи: f ( , ) .

Таким образом, разрабатывая модулятор, следует применять тот вид моду-

ляции, который реализует максимум , или, в соответствии с техническим за-

данием, максимум при заданном , или максимум при заданном .

Из теории информации известно, что энтропия Н, т.е, среднее количество ин-

формации на символ для дискретного источника независимых сообщений рав-

но: H=logm (m- основание кода, основание логарифма равно 2).

Увеличивая m, мы увеличиваем скорость передачи информации при постоянной

т.е. увеличиваем частотную эффективность. Однако, если при этом скорость модуляции и параметры канала не меняются, то падает энергетическая эффек-

тивность. Оптимальным является решение, при котором достигается выигрыш по обоим параметрам по сравнению со способом модуляции, принятым за базо-

вый.

Для реализации этого условия необходимо выбрать наилучший ансамбль символов. Ансамбль символов при гармонической несущей - это совокупность реализаций радиоимпульсов длительностью Т с различными амплитудами, ча-

стотами и фазами, соответствующих различным передаваемым информацион-

ным последовательностям (битовым последовательностям).

С точки зрения геометрии, все пространство символов содержит набор сиг-

нальных точек, векторов Si . Область, окружающая данную точку Si символа,

есть область, которую мы трактуем как символ Si. Помеха накладывается на

4

сигнал, так что суммарный процесс - это точка пространства символов, не соот-

ветствующая Si . Чем больше расстояние между сигнальными точками, тем больше помехоустойчивость системы связи. Т.о. все пространство символов надо разбить на области так, чтобы средняя вероятность ошибки была мини-

мальна, а среднее расстояние Гильберта d в пространстве L2 между сигнальны-

ми точками, равное:

должно быть максимально при усреднении по всем i, j.

Оптимизация ансамбля сводится к такому расположению сигнальных точек,

при котором области символов были бы наибольшими, одинаковыми и при-

ближались по форме к N-мерным сферам. В математике эта задача известна, как задача плотнейшей укладки шаров в данном объеме.

Одномерное пространство (N=1) - это прямая. Плотнейшая укладка получается,

если сигнальные точки располагаются равномерно от А до В. Это пространство можно рассматривать в качестве геометрического места сигнальных точек, если информационным является только один параметр: амплитуда, частота или фаза символа.

Двумерное пространство (N=2) - это плоскость. Плотнейшая укладка получает-

ся, если сигнальные точки являются центрами окружностей одинакового радиу-

са. Это пространство можно рассматривать в качестве геометрического места сигнальных точек, если информационными являются два параметра: амплитуда и частота, или фаза и амплитуда символа и т.д.

Трехмерное пространство N=(3) - это объем. Плотнейшая укладка получается,

если сигнальные точки являются центрами сфер одинакового радиуса. Это про-

странство можно рассматривать в качестве геометрического места сигнальных точек, если информационными являются три параметра: амплитуда, частота и фаза символа.

N - мерное пространство: плотнейшая укладка получается, если сигнальные точки являются центрами N - мерных сфер. Это пространство можно рассмат-

5

ривать в качестве геометрического места сигнальных точек, если информаци-

онными являются, кроме указанных выше, и другие параметры: излучаемые од-

новременно или поочередно два символа со своими частотами, амплитудами и фазами; символы, излучаемые разными антеннами, и т.д.

Наиболее широко в технике связи используются результаты, полученные для

N=1 и N=2, причем основание кода равно т=2" (п = 1,2,3....). Предложены сле-

дующие ансамбли многопозиционных сигналов с плотной укладкой:

-ансамбли двоичных символов ДАМ, ДЧМ, ДФМ (m=2);

-ансамбли символов для m=4; наиболее часто используются ансамбли ФМ-4,

АФМ-4;

-ансамбли символов для m=8; наиболее часто используются ансамбли ФМ-8 и

АФМ-8;

-ансамбли символов для m=16; m=32; m=64 и т.д.; наиболее часто используют-

ся ансамбли АФМ-16, АФМ-32, АФМ-64 и т.д.

На рис.7.9 показаны пространственные диаграммы для разных ансамблей ФМ и АФМ: а) ФМ-2; б) ФМ-4; в) АФМ-4; г) ФМ-8; д) АФМ-8. Каждому символу со-

ответствует точка на прямой, плоскости или в N- мерном пространстве.

6

Выбор m=2n объясняется удобством перехода от двоичной комбинации из n бит к одному из m символов, так что один символ несет n двоичных единиц информации. Рассмотренные ансамбли позволяют в n - раз повысить частотную эффективность, т.к. максимальная энтропия равна:

Н= log m = log 2n =n (7.16)

Энергетическая эффективность определяется расстоянием Гильберта d в

пространстве L2 , Т.к. вероятность ошибки тем меньше, чем больше d, то поме-

хоустойчивость будет определяться прежде всего минимальной величиной dmin.

Для каждого из ансамблей по формуле (7.15) можно найти i, j, для которых d = dmin. Очевидно, чем больше m , тем меньше dmin.

Однако, для достижения максимальной энергетической эффективности необходимо также оптимально выбрать соответствие между кодовыми комби-

нациями и символами. Комбинациям, расстояние Хемминга между которыми -

минимально, должны соответствовать символы, расстояние Гильберта между которыми тоже минимально. Следовательно, превращение переданного симво-

ла под действием помех в ближайший, должно приводить к минимальному ко-

личеству неверно принятых бит в кодовой комбинации.

Для реализации этих требований необходимо разработать оптимальные сигнально-кодовые конструкции.

Оптимальное соответствие символов и битовых комбинаций в соответ-

ствии с рис.7.9 следующее:

-Рис.7.9а, ФМ-2: S0 -- ’0’: Si -‘1’,

-Рис.7.96, ФМ-4: S0 -'00'; S1 —‘01’; S2 -’11'; S3-'10'.(7.17) -Рис.7.9в, АФМ-4: S0 --’00'; Si-‘01’; S2 — ‘11'; S3 –‘10’.

-Рис.7.9г, ФМ-8: S0--’000’; Si -‘001’; S2 - ’011’; S3-‘101’, S4 — ’111’; S5-'110'; S6 -’100’; S7-‘010'.

-Рис.7.9д, АФМ-8: S1 -’000’; S1 -'001’; S2 - '011’ ; S3-'101’, S4 - ’111’;

S5 —‘110'; S6 -’100’; S7-'010'.

Из рис. 7.9 для ФМ-4 следует, что превращение под действием помех символа

So о фазой 0° в символ Si с фазой /2 приводит к приему комбинации 01 вместо

7

00, т.е. неверно принят один бит. Если бы мы комбинацию 11 передавали бы символом с фазой 900, то превращение под действием помех символа с фазой 0°

в символ с фазой 900 привел бы к приему комбинации 11 вместо 00, т.е. неверно были бы приняты два бита.

Согласование расстояний по Хеммингу и по Гильберту осуществляется путем использования кода Грея.

Рис.7.10

Код Грея однозначно связан с натуральным двоичным кодом. Как указывалось выше, натуральный двоичный код представляет собой запись десятичных чисел

(уровней) двоичным числом. Преобразование символов натурального двоично-

го кода bi в символы кода Грея д, осуществляется в соответствии с алгоритмом:

Gi== bi bi; при 0< i s n-2 ; gi= bi ; при i = n-1 .

В этих формулах n - количество символов в кодовых комбинациях. Крайний символ справа имеет номер 0, а крайний символ слева имеет номер (n-1). Для комбинаций из трѐх символов получим следующее соответствие:

8

Достоинство кода Грея состоит в том, что превращение переданного символа под действием помех в ближайший приводит к одиночной ошибке в принятой комбинации.

Таблица №7.1 –Соответствие кода Грея и двоичного кода

OUTn INn INn 1

Рисунок 7.11 - Преобразователь двоичного числа в код Грея

9