2. Теорема Шеннона

По каналу связи с полосой пропускания F, в котором действует сигнал с мощностью Pc и нормальный шум с дисперсией σ² можно передавать информацию со скоростью сколько угодно близкой к пропускной способности канала С=Flog(1+Pc/ σ²) и при этом вероятность ошибки может быть сделана сколь угодно малой.

Производительность источника – это количесвто информации, производимой источником в единицу времени: H’=H/T (H - энтропия, T – длительность сообщения).

Скорость передачи информации – количество взаиной информации передаваемой по каналу связи в единицу времени: I’=lim(I(Z,U)/T).

Пропускная способность канала вязи – максимально возможная скорость передачи информации.

Доказательство:

Количество взаимной информации содержащейся в процессе z(t) о сигнала u(t):

I(Z,U)=h(z)-h(X) (h(z), h(X) – дифференциальные энтропии соответствующих процессов).

Дифференциальная энтропия – относительная информационная содержательность непрерывного процесса (h(z)=-∫W(z)log(Wz)dz). Т.к. шум нормальный и его дисперсия σ²=G0F, то: h(X)=0.5log(2πe σ²). Чтобы энтропия процесса z была максимальной, этот процесс должен быть нормальным случайным процессом с дисперсией Рс. Тогда максимальное количество взаимной информации равно: I(Z,U)= 0.5log(2πe (σ²+Рс))- 0.5log(2πe σ²)= 0.5log(2πe(1+Рс/σ²). Т.к. процесс на выходе канала связи финитный по спектру, то полностью определяется по теореме Котельникова, т.о. в единицу времени следует передавать 2F отсчетов, тогда получаем: C=2F*I(Z,U).

Билет 22

1. ШПС

К некоторым системам связи предъявляется требование скрытности. Противник не должен обнаружить факт передачи. Сигнал нужно спрятать в шумах, чтобы обычный сигнал принять с хорошим качеством, он должен быть мощнее шумов, резко выделяться.

ШПС(шумоподобный сигнал) - сигналы с широким спектром, т.е. мощность передатчика распределяется по большой полосе частот и спектральная плотность такого сигнала мала. Сигнал малозаметен на фоне помех.

К таким сигналам относятся:

-Коды Баркера (3,5,7,11,13)

-М - последовательности (длина сотни импульсов)

Их называют псевдослучайные последовательности(ПСП). Их база B=2FT (гдеF-ширина спектра ППС;T-длительность ПСП)

Согласованные фильтры обычно используются для оптимального приема шумоподобных сигналов, аналоговый фильтр согласованный с ШПС содержит: линию задержки, фазовращатели (если + знак не меняется, если – знак меняется на противоположный), сумматор, фильтр согласованный с одиночным прямоугольным импульсом.

2. Энтропия

Количество информации, которое заключено в некотором сообщении с вероятностью появления p(i), равно: I=-log₂p(i).Свойства количества информации:

1)чем меньше р, тем больше I.

2)количество информации в достоверном событии с вероятностью появления p=1 равно 0.

3)аддитивное свойство: количество информации, заключенное в совокупности двух независимых сообщений, равно сумме количеств информации, заключенных в каждом сообщении в отдельности.

4)количество информации величина неотрицательная.

Энтропия H - это среднее кол-во информации приходящееся на одно сообщение

Для дискретного источника независимых сообщений энтропия вычисляется по формуле:

H=-∑^m_k=1 p_klogp_k, m – основание кода, p_k - вероятность определенного символа).

Энтропия дискретного источника независимых сообщений максимальна, если все сообщения равновероятны Hmax=logm

Избыточность это степень отличия энтропии от максимального значения: R=(Hmax-H)/Hmax

Наиболее часто используются двоичные системы связи m=2. Энтропия двоичного источника вычисляется по формуле:

H(m=2)=-p(1)*logp(1)-[1-p(1)]log[1-p(1)]

Энтропия двоичного источника максимальна если p(1)=p(0)=0.5

Чем больше энтропия, тем больше информации несет один символ и тем больше скорость передачи информации при заданной бодовой скорости - количество посылок в единицу времени

Основные способы увеличения энтропии:

1)наличие корреляционных связей между символами уменьшает энтропию.

Чтобы увеличить энтропию, мы кодируем не буквы а слова. Это называется укрупнение алфавита источника.

Эта же цель достигается путем предсказания - кодирования с предсказанием последующих символов по предыдущим

2) Неравновероятность символов уменьшает энтропию. Для устранения неравновероятности строят "кодовое дерево"

Наиболее вероятные символы передаются наиболее короткими кодовыми комбинациями.

3)Для дальнейшего увеличения энтропии увеличивают основание кода m.

Билет 23