- •2. Оптимальный Приемник
- •1. Икм. Преимущества и недостатки.
- •2. Оптимальный корреляционный приемник
- •2. Сравнительная помехоустойчивость дам,дчм,дфм
- •1. Характеристики цф
- •2. Потенциальная помехоустойчивость дам,дчм,дфм
- •1. Передаточная характеристика цф.
- •2. Помехоустойчивость оптимального приемника.
- •Оптимальный приемник двоичных сигналов.
- •2. Количество информации. Энтропия.
- •1. Потенциальная помехоустойчивость.
- •2. Укрупнение сообщений
- •1. Потенциальная помехоустойчивость дам,дчм,дфм.
- •2. Построение кодового дерева.
- •1. Некогерентный прием дам. Распределения на выходе детектора.
- •2. Увеличение энтропии путем увеличения m
- •1. Некогерентный прием дчм. Распределения на выходе детектора.
- •2. Увеличение энтропии путем предсказания.
- •1. Дофм
- •2. Кодирование с предсказанием. Дикм
- •1. Регенерация сигнала икм. Вероятности p(1/0),p(0/1)
- •2. Энтропия двоичного источника
- •1. Вероятность ошибки при регенерации сигнала икм.
- •2. Блочный код (7,3)
- •1. Циклический код (7,4)
- •Оптимальный приемник
- •1. Сверточный код
- •2. Оптимальный приемник двоичных сигналов на сф
- •1. Теорема Шеннона
- •2.Оптимальный приемник дчм на сф.
- •2. Согласованный фильтр
- •2. Энтропия
- •2. Циклический код (7,4)
- •1. Характеристики цф
- •2. Оптимальный корреляционный приемник
- •2. Теорема Шеннона
- •2. Энтропия
- •1. Оптимальный приемник двоичных сигналов
- •2. Преимущества и недостатки икм
- •1. Теорема Шеннона
- •2. Способы увеличения энтропии
- •1. Дофм
- •2. Устойчивость цф
- •1. Способы увеличения энтропии
- •2. Оптимальные кодо-сигнальные конструкции
- •1. Прием икм методом однократного отсчета
- •2. Сверточный код
- •1. Оптимальные кодо-сигнальные конструкции
- •2. Циклический код
- •1. Оптимальные кодо-сигнальные конструкции
- •2. Способы увеличения энтропии
- •1. Сверточный код
- •2. Дофм
1. Теорема Шеннона
По каналу связи с полосой пропускания F, в котором действует сигнал с мощностью Pc и нормальный шум с дисперсией σ2 можно передавать информацию со скоростью сколько угодно близкой к пропускной способности канала С=Flog(1+Pc/ σ2) и при этом вероятность ошибки может быть сделана сколь угодно малой.
Производительность источника – это количесвто информации, производимой источником в единицу времени: H’=H/T (H - энтропия, T – длительность сообщения).
Скорость передачи информации – количество взаиной информации передаваемой по каналу связи в единицу времени: I’=lim(I(Z,U)/T).
Пропускная способность канала вязи – максимально возможная скорость передачи информации.
Доказательство:
Количество взаимной информации содержащейся в процессе z(t) о сигнала u(t):
I(Z,U)=h(z)-h(X) (h(z), h(X) – дифференциальные энтропии соответствующих процессов).
Дифференциальная энтропия – относительная информационная содержательность непрерывного процесса (h(z)=-∫W(z)log(Wz)dz). Т.к. шум нормальный и его дисперсия σ2=G0F, то: h(X)=0.5log(2πe σ2). Чтобы энтропия процесса z была максимальной, этот процесс должен быть нормальным случайным процессом с дисперсией Рс. Тогда максимальное количество взаимной информации равно: I(Z,U)= 0.5log(2πe (σ2+Рс))- 0.5log(2πe σ2)= 0.5log(2πe(1+Рс/σ2). Т.к. процесс на выходе канала связи финитный по спектру, то полностью определяется по теореме Котельникова, т.о. в единицу времени следует передавать 2F отсчетов, тогда получаем: C=2F*I(Z,U).
2. Способы увеличения энтропии
Количество информации, которое заключено в некотором сообщении А с вероятностью появления p(А), равно: I=-log2p(А).
Свойства количества информации:
1)чем меньше р, тем больше I.
2)количество информации в достоверном событии с вероятностью появления p=1 равно 0.
3)аддитивное свойство: количество информации, заключенное в совокупности двух независимых сообщений, равно сумме количеств информации, заключенных в каждом сообщении в отдельности.
4)количество информации величина неотрицательная.
Энтропия H - это среднее кол-во информации приходящееся на одно сообщение
Для дискретного источника независимых сообщений энтропия вычисляется по формуле:
H=-∑mk=1 pklogpk, m – основание кода, pk - вероятность определенного символа).
Энтропия дискретного источника независимых сообщений максимальна, если все сообщения равновероятны: Hmax=logm
Избыточность это степень отличия энтропии от максимального значения: R=(Hmax-H)/Hmax.
Наиболее часто используются двоичные системы связи m=2. Энтропия двоичного источника вычисляется по формуле:
H(m=2)=-p(1)*logp(1)-[1-p(1)]log[1-p(1)]
Энтропия двоичного источника максимальна если p(1)=p(0)=0.5
Чем больше энтропия, тем больше информации несет один символ и тем больше скорость передачи информации при заданной бодовой скорости - количество посылок в единицу времени
Основные способы увеличения энтропии:
1)наличие корреляционных связей между символами уменьшает энтропию.
Чтобы увеличить энтропию, мы кодируем не буквы а слова. Это называется укрупнение алфавита источника.
Эта же цель достигается путем предсказания - кодирования с предсказанием последующих символов по предыдущим
2) Неравновероятность символов уменьшает энтропию. Для устранения неравновероятности строят "кодовое дерево"
Наиболее вероятные символы передаются наиболее короткими кодовыми комбинациями.
3)Для дальнейшего увеличения энтропии увеличивают основание кода m.
Билет 25