4.Двумерная энтропия, условная энтропия, их свойства
Понятие условной энтропии связано с понятием энтропии марковского процесса - иначе говоря изначально рассматривается вероятность появления некоторого сообщения, с учётом того, что известно о появлении некоторого другого сообщения. Условная энтропия источника S c Si символами задаётся выражением:
H(S|Si1,Si2....,Sim)=E(s)(P(Si|Si1,Si2......Sim)*log[2](1/P(Si|Si1,Si2......Sim)))
- в данном случае записана формула для энтропии дискретного источника при условии, что мы уже наблюдали последовательность символов (Si1,Si2......Sim).
Если рассматриваются две статичтически зависиые величины, то энтропия объединения двух статистически связанных переменных величин равна сумме энтропии первого ансамбля и энтропии второго относительно первого. ((добавить формулы) см. формулы в лекциях.)
Свойства условной энтропии - 1) Условная энтропия всегда меньше или равна безусловной для той же функции распределения вероятностей, это связано с тем, произведением вероятностей (Si1,Si2......Sim). 2) Если имеется однозначная связь межнду появлением некоторой последовательности сообщений (условием) и появлением некоторого другого сообщения, то ксловная энтропия при налии данного условия становится равной нулю. 3) Если статистические связи между двумя переменными величинами отсутсвуют, то условнаяэнтропия их объединения не будет меньше безусловной энтропии их\ объединения.
5.E-энтропия.
8.4 Пропускная способность дискретного m-ичного канала
1.Определение.
2. Пропускная способность дискретного двоичного канала.
Пропускная способность дискретного канала, по которому передается дискретных сигналов с учетом (4.7) вычисляется по формуле [6]:
|
(4.8) |
,где 
–
скорость модуляции, бод; 
–
длительность сигнала; 
–
вероятность ошибки в канале. Заметим,
что пропускная способность дискретного канала без
помех при (
):
|
|
.В
частности пропускная способность двоичного канала (
):
|
(4.9) |
.Зависимость
отношения 
от
вероятности ошибки
,
рассчитанная по формуле (4.9), показана
на рис. 4.4.
Как
следует из графика,
при 
пропускная способность двоичного канала равна
нулю (
).
Этот случай называют обрывом канала.
Действительно вероятность ошибки
можно
получить и без передачи информации по
каналу связи. А при 
пропускная способность такая
же, как и при
(канал
без помех). Это объясняется тем, что
при
достаточно
заменить нули на единицы и единицы на
нули, чтобы абсолютно правильно
восстановить переданный сигнал.
3.Пропускная способность непрерывного канала при гауссовской помехе.
9 Помехоустойчивое кодирование
1.Основания для построения помехоустойчивых кодов – избыточность канала по полосе частот.
2. Основная теорема кодирования Шеннона.
10 Теория помехоустойчивости систем связи
10.1 Назначение теории, основные определения
1.Основы теории оптимального приёма. Прием дискретных сообщений.
4.Отношение правдоподобия.
Отношение правдоподобия — это отношение вероятности получить положительный результат диагностического теста у больных к вероятности получить положительный результат у здоровых лиц. Отношение правдоподобия для положительного результата – это чувствительность, деленная на 1 минус специфичность. Таким образом, отношение правдоподобия отражает одновременно и чувствительность, и специфичность теста. Если отношение правдоподобия положительного результата равно 1, то это значит, что вероятность положительного результата теста у больного такая же, как вероятность положительного результата теста у здорового. Если отношение правдоподобия положительного результата теста равно 3,5, то это значит, что вероятность положительного результата теста у больного в 3,5 раза выше, чем вероятность положительного результата теста у здорового.
5.Структурная схема оптимального приемника при сигнале, известном точно.
6 Реализация оптимального приема на базе коррелятора
7. Бинарное обнаружение сигналов
8. Бинарное распознавание сигналов
11. Конкретные схемы построения оптимальных приемников для каждого вида модуляции.
12. Корреляционный и фильтровый прием, их эквивалентность при использовании оптимального (согласованного) фильтра.
14. Гребенчатый фильтр
Гребенчатый фильтр — в обработке сигналов электронный фильтр, при прохождении сигнала через который к нему добавляется он сам с некоторой задержкой. В результате получается фазовая компенсация. АЧХ гребенчатого фильтра состоит из ряда равномерно распределённых пиков, так что она выглядит как решётка.
Существуют двумерные и трёхмерные гребенчатые фильтры (реализованные как программно, так и аппаратно), применяющиеся для обработки сигналов в телевизионных системах стандартов PAL и NTSC. Они используются для уменьшения артефактов - например, таких, как сползание точек[en].
В системах связи гребенчатые фильтры применяются для обработки сигнала связи.
Гребенчатые фильтры применяются для обработки аудиосигналов, в частности для создания эффекта эха. К примеру, если задержка установлена на уровне нескольких миллисекунд, это имитирует эффект звука в цилиндрической полости.