Добавил:
ivanov666
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз:
Предмет:
Файл:Теория передачи сигналов. Учебное пособие
.pdf
91
Дифференциальная энтропия
dMh ]
)(
1
)[log(]
)(
1
[log)(
22
Лекция №14
0
0
Количество взаимной информации в непрерывном сообщении
На основании теоремы умножения вероятностей:
]
)()(
),(
[log]
)()(
),(
[loglim),(
22
MMI
)/()()/()(),(
hhhhI
2
2
2)(
eogh
718,2e
информации (но не является количеством) в непрерывном (по амплитуде)
сигнале . На рис.90 представлена формула взаимной информации,
составленная по аналогии с дискретными сигналами, на основе понятия
дифференциальной энтропии.
Рис.90. Дифференциальная энтропия
Среди случайных величин особое место занимают непрерывные
случайные величины, распределенные по гауссовскому закону. Главное, что
необходимо отметить: источник гауссовской случайной величины имеет
максимальную дифференциальную энтропия (рис.91), которая не зависит от
математического ожидания, монотонно возрастает от дисперсии.
Так, для гауссовской величины дифференциальная энтропия равна
, где
- натуральная единица.
92
Дифференциальная энтропия гауссовской случайной
величины
2
2
2log)(
x
exh
)(x
x
]
2
)(
exp[
2
1
)(
2
2
2
x
x
ax
x
F
Т1
от
С
ш
P
с
Р
F
Рис.91. Дифференциальная энтропия гауссовской случайной величины
8.8. Пропускная способность непрерывного канала
Пропускная способность непрерывного канала определяется по алгоритму,
аналогичному для пропускной способности дискретного канала.
Для этого подсчитаем число бит информации, приходящееся на один отсчет
непрерывного сигнала, полученного по теореме Котельникова (рис.92).
Отсчеты получены в результате дискретизации через интервал времени
(F - максимальная частота в спектре непрерывного сигнала). Формула для
расчета пропускной способности на один отсчет непрерывного сигнала
приведена на рис.92. В качестве примера на рис.93. рассмотрен непрерывный
канал без памяти с аддитивным белым гауссовским шумом, мощностью шума
и мощностью сигнала
, шириной полосы частот пропускания канала
.
Выбор гауссовского закона для распределения ПРВ необходимо для
определения максимальной скорости передачи информации.
93
n
Пропускная способность непрерывного канала
)(t
t
c
FT2
1
0
)()(
Пропускная способность непрерывного канала с шириной полосы
частот может быть определена в виде суммы значений
взятой по всем отсчетам за единицу времени 1 сек.
от
С
- сообщение на выходе канала
от
FCС 2
F
- период
опроса
)]/()(max[),(max
hhIC
от
)(kt
,
Непрерывный канал без памяти с аддитивным белым гауссовским шумом.
с
Р
F
ш
Р
- входной сигнал с мощностью в канале шириной полосы частоты
с помехой с мощностью .
n
)(n
n
)/(
n
t
t
t
Гауссовские распределения
)(kt
Таким образом, на входе приемника имеем аддитивную смесь , равную
сумме отсчетов сигнала и шума
закону.
, распределенных по гауссовскому
Рис.92. Пропускная способность непрерывного канала
Рис.93. Пропускная способность непрерывного канала с гауссовским шумом
94
)/(h
ш
Peogh
2)(
2
)(h
n
n
)(2)(
2 шc
PPeogh
ш
шс
от
Р
РР
ogС
2
2
1
)1(2
2
ш
с
от
Р
Р
ogFFCС
Условная энтропия:
ш
ePh
2log)/(
2
)(2log)(max
2 шс
РPeh
)(
)(
2
2
2log)(
x
exh
от
FCС 2
)1(log
2
ш
с
Р
P
FС
Формула Шеннона
ш
с
DFТ
Р
P
FТV )1(log
)(log
2
1
2log)(2log
222
ш
шс
шшсот
Р
РP
ePРPeС
)]/()(max[),(max
hhIC
от
На рис. 93 представлены гауссовские законы (ПРВ) для определения
условной дифференциальной энтропии
для гауссовской случайной
величины при условии, что - неслучайная величина (случайным
является шум). Отсюда, согласно формуле на рис. 91 , а именно:
. Дифференциальная энтропия
случайной величины
гауссовскому шуму
(независимость случайных величин и n дает
, равной сумме гауссовской величины
основание считать в качестве закона ПРВ случайной величины
распределение в виде закона Гаусса). Отсюда,
гауссовской
и
также
.
Отсюда, пропускная способность непрерывного канала равна:
.
Пропускная способность непрерывного канала в единицу времени (формула
Шеннона) равна (рис.93):
.
Рис.93. Формула Шеннона
95
k
V
kkkk
DFTV
k
T
k
F
ш
с
k
Р
Р
ogD2
шс
РР
к
V
Эпсилон-энтропия
Количество информации в непрерывном
сообщении равно бесконечности.
Для воспроизведения непрерывных сообщений не
требуется абсолютная точность.
Допустимую неточность воспроизведения можно
измерить с помощью малого параметра
(эпсилон).
Минимальное количество информации, которое
требуется передать по каналу связи, чтобы
обеспечить допустимую неточность, называется
эпсилон-энтропией.
С помощью формулы Шеннона можно описать информационный объем
канала
(теорема Котельникова),
динамический диапазон канала ( при
:
, где
- время канала, например, период опроса
- ширина полосы частот канала,
).
Таким образом, пропускную способность непрерывного канала можно
увеличить путем расширения полосы частот канала или повышения
динамического диапазона. Более рационально – увеличение полосы частот
канала (прямая зависимость), чем повышение динамического диапазона
(логарифмическая зависимость, которая растет более медленно, чем
линейная).
Согласно формуле для информационного объема канала
разработаны
способы уплотнения канала по времени (временное уплотнение),
-
частоте(частотное уплотнение) и динамическому диапазону (кодовое
уплотнение).
8.9. Эпсилон-энтропия
Понятие эпсилон-энтропии вводится для описания степени точности
воспроизведения непрерывных сигналов (рис.94).
Рис. 94. Эпсилон-энтропия
96
Передатчик Приемник
Линия связи
Структурная схема системы передачи сигналов
)(ty
),( tS
)(tn
)(),()( tntSty
),( tS
)(tn
- сообщение (первичный сигнал)
- оценка сообщения
- модулированный сигнал-переносчик
- помеха
- входной сигнал
Лекция №1
(II часть)
Известно, что для точной передачи непрерывных сигналов, например, речи,
требуется бесконечно большая пропускная способность (количество
информации в непрерывных сигналах равно бесконечности). Однако, для
передачи непрерывной информации не требуется абсолютная точность.
Достаточно выбрать допустимую неточность, которая обеспечивает
необходимое качество. Количество информации, необходимое, чтобы
обеспечить допустимую неточность, называется эпсилон-энтропией
(рис.94).
9. Теория оптимального приема сигналов
Одной из главных задач теории передачи сигналов является создание
оптимального алгоритма приема сигналов в условиях воздействия помех
(рис.95).
Рис.95. Структурная схема системы передачи сигналов
97
)(),()( tntSty
),( tS
)(t
)(tn
)(ty
[*]U
)]([)( tyUt
[*]U
Задача оптимального приема дискретных сигналов формулируется
следующим образом.
На вход приемника поступает аддитивная смесь:
,
где
- модулированный сигнал-переносчик,
- модулирующий сигнал (сообщение),
- флуктуационная помеха.
Статистические характеристики сообщений и помех считаются частично
или полностью известными.
Приемное устройство производит над
некоторую операцию
, в
результате которой на выходе приемника получается оценка сообщения:
,
где
- правило решения задачи (оптимального приема).
Приемники сигналов, обеспечивающие в определенном смысле
минимальные искажения сообщения при приеме сигналов в условиях
воздействия помех, называются оптимальными или идеальными.
В зависимости от назначения приемника критерии и количественные
характеристики искажений могут быть разными.
9.1. Критерий среднего риска
В теории оптимального приема в качестве обобщенного критерия
качества приема сигналов принимается, так называемый, критерий среднего
риска (рис.96).
98
Теория оптимального приема сигналов
Приемники сигналов, обеспечивающие минимальные искажения сообщения
при приеме сигналов в условиях помех, называются оптимальными или
идеальными.
В зависимости от назначения приемника критерии оптимальности и коли-
чественные характеристики искажений могут быть разными.
В теории оптимального приема обобщенным критерием качества является
критерий «среднего риска» .
R
- функция потерь (цена за ошибку)
- совместная плотность распределения вероятностей
- плотность распределения вероятностей (ПРВ) оценки сообщения
- условная плотность распределения вероятностей сообщения
(1)
(2)
),(
I
),(
)/()(),(
)(
)/(
,
min),(),(
,
ddIR
Рис.96. Критерий среднего риска
В основе критерия среднего риска лежит алгоритм определения наиболее
вероятную оценку сообщения с учетом цены за неправильное решение.
Оптимальным является такое правило приема, при котором выражение (1)
(рис.96) минимально.
После перехода к регулярному приему критерий среднего риска
преобразуется в критерий условного риска (рис.97).
99
Правило оценки принятого сообщения может быть регулярным или
нерегулярным.
Регулярный прием – это такое решение, при котором каждой принятой
реализации соответствует определенное решение .
Нерегулярное решение – это такое решение, при котором оценка
связана с статистической зависимостью, т.е. оценка сообщения
происходит с определенной вероятностью.
)(ty
)(ty
~
- условный риск
)(y
)/( y
- априорная плотность распределения вероятностей
y
- апостериорная плотность распределения вероятностей
(3)
(4)
(5)
dyyRR
y
ус
)(
,
)/()(),(
y
dydyyIR
dyIR
ус
)/(),(
)/( y
2
)(
2
Рис.97. Критерий условного риска
Расчет критерия среднего риска (1) - достаточно сложная задача.
Для использования критерия оптимальности «средний риск» целесообразно
ввести следующие упрощения:
1) перейти к правилу оценки принятия решения по принципу регулярного
приема (рис.97);
2) заменить совместную ПРВ условной ПРВ (рис.97);
3) использовать критерий условного риска (рис.97).
Таким образом, для использования критерия условного риска (4)
необходимо задаться функцией потерь и вычислить условную ПРВ
При передаче непрерывных сообщений в качестве функции потерь
принимается квадратичная функция потерь
в виде
.
среднеквадратической погрешности. При этом минимум условного риска
имеет место при минимуме среднеквадратической погрешности
оценивается центр тяжести апостериорной плотности распределения
вероятностей (АПРВ). Для симметричных кривых АПРВ центр тяжести –
. Для этого
100
Упрощенная структурная схема оптимального приемника
ОФУ РУ
)(ty
ОФУ – оптимальное
фильтрующее устройство
РУ – решающее устройство
Алгоритм разработки структурной схемы оптимального приемника:
1) выбор функции потерь (для непрерывных сообщений – это минимум
для дискретных – это минимум вероятности ошибки;
2) вычисление апостериорной плотности распределения вероятностей (АПРВ)
для определения максимума ,т.е. наиболее вероятного значения;
3) разработка алгоритма работы решающего устройства.
)/( y
Основная задача оптимального приемника – вычисление для всех
переданных сообщений и принятие решения в соответствии с выбранной
функцией потерь.
)/( y
)/( y
2
)(
)(tn
максимум АПРВ. При передаче дискретных сообщений критерий среднего
риска сводится к критерию минимума вероятности ошибки при приеме
элементарного импульса. В качестве переданного сообщения принимается то
значение, при котором имеет место максимум АПРВ.
Таким образом, в качестве основного алгоритма оптимального приемника
принимается определение максимума АПРВ (рис.98).
9.2. Упрощенная структурная схема оптимального приемника
Рис.98. Упрощенная структурная схема оптимального приемника
9.3. Апостериорная плотность распределения вероятностей
Целый ряд упрощений позволил свести критерий среднего риска к
определению максимума апостериорной плотности распределения
вероятностей оценки сообщения. Однако расчет АПРВ представляет из себя
трудно осуществимую задачу. По определению АПРВ – это вероятность того,
что передано сообщение
при условии, что известна реализация помехи
Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]