Практики / Практические_занятия_по_ТИДЗ_13_05_2025_final_stud
.pdf
Задача 5.12. Стационарный дискретный случайный процесс задан распределением.
|
|
|
|
xi |
|
|
-2 |
|
-1 |
|
0 |
|
1 |
|
2 |
|
3 |
4 |
5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
pi |
|
|
0.05 |
|
0.05 |
|
0.08 |
|
0.1 |
|
0.12 |
|
0.15 |
0.2 |
0.25 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
Здесь xi - возможные значения процесса, |
pi - их вероятности. Найти математическое ожидание и |
||||||||||||||||||||
дисперсию процесса. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
Задача 5.13. Определите апостериорные вероятности передачи символов p(xi |
| y j ) в |
||||||||||||||||||
двоичном дискретном канале связи, если канал задан матрицей переходных вероятностей |
|||||||||||||||||||||
|
p( y | x ) |
p( y | x ) |
0.9 |
0.1 |
|
|
|
|
|
|
|
|
|
|
|||||||
P |
1 |
1 |
1 2 |
|
|
и p(x1 ) 0.8, p(x2 ) 0.2 . Ответ дать в виде матрицы |
|||||||||||||||
|
p( y2 | x1 ) |
p( y2 | x2 ) |
0.1 |
0.9 |
|
|
|
|
|
|
|
|
|
|
|||||||
|
p(x | y ) |
p(x | y |
) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
1 |
1 |
|
|
1 2 |
|
. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p(x2 | y1 ) |
p(x2 | y2 ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
|
|
|
|
|
6. Информационные характеристики непрерывных сообщений |
|
|
|
|||||||||||||
|
|
|
|
|
|
|
6.1. Дифференциальные энтропии случайных ДИС |
|
|
|
|||||||||||
|
Для |
случайных |
непрерывных |
информационных |
сообщений |
(НИС) |
(t) |
, t |
«алфавит» |
||||||||||||
возможных значений представляет собой несчетное (континуальное) множество. Поэтому для вероятностного и информационного описания НИС вместо ДВР используются ФПВ, а конечные суммы, используемые при вычислении моментных характеристик и энтропий ДИС заменяются на интегралы. Тем не менее прослеживается явная аналогия в определении многих вероятностных и информационных характеристик. В лекционном курсе сначала приводится общая векторная формулировка понятий информации и энтропии для случайных n-мерных непрерывнозначных
сообщений ξ [ (t1 ), |
, (tn )], полученных путем равномерной дискретизации НИС (t) , t |
в |
||||||||
моменты времени t [t1, |
, tn ] , с интервалом дискретизации Td , [c] . Причем предполагается, что для |
|||||||||
n-мерного |
сообщения ξ |
известна |
соответствующая ФПВ |
W (x; t) |
где |
x [х , |
, x ] |
n . |
В |
|
|
|
|
|
|
n |
|
1 |
n |
|
|
дальнейшем все рассматриваемые |
задачи будут предполагать стационарность исходного |
НИС |
||||||||
(t) , t |
, поэтому моменты времени t в записи ФПВ и информационных характеристик в для |
|||||||||
упрощения будут опускаться. Кроме того, размерность большинства рассматриваемых сообщений n не будет превышать 2
Информационной функцией НИС называется оператор
Jn ( ) logb Wn ( ) |
(6.1) |
а собственной дифференциальной энтропией H[ξ;] – величину H[ξ;] , которая получается в результате |
|
вероятностного усреднения случайной функции |
J(ξ) logb Wn (ξ) . Аналогично определяются |
условные и взаимные дифференциальные энтропии, заменой Wn ( ) , на условные Wn ( | ) и взаимные
Wn ( ) ФПВ.
n 1: H[ ] M[J( )] M[logb W1 |
( )] W1 (x) logb W1 (x) dx |
|
|||
Диф. энтропия: |
|
|
|
|
(6.2) |
n 2 : H[ 1 , 2 ] M[J( 1 , 2 )] W2 (x1 , x2 ) logb W1 (x2 , x1 ) dx1dx2 |
|
||||
|
|
|
|
|
|
Условная диф. энтропия: |
n 2 : H[ 1 | 2 ] M[logb W1 ( 2 |
| 1 )] |
W2 (x1 , x2 ) logb W1 (x2 | x1 ) dx1dx2 |
(6.3) |
|
|
|
|
|
|
|
Взаимная диф. энтропия: |
n 2 : H[ 1 2 ] |
Wn (x1 , x2 ) logb Wn ( x1 | x2 ) / Wn ( x1 ) dx1dx2 , |
(6.4) |
||
|
|
|
|
|
|
Примеры одномерных НИС и их энтропии
1. НИС с равномерной ФПВ
|
W1 |
1 / Lx , |
xmin x |
xmax |
H[ ] = logb Lx , |
|
|
|
||||||||||||
|
(x ) |
|
|
[xmin , xmax ] |
|
|
|
|||||||||||||
|
|
|
|
0, |
x |
|
|
|
|
|
|
|
|
, |
|
|
(6.5) |
|||
|
|
|
|
|
|
|
|
x |
|
|
|
|
L 2 |
|
|
|||||
|
|
L x |
x |
|
m |
x |
|
|
D |
|
|
|
|
|||||||
|
|
, |
max |
|
min |
, |
x |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
x max |
min |
|
x |
|
2 |
|
|
|
|
12 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
2. НИС с гауссовской ФПВ |
exp x2 |
|
, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
W (x) = (2 D ) 1/ 2 |
|
|
|
|
|
|
|
|
|
|||||||||||
/ 2D |
H[ ] log |
b |
2 eD , |
(M[ ] 0, |
M[ 2 ] D ) |
(6.6) |
||||||||||||||
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
3. НИС с экспоненциальной ФПВ. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
e х , |
|
0 x , |
H[ ] = logb (e / ), |
|
|
|
|
|
|
1 / 2 ) |
|
||||||||
W1 |
(x) |
|
x 0 |
(m |
1 / , |
D |
(6.7) |
|||||||||||||
|
0, |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Экстремальные свойства энтропии
В отличии от ДИС, у непрерывных случайных сообщений диапазон возможных значений неограничен. Поэтому экстремальная постановка задачи достижения максимального значения дифференциальной энтропии обычно рассматривается для двух наиболее важных случаев:
a) |
Ограниченная шкала изменения значений случайного НИС (t) x , t в заданном |
|
|
диапазоне x [xmin , xmax ] длинной Lx xmax xmin : |
|
|
H[ξ] H(a) n log |
L |
|
max |
b x |
б) |
Неограниченная шкала возможных значений НИС x ( , ) , но при ограничениях на |
|
математическое ожидание и дисперсию: M[ (t)] 0, M[ 2 (t)] D const , t
H[ξ] H(maxб ) n logb 
2 eD
где предполагается, что ξ [ (t1 ), |
, (tn )] - произвольное n-мерное случайное сообщение с |
зависимыми или независимыми элементами, полученными при дискретизации НИС.
Основные тождества для дифференциальных энтропий аналогичны тождествам (5.13) для ДИС:
H[ 1 2 ] H[ 1 ] H[ 1 | 2 ], |
|
|
H[ 1 , 2 ] H[ 1 ] H[ 2 | 1 ], |
(6.5) |
|
H[ 1 | 2 ] H[ 1 ], H[ 1 2 ] 0, |
||
|
||
H[ 1 , 2 ] H[ 1 ] H[ 2 ] H[ 1 2 ] |
|
Замечание. Дифференциальные энтропии и тождества для двух случайных НИС (t), (t), t 
(совместные взаимные, условные взаимные и взаимные) определяются аналогично и могут быть получены из (6.1)-(6.5) формальной заменой переменных x1 x, x2 y .
Основные непрерывные модели сообщений: НИС без памяти, марковские НИС, а также понятия
удельной энтропии и показатели информационной эффективности определяются аналогично тому, как это делалось для дискретных сообщений. Формально эта аналогия проявляется в заменах: дискретных вероятностных распределений (ДРВ) на функции плотности вероятностей (ФПВ); конечных сумм на несобственные интегралы, а также следующих заменах переменных в формулах для ДИС x1, x2 1, 2 , ak1 , ak2 x1, x2 . Учитывая это приведем ниже формулы для дифференциальных
энтропий и диффференциальных удельных энтропий n-мерных сообщений ξ [ (t1 ), |
, (tn )], |
|||||||
стационарных НИС-СБ и марковских НИС-СМ (t) x , t . |
|
|
||||||
НИС-СБ: |
H[ξ] n H[ ], |
Hn [ξ] |
H[ξ] |
|
H[ ] |
W1 (x) logb W1 ( x)dx |
(6.6) |
|
n |
||||||||
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
||
|
|
H[ξ] (n 1) Н[ 2 | 1 ] Н[ 1 ], |
Hn [ξ] H[ 2 | ] (1 / n)( H[ ] H[ 2 |
| ]), |
|
||||||||
НИС-СМ |
|
|
|
|
|
|
1 |
|
|
1 |
1 |
(6.7) |
|
где |
Н[ 2 |
| 1 |
] |
W1 (x2 , x1 ) logb |
W1 (x2 | x1 ) dx2dx1, Н[ 1 ] |
|
W1 (x1 ) logb |
W1 (x1 ) dx1 |
|||||
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|||
Показатели информационной эффективности непрерывных источников сообщений (НИИ) |
|
||||||||||||
|
|
|
|
|
Производительность : J p [ξ] Hn [ξ] / Тd , |
|
|
|
|||||
|
|
|
|
|
Насыщенность : Js [ξ] Hn [ξ] / Hn max , |
|
|
|
|
(6.8) |
|||
|
|
|
|
|
Избыточность : Jr [ξ] 1 Hn [ξ] / Hnmax |
0 |
|
|
|
||||
Задача 6.1. Определите дифференциальную энтропию гауссовского источника информации, если известна дисперсия сообщения x2 2.5 . При расчёте логарифм брать по основанию 2.
Задача 6.2. Источник непрерывных сообщений вырабатывает стационарную
последовательность { (ti ) }, i 1, 2,3, |
независимых случайных величин (ti ) , функция плотности |
|
вероятности (ФПВ) которых имеет |
следующий вид: W1 (x) exp( x), |
x 0 Найти |
дифференциальную энтропию непрерывного сообщения ξ последовательности.
Задача 6.3. Рассматриваются два источника непрерывных сообщений. Первый источник вырабатывает сообщения с нормальным распределением, а второй – с равномерным в диапазоне [-a, a] распределением. Энтропии источников равны. Определить, во сколько раз дисперсия равномерного распределения отличается от дисперсии нормального распределения.
Задача 6.4. Источник непрерывных сообщений вырабатывает стационарную последовательность независимых случайных величин, одномерная ФПВ которых имеет следующий вид: WX (x) exp( x), x 0. Найти величину параметра , при котором дифференциальная энтропия непрерывного сообщения равна 2.
Задача 6.5. Сравнить дифференциальные энтропии двух источников случайных непрерывных сообщений: гауссовского процесса и процесса, равномерно распределенного на интервале [-a, a], если их дисперсии одинаковы. Предполагается, что оба сравниваемых сообщения состоят из одинакового числа независимых случайных величин
Задача 6.6. Рассматриваются два источника непрерывных сообщений. Первый источник вырабатывает сообщения с нормальным распределением, а второй с экспоненциальным распределением с ФПВ W1 (x) exp( x), x 0 . Энтропии источников равны. Определить, во сколько раз дисперсия экспоненциального распределения отличается от дисперсии нормального распределения.