Практики / Практические_занятия_по_ТИДЗ_13_05_2025_final_stud
.pdf
Практические занятия по ТИДЗ
Тема 1
1.1.Описание сигналов в частотной области
а) Комплексный спектр: |
|
|
|
|
|
|
|
|
|
|
|
P( j f ) s(t)e j 2 f t dt |
(s(t)), |
f |
( , ), |
(а) |
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
(1.1) |
s(t) P( j f )e j 2 f t df |
1 |
|
|
|
|
|
|
|
|
|
|
(P( j f )), |
t |
( , ), [с] |
(б) |
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
б) Амплитудный спектр: P( f ) | P( j f ) | |
Re2 P( j f ) Im2 P( j f ), |
f |
|
(1.2) |
|||||||
в) Фазовый спектр: |
|
|
|
|
|
|
|
|
|
|
|
( f ) arg(P( j f )) Arctg(Im P( j f ) / Re P( j f )) [0,2 ) или (- , ], |
f |
(1.3) |
|||||||||
г) Спектральная плотность энергии: |
G( f ) | P( j f ) |2 P( j f ) |
|
( j f ) P2 ( f ), |
f |
(1.4) |
||||||
P |
|||||||||||
Задача 1.1. Убедиться, что
1,
прямоугольного импульса s(t) 0,
а) Ps ( j f ) (s(t)) T / 2 1 e j 2 ft
T / 2
в) s ( f ) 0, f
Выполнить аналогичные s1 (t) s(t T / 2)
спектральные |
характеристики |
(1.1)-(1.5) центрированного |
||
| t | T / 2 T (t) |
описываются следующими выражениями: |
|||
| t | T / 2 |
|
|
||
dt T |
sin( fT ) |
T sinc( fT ) , |
б) P ( f ) T | sinc( fT ) | , |
|
|
||||
|
fT |
|
s |
|
|
|
|
||
;г) Gs ( f ) T 2 sinc2 ( fT ) .
вычисления (1.1)-(1.4) для нецентрированного импульса
Построить графики всех характеристик: а) - г) .
Записать выражение для полосового сигнала с прямоугольной огибающей и его комплексного спектра. Нарисовать графики такого сигнала и спектра.
Указание: Использовать свойство сдвига по частоте, сохраняющий вещественность сигнала:
s |
(t) s(t) cos(2 f |
t) P ( j f ) |
1 |
P ( j( f |
|
f |
|
)) P ( j( f f |
|
)) , f , f |
|
|
(1.5) |
|||||||||||
|
o |
o |
o |
|||||||||||||||||||||
o |
|
|
|
o |
|
|
s |
|
2 |
s |
|
|
|
|
|
s |
|
|
|
|
||||
|
|
|
|
|
|
|
o |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Задача |
1.2. |
Убедиться, |
что |
спектральные характеристики |
(1.1)-(1.4) |
центрированного |
||||||||||||||||||
|
|
|
|
|
|
|
| t | |
, | t | T / 2 |
|
|
|
|
|
|
|
|
|
|
|
|
||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
треугольного импульса u(t) |
|
(T / 2) |
|
|
|
|
(t) описываются следующими выражениями |
|||||||||||||||||
|
|
|
|
|
|
|
0, |
|
| t | T / 2 |
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
|
|
|
а) Pu ( j f ) T /2 |
u(t) e j 2 ft dt |
T |
sinc2 ( fT / 2) |
| Pu ( j f ) |, |
|
|
|||||||||||||||
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
|
|
|
|
T /2 |
|
|
|
|
|
2 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
б) |
u |
( f ) 0, f |
|
; |
|
г), |
|
в) |
G ( f ) | P ( j f ) |2 (T 2 / 4) sinc4 |
( fT / 2) . |
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
u |
|
|
u |
|
|
|
|
|
|
||
Выполнить |
|
аналогичные |
вычисления |
(1.1)-(1.4) |
для |
|
нецентрированного импульса |
|||||||||||||||||
u1 (t) u(t Т / 2) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Построить графики всех характеристик: а) - в).
Записать выражение для полосового сигнала с треугольной огибающей и его комплексного спектра. Нарисовать графики такого сигнала и спектра, используя свойство (1.5)
1.2.Описание сигналов во временной области
а) Корреляционная и взаимная корреляционная функция, коэффициент корреляции:
Bs |
( ) s(t)s(t )dt |
s(t )s(t)dt |
|
|
||
|
|
|
|
, |
R( ) B( ) / B(0) |
(1.5) |
|
|
( ) |
|
|||
Bs,u |
s(t)u(t )dt, s(t),u(t) |
|
|
|||
|
|
|
|
|
|
|
б) Теорема Винера-Хинчина:
|
|
|
|
|
B( ) |
1 (G( f )) |
G( f )e j 2 f df , |
|
(a) |
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
(1.6) |
||
|
|
|
|
|
|
|
|
(B( )) B( )e j 2 f d , |
|
|
|
|
|
|
|||||||
|
|
|
|
|
G( f ) |
|
f |
(б) |
|
|
|
|
|
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Задача 1.3. Убедиться, что корреляционные характеристики (1.5) центрированного |
||||||||||||||||||||
прямоугольного импульса описываются выражениями |
|
|
|
|
|
|
|
|
|||||||||||||
|
|
|
|
T |
|
|
|
|
|
| | |
|
|
|
|
|
| | |
|
|
|||
|
|
|
|
s(t)s(t )dt, |
| | T |
T 1 |
|
|
|
, |
| | T |
|
1 |
|
|
|
, |
| | T |
|||
|
|
|
|
|
|
|
|
||||||||||||||
а) B ( ) |
T |
|
|
|
|
|
T |
|
|
, |
R ( ) |
|
T |
|
|
||||||
|
s |
|
|
|
|
| | T |
|
|
|
|
|
|
|
s |
|
|
|
|
|
|
|
|
|
|
|
0, |
0, |
|
|
| | T |
|
0, |
|
|
| | T |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
б) |
Bs ( ) |
|
Gs ( f )e j 2 f df |
T 2 sinc2 ( fT )e j 2 f df |
f |
|
|
|
|
|
|
|
|||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Построить графики функций Bs ( ) , R( ) .
Тема 2. Информационные характеристики сигналов
а) Эффективная ширина спектра сигнала:
1) Для НЧ-сигнала ( f |
н |
0) |
: |
F :| G( f ) | G( f |
oo |
) |
для f F , |
[0,10 1 ] |
(2.1а) |
|
|
|
э |
|
э |
|
|
где foo |
f |
|
f |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
fв f G( f )df |
fв G( f )df центральная частота сигнала |
|
|
|
|
||||||||||||||||||||||
|
|
н |
|
н |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
2) Для полосового сигнала ( fн 0) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
F :| G(| f f |
oo |
|
|) | G( f |
oo |
) для | |
f f |
oo |
| F , |
[0,10 1 ] , |
|
(2.1б) |
||||||||||||||
|
|
э |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
э |
|
|
|
|
||||
где для ЧО-сигналов можно выбирать 0 . |
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
б) Эффективная длительность сигнала: |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||
|
|
э : |
| B( ) | B(0) |
или | R( ) | |
для э , |
[0,10 1 ] |
(2.2) |
||||||||||||||||||||
где для финитных сигналов можно выбирать 0 . |
|
|
|
|
|
|
|
|
|
||||||||||||||||||
в) База сигнала и его размерность |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
B F |
э |
, |
|
|
n 2 B |
2 F |
, |
|
|
|
(2.3) |
|||||||||||
|
|
|
|
|
o |
|
э |
|
|
|
|
|
o |
|
|
|
э |
э |
|
|
|
|
|||||
Задача 2.1. Спектральная плотность энергии сигнала и корреляционная функция равны |
|
||||||||||||||||||||||||||
|
|
G( ) |
|
|
2 |
2 f , |
B( ) exp( | |) |
|
|
|
|||||||||||||||||
|
|
|
|
|
|
, |
|
|
|
||||||||||||||||||
|
|
2 |
2 |
|
|
|
|||||||||||||||||||||
Вычислить информационные характеристики (2.1)-(2.3) для значений 0,01 |
0,05 , 1,5 |
|
|||||||||||||||||||||||||
Задача 2.2. Спектральная плотность энергии сигнала и корреляционная функция равны |
|
||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
G( ) |
|
|
|
|
2 |
|
|
, |
|
B( ) exp( a 2 ) |
|
|
|||||||||||||
|
|
|
|
a |
|
exp |
4a |
, 2 f |
|
|
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||
Вычислить информационные характеристики (2.1)-(2.3) для значений 0,01 |
0,05 , a 1,1 |
|
|||||||||||||||||||||||||
Задача 2.3. Спектральная плотность энергии сигнала и корреляционная функция равны |
|
||||||||||||||||||||||||||
|
|
G( ) aexp( a | |), |
2 f |
, |
|
B( ) |
|
a2 |
|
|
|
||||||||||||||||
|
|
|
a2 2 |
|
|
|
|||||||||||||||||||||
Вычислить информационные характеристики (2.1)-(2.3) для значений 0, 04 |
0,01, a 1, 4 |
|
|||||||||||||||||||||||||
Задача 2.4. Спектральная плотность энергии полосового сигнала и корреляционная функция равны
G( ) |
|
|
|
, 2 f , o |
0 , |
B( ) exp( | |) cos( o ) |
|
|
|||||
2 ( )2 |
2 ( )2 |
|||||
|
o |
|
o |
|
|
|
Вычислить информационные характеристики (2.1)-(2.3) для значений 0, 05 0,01, a 1, 2
Тема 3. Дискретизация и квантование сигнала
3.1. Дискретизация и восстановление сигналов
По теореме отсчётов Котельникова в случае низкочастотного ЧО-сигнала с максимальной частотой fmax F частота fd_min 1/ d 2F является минимальной частотой дискретизации, при котором точное его восстановление по дискретным отсчётам ещё возможно. Если же сигнал не является ЧО, то минимальную частоту дискретизации следует выбирать из условия fd_min 2Fэ .
При этом. чтобы ошибка восстановления непрерывного сигнала (а значит и потери информации) была небольшой, количество отсчётов N в формуле восстановления следует выбирать
|
|
N |
/ |
|
|
|
f |
|
|
2 |
|
F |
|
|
2 |
F |
2 B n |
|
(3.1) |
||||||||
|
|
d |
|
d_min |
|
э |
|
|
|||||||||||||||||||
|
|
|
э |
|
|
|
э |
|
|
|
|
э |
|
|
|
|
э э |
|
|
o |
|
|
|||||
Задача 3.1. |
Дискретизируется прямоугольный импульс |
s(t) |
1, |
0 t T |
|
с известными |
|||||||||||||||||||||
|
t 0, t T |
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0, |
|
|
|
амплитудным спектром и нормированной корреляционной функцией |
|
|
|
|
|||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| | |
|
| | T |
|
|
|
||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
, |
|
T 0,1 секунд. |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||
|
Ps |
( f ) T | sinc( fT ) | , |
|
Rs |
( ) |
|
|
|
T |
|
|
|
, |
||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0, |
|
|
|
| | T |
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Найти минимальную частоту дискретизации |
fd_min 1 / и количество отсчётов |
N дискретного |
|||||||||||||||||||||||||
сигнала s[i] s(i ), |
i 0,1,..., N 1 |
при которых потери информации на этапе его восстановления |
|||||||||||||||||||||||||
будут незначительными. (Указание: при вычислении эффективной ширины спектра Fэ |
и длительности |
||||||||||||||||||||||||||
э использовать пороги 0, 05 , |
|
0 и формулы (2.1), (2.2)) |
|
|
|
|
|
|
|
||||||||||||||||||
Задача 3.2. Дискретизируется частотно ограниченный сигнал |
|
|
|
|
|
||||||||||||||||||||||
|
|
|
s(t) 2F sinc(2 F (t to )), |
|
|
F 100 Гц, |
to |
э |
, t ( , ) |
|
|||||||||||||||||
с корреляционной функцией и спектральной плотностью энергии |
|
|
|
|
|
||||||||||||||||||||||
|
|
|
B( ) 2F sinc(2 F ), |
|
|
|
|
|
|
|
1, |
|
| |
f | F |
|
|
|
||||||||||
|
|
|
G( f ) |
|
|
f | F |
|
|
|
||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0, |
|
| |
|
|
|
||
Найти минимальную частоту дискретизации |
fd_min |
1 / d |
и количество отсчётов |
N |
дискретного |
||||||||||||||||||||||
сигнала s[i] s(i d ), |
i 0,1,..., N 1 при которых потери информации на этапе его восстановления |
||||||||||||||||||||||||||
будут незначительными. (Указание: при вычислении эффективной ширины спектра Fэ |
и длительности |
||||||||||||||||||||||||||
э использовать пороги 0 и |
0,05 ) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
3.2. Квантование дискретно-непрерывных сигналов |
|
|
|
|||||||||||||||||||||||
Квантование это |
процесс |
преобразования |
отсчётов |
|
дискретно-непрерывного |
сигнала (ДНС) |
|||||||||||||||||||||
{bk }: bk b(k d ), k 0,..., N 1 |
|
из |
диапазона |
Шb |
(bmax bmin ) |
|
на |
интервале |
наблюдения |
||||||||||||||||||
JN {0,..., N 1} до разрешённых уровней, образующих шкалу квантования следующего вида |
|||||||||||||||||||||||||||
|
|
bmin |
b( 0) b(1) b( 2) ... b(i ) b( i 1) |
... b( M 1) |
bmax |
|
(3.2) |
||||||||||||||||||||
Правило квантования состоит в следующем: если входной отсчёт квантователя попадает в интервал
|
|
hi bk hi 1 , |
i |
0, M 1 |
|
(3.3)) |
|||
|
h b(i ) / 2, |
h |
b(i) / 2 |
||||||
|
|
||||||||
|
i |
|
|
i 1 |
|
|
|
|
|
(где hi – пороги квантования, M – общее число уровней квантования), |
то сигнал на выходе |
||||||||
квантователя принимает значение |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
b |
b(i) |
, i |
0, M 1, |
|
k {0,..., N 1} |
(3.4) |
|||
Qk |
k |
|
|
|
|
|
|
|
|
(символ Q обозначает квантователь), а последовательность {bQ ,k } называется цифровым сигналом.
Графическое отображение всех порогов и уровней квантования имеет вид
h b(0) |
h |
h b(1) h |
h |
b(M 2) |
h |
|
h |
b(M 1) |
h |
M |
|||
o k |
1 |
1 k |
2 |
M 2 |
k |
M 1 |
|
|
M 1 |
k |
|
||
откуда следует - общее число порогов квантования равно M 1, т.е. на 1 больше числа уровней M . |
|||||||||||||
Величину разности |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
hi 1 |
hi (bmax bmin ) / (M 1), |
i |
0, M 1 |
|
|
(3.5) |
|
||||
называют равномерным шагом квантования. При этом на выходе квантователя образуется случайная неустранимая погрешность, называемая шумом квантования,
k bk bQk [ / 2, / 2] |
(3.6) |
распределенная по равномерному вероятностному закону на интервале [ / 2, / 2] с нулевым мат.
ожиданием |
m |
M[ k ] 0 . |
Можно |
показать, |
что |
|
дисперсия |
шумов |
квантования |
и |
их |
|||||||
среднеквадратическое значение, соответственно, равны: |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
D M[ 2 ] 2 |
/ 12, |
|
|
|
|
D / (2 |
|
3) |
|
(3.7) |
|||||
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
||
На практике обычно выбирают |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
b b(0) |
0, b |
b( M 1) |
0, |
| b |
|
| | b |
| b |
|
b . |
|
|
|
||||
|
|
min |
max |
|
|
|
max |
|
min |
max |
|
min |
|
|
|
|||
В результате |
на |
интервале наблюдения JN {0,..., N 1} цифровой |
|
сигнал |
(3.4) состоит |
из |
N |
|||||||||||
квантованных отсчётов {bQ ,k } , каждый из которых принимает одно из L состояний и ещё учитывает знак этого состояния p(i ) 1 , а именно.
|
|
|
|
|
|
b |
|
b(i) |
q(i) |
, |
q(i) |
p(i) |
j |
(L 1), |
, 1, 0,1, |
, L 1 , |
|
|
||||||||||||
|
|
|
|
|
|
Q,k |
|
|
k |
k |
|
k |
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
(3.8) |
||
|
|
|
|
|
|
|
|
jk |
| ik |
(L 1) | {0, |
, L 1}, |
|
ik {0, |
, M 1}, |
M 2L 1 |
|
|
|||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||||||
|
|
|
Задача 3.3. Дискретно-непрерывный |
сигнал |
|
{bk }: bk b(tk ), k 0,..., N 1, принимающий |
||||||||||||||||||||||||
значения из диапазона [bmin ,bmax ], |
поступает на вход квантователя для преобразования в цифровой |
|||||||||||||||||||||||||||||
сигнал b |
b(i) q(i) , |
|
q(i) {0, |
, L 1} . 1) |
Вычислить величину шага квантования , при которой |
|||||||||||||||||||||||||
|
|
|
Qk |
k |
|
|
k |
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
дисперсия |
D M[ 2 |
] шумов квантования |
|
k |
b |
b |
|
будет |
равна |
103 . |
2) Сколько уровней |
|||||||||||||||||||
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
k |
|
Qk |
|
|
|
|
|
|
|
||
квантования M при этом нужно будет взять, если bmin |
5, |
bmax 5 |
|
|
|
|
||||||||||||||||||||||||
|
|
|
Задача 3.4. Дискретный сигнал {bk } может принимать значения из диапазона [ 4, 4] , задано |
|||||||||||||||||||||||||||
общее |
число |
уровней |
квантования |
M 255 . |
Чему |
будет |
равен |
шаг |
квантования |
и |
||||||||||||||||||||
среднеквадратическая ошибка квантования. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||||
|
|
|
Задача 3.5. Дискретный сигнал {bk } поступает на квантователь и квантуется с шагом 0,05, |
|||||||||||||||||||||||||||
может квантуется, |
число неотрицательных состояний квантователя L 128 . Вычислить возможный |
|||||||||||||||||||||||||||||
диапазон квантования [ b, b] и дисперсию шумов квантования на его выходе. |
|
|
|
|||||||||||||||||||||||||||
|
|
|
Задача 3.6. На вход квантователя с |
числом |
уровней |
квантования |
M 511 |
и входным |
||||||||||||||||||||||
диапазоном |
Шb |
[ 3; 3] |
поступают |
четыре отсчёта |
|
b1 2.81, b2 1.91, b3 0.73, b4 |
0.51 |
ДНС. |
||||||||||||||||||||||
Вычислить |
соответствующие квантованные |
значения |
|
b |
b(i) |
, |
k 1, 2,3 и |
ошибки |
квантования |
|||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Qk |
k |
|
|
|
|
|
|
k |
bk |
bQk [ / 2, / 2] для данных отсчётов. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
|
|
|
|
|
|
|
|
Тема 4. Кодирование цифровых сигналов |
|
|
|
|
|
|
||||||||||||||||
Отображение |
K |
(10) |
: b |
|
q(i) описывает процедуру десятичного кодирования цифрового сигнала |
|||||||||||||||||||||||||
|
|
|
|
|
|
|
Q,k |
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
{b |
|
} в целочисленный код {q(i ) } в десятичной системе счисления со знаком, т.е. |
|
|
||||||||||||||||||||||||||
Q ,k |
|
|
|
|
|
|
|
|
|
k |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
{q(i ) } : q(i ) |
p(i ) (q |
|
q |
) |
k |
, q |
{0,1,..., 9} - десятич. разряды |
|
|
(3.9) |
||||||||||||||
|
|
|
|
|
|
|
k |
|
|
k |
i ,n 1 |
i ,0 |
|
|
i , l |
|
|
|
|
|
|
|
|
|
|
|
|
|
||
jk
Отображение K(2) : bQ,k wi,k описывает процедуру двоичного кодирования цифрового сигнала
{bQ ,k } , в двоичный код {wi,k } ,состоящий из нулей и единиц, т. е.
{wi,k }: wi,k (wi,n , wi,n 1, , wi,0 )k , wi, l {0;1} (3.10)
Полученная двоичная последовательность {wi,k } называется ИКМ сигналом. Алгоритм для получения первых n разрядов wi,n 1 , , wi,0 в (3.10) является рекуррентным и описывается выражением
|
wi,l 1 Q(i) |
j n 1 wi,l |
2l |
2l |
, l0 n 1, n 2, ..., 0 |
|
|
|
|
||||||||||
|
|
|
|
|
|
0 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
l l |
0 |
|
|
|
|
|
|
|
|
|
|
|
(3.11) |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Нач.усл.: w |
|
j / 2n 1 |
, j | i L 1|, |
n log |
2 |
(L 1) |
|
|
|
|||||||||
|
|
i,n 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
Старший разряд w |
в (3.10), определяющий знак |
p(i ) |
1 цифрового сигнала |
b |
находится по |
||||||||||||||
i,n |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Q ,k |
|
|
|
|
|
|
(i ) |
1 . |
|
|
|
|
|
|
|
|
|
|
|
|
|
дополнительной формуле w |
1, |
|
p |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
i,n |
0 |
p(i) 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||
Оператор, обратный двоичному кодированию (3.11) описывается формулами: |
|
||||||||||||||||||
|
qk(i) Q1 (wi,k |
) p(i) qk |
p(i) |
n1 |
wi,l 2l , |
1, |
|
wi,n |
1 |
(3.12) |
|||||||||
|
|
|
p(i) |
|
|
wi,n |
|
0 |
|||||||||||
|
|
|
|
|
|
|
|
|
|
l 0 |
|
|
1 |
|
|||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Иногда вместо двоичного кодирования используют m-ичное кодирование, при котором десятичные числа {qk(i ) } записываются в n-позиционной системе счисления по основанию m>2 в виде совокупности разрядов
{vi,k }: vi,k (vi,n , vi,n 1 |
, vi,0 )k , vi, l {0,1, |
, m 1}, |
(3.13) |
Алгоритмы m-ичного кодирования и декодирования строятся аналогично двоичному варианту.
Задача 4.1. Три отсчёта bk 0.84, bk 1 1.91, bk 2 1.73 дискретно-непрерывного сигнала
{bk }: bk b(tk ) поступают на вход квантователя для преобразования в цифровой сигнал {bQ ,k } . Число уровней квантования равно M 2L 1 255 , входной диапазон квантователя Шb [ 2, 2] . Найти цифровой код этих отсчётов на выходе квантователя, применив к ним процедуру десятичного кодирования K(10) : bQ,k qk(i) .
Задача 4.2. Дискретно-непрерывный сигнал {bk }: bk b(tk ), k 0,..., N 1, принимающий значения из диапазона Шb [ 5; 5], поступает на вход квантователя для преобразования в цифровой сигнал {bQ ,k } . Число уровней квантования M 2L 1 511 известно. Найти двоичный цифровой код
{wi,k } для непрерывных отсчётов |
bk 3.74, bk 1 |
4.51, bk 2 2.33 на выходе квантователя, |
||||||||||
применив к ним процедуру двоичного кодирования K(2) : bQ,k wi,k (wi,n , wi,n 1, |
, wi,0 )k , |
wi, l {0;1}. |
||||||||||
Указание: Применить формулы (3.10-3.11) |
|
|
|
|
|
|
|
|
||||
Задача |
4.3. Известны |
десятичные цифровые |
коды |
q(i ) 313, q(i ) |
195, |
q(i ) |
2 |
477 |
||||
|
|
|
|
|
|
|
k |
k 1 |
|
k |
|
|
квантованных |
отсчётов |
bQ ,k . |
Найти |
их |
двоичный |
цифровой |
эквивалент |
|||||
wi,k (wi,n , wi,n 1 , |
, wi,0 )k , |
wi, l {0;1} , применив алгоритм двоичного кодирования (3.11). |
|
|
|
|||||||
Задача 4.4. Известен двоичный цифровой код |
wi,k (wi,8 , wi,7 , |
, wi,0 )k |
(0,1,1, 0, 0,1, 0,1) |
|||||||||
квантованного отсчёта b |
на выходе АЦП. Найти его десятичный эквивалент со знаком q(i ) , применив |
|||||||||||
|
Q ,k |
|
|
|
|
|
|
|
k |
|
|
|
алгоритм двоичного декодирования (3.12).
Задача 4.5. Известен двоичный цифровой код wi,k (wi,8 , wi,7 , |
, wi,0 )k (1, 0,1,1, 0,1,1, 0) |
квантованного отсчёта bQ ,k на выходе АЦП. Найти его десятичный эквивалент со знаком qk(i ) , применив алгоритм двоичного декодирования (3.12).
Задача 4.5. Определите дисперсию шума квантования, если равномерный шаг квантователя равен 5.0 , В . Предполагается, что шум квантования распределён равномерно в интервале
- / 2;Δ / 2 .
Задача 4.7. Выход непрерывного источника информации кодируется ИКМ сигналом в виде последовательности единиц и нулей. Сигнал источника частотно-ограниченный с верхней частотой в спектре fmax , количество уровней квантования M . Найти битовую скорость в кбит/c кодера ИКМ для
следующих вариантов: 1) fmax 10 ; M 8 ; 2) |
fmax 2 ; M 32 ; 3) |
fmax 7 ; M 32 |
Задача 4.8. Определите десятичное число, закодированное двоичным кодом x1 =10101011, x2 =00110011, x3 =111000111
Тема 5 . Энтропия дискретного источника информации
5.1. Собственная информация и энтропия ДИС
Если рассматривается одно случайное дискретное информационное сообщение (ДИС) X {xi }, xi A {a1, , aL } , то говорят о собственной информации или энтропии. Для двухмерного
ДИС X {x1 , x2} , состоящего из 2-х случайных величин (x1, x2 ) x , принимающих значения ak , aq A
из алфавита A {a1, |
, aL } с известным |
дискретным вероятностным распределением |
(ДВР) |
p1,2 (ak , aq ) P {x1 ak , x1 |
aq } , ak A, k 1, |
, L , |
|
собственной случайной информацией Шеннона ДИС называется |
|
||
|
I(x) I(x1 , x2 ) log2 ( p1,2 (x1 , x2 )) бит |
(5.1) |
|
Собственной энтропией Шеннона ДИС называется неслучайная величина H[x], получаемая путем усреднения случайной информации Шеннона I(x) , т.е.
L |
L |
, aq ) бит |
|
H[x] M[I(x)] k 1 |
q 1 log2 ( p1,2 (ak , aq )) p1,2 (ak |
(5.2) |
|
Информацией Хартли двухмерного ДИС X {x1 , x2} называется неслучайная величина |
|
||
IHart log2 (1/ L2 ) 2 log2 (L), бит . |
|
(5.3) |
|
Собственной условной энтропией Шеннона ДИС называется величина, определяемая выражением
H[x1 | x2 ] L |
L log2 ( p1 (ak | aq )) p1,2 (ak , aq ), бит . |
(5.4) |
||
|
|
k 1 |
q1 |
|
Собственной взаимной энтропией Шеннона 2-х случайных величин одного ДИС называется |
|
|||
H[х y] M |
L |
p(ak ,br ) log2 ( p(ak | br ) / p(ak ) ), бит . |
(5.5) |
|
r 1 |
k 1 |
|
|
|
2). Аналогично, для одномерного ДИС X {x} из одной случайной величины с одномерным ДВР
p(ak ) P {x1 ak } , |
ak A, |
k 1, |
, L выражения (5.1)-(5.3) принимают вид |
|
|
|
|
I(x) I(x) log2 ( p(x)), бит |
|
|
|
|
|
IHart |
log2 (1 / L) log2 (L), бит |
|
(5.6) |
|
|
H[x] M[I(x)] L log2 ( p(ak )) p(ak ), |
бит |
|
|
|
|
|
k 1 |
|
|
3). Для ДИС из двух случайных величин (x1, x2 ) x с заданным двухмерным ДРВ |
p1,2 (ak , aq ) |
||||
собственная случайная информация (5.1) и энтропии (5.2),(5.3) каждой из этих случайных величин
могут быть вычислены по формулам (5.6), после нахождения их одномерных распределений из условия согласованности ДРВ, т.е. по формулам
p(ak ) L |
(ak , aq ), |
p(aq ) L |
p(ak , aq ), |
(5.7) |
q1 |
|
k 1 |
|
|
Если X {xi } содержит большее число случайных величин, то собственные энтропии строятся аналогично (см. лекции)
5.2. Взаимная информация и энтропия двух ДИС
Если рассматривают два взаимно связанных случайных ДИС X {xi }, xi A {a1, , aL } и Y {yi }, yi B {b1, , bM } с возможно разными алфавитами A, B и оценивают их информационное содержание, то говорят о взаимной информации или взаимной энтропии. Они определяются по формулам аналогичным (5.1)-(5.7) с формальной заменой переменных x1 x, x2 y .
Рассмотрим самый простой случай когда ДИС X {x},Y {y} включают по одному случайному
элементу |
x A, y B |
и |
известно |
|
|
их |
совместное |
взаимное |
распределение |
|||
p1,2 (ak , br ) P {x ak , y br } , ak |
A, br B. Тогда для них можно определить следующие взаимные |
|||||||||||
энтропии. |
|
|
|
|
|
|
|
|
|
|
|
|
1). Случайная взаимная информация Шеннона двух ДИС |
|
|
|
|
||||||||
|
|
I(x, y) log2 ( p1,2 (x, y)), |
бит |
|
|
|
(5.8) |
|||||
2). Совместная взаимная энтропия двух ДИС |
|
|
|
|
|
|
|
|
||||
|
H[х, y] M[I(x, y)] M |
|
L |
p(ak , br ) log2 |
p(ak , br ), |
бит |
(5.9) |
|||||
|
|
|
|
r 1 |
k 1 |
|
|
|
|
|
||
3). Условная взаимная энтропия двух ДИС |
|
|
|
|
|
|
|
|
||||
|
H[х | y] M |
L |
p(ak , br ) log2 |
p(ak | br ), |
бит |
(5.10) |
||||||
|
|
|
|
r 1 |
|
k 1 |
|
|
|
|
|
|
4) Взаимная энтропия двух ДИС |
|
|
|
|
|
|
|
|
|
|
|
|
|
H[х y] M |
L |
|
p(ak , br ) log2 ( p(ak |
| br ) / p(ak ) ), бит |
(5.11) |
||||||
|
|
|
r 1 |
k 1 |
|
|
|
|
|
|
|
|
5) Собственные взаимные энтропии двух ДИС |
|
|
|
|
|
|
|
|
||||
|
H[x] L |
p(ak ) log2 p(ak ), |
H[ y] M |
p(br ) log2 |
p(br ), |
бит |
(5.12) |
|||||
|
k 1 |
|
|
|
|
|
r 1 |
|
|
|
|
|
где одномерные ДВР p(ak ) , p(br ) |
находятся из условия согласованности. |
Если |
X {xi },Y {yi } |
|||||||||
содержат большее число величин, то взаимные энтропии строятся аналогично (см. лекции)
5.3. Основные тождества и неравенства для энтропий ДИС
Все перечисленные выше энтропии связанны между собой определенными соотношениями, которые легко доказываются с использованием формул Байеса, свойств логарифма и неравенства
ln x x 1. Ниже приводятся наиболее важные соотношения (тождества) между разными энтропиями одного ДИС.
H[x1 x2 ] H[x1 ] H[x1 | x2 ], |
(а) |
|
H[x1, x2 ] H[x1 ] H[x2 | x1 ], |
(б) |
|
H[x1, x2 ] H[x2 , x1 ], |
||
(5.13) |
||
H[x1 | x2 ] H[x1, x2 ] H[x2 ], |
(в) |
H[ x1 x2 ] 0, H[x1 , x2 ] 0, 0 H[x1 | x2 ] H[x1 ] (г)
Для двух ДИС справедливы аналогичные тождества и неравенства, которые получаются из (5.13) формальной заменой переменных x1 x, x2 y .
5.4. Собственные энтропии ДИС
Энтропия ДИС-БП. Дискретный источник информации без памяти (ДИИ-БП) генерирует ДИС-БП {xi , i 1, 2, } , у которого все случайные элементы статистически независимы, т.е. для любой n- мерной совокупности X (x1 , , xn ) многомерное ДРВ факторизуется в произвед одномерных ДРВ.
p1, ,n |
(ak , |
, ak |
) pn (ak |
) |
p1 |
(ak ), |
ak |
A . |
(5.14) |
|
1 |
|
n |
n |
|
1 |
|
i |
|
Поэтому для энтропии ДИИ-БП получаем следующее выражение:
H[ X ] n |
L |
log2 ( pi |
(ak |
)) pi |
(ak |
|
) n |
H[xi ], |
(5.15) |
i 1 |
ki 1 |
|
i |
|
|
i |
i 1 |
|
|
При дополнительном условии стационарности источник ДИИ-БП генерирует стационарное ДИС с
независимыми элементами |
(ДИС-СБП), а n-мерная ДВР (5.16) |
упрощается |
и |
принимает вид |
||
p(ak1 , , akn ) p(ak1 ) |
p(akn ), где p(aki ) p(aq ), aki aq A, т.е. все с. в. |
xi одинаково распределены. |
||||
Поэтому H[xi ] H[x] и из (5.17), как частный случай получаем |
|
|
|
|
||
|
|
H[ X ] n H[x] n H[x], |
|
|
|
(5.16) |
|
|
i 1 |
|
|
|
|
Энтропия ДИС-CM. Будем говорить, что дискретный источник информации генерирует стационарное |
||||||
марковское ДИС {xi , i 1, 2, |
} , если его любое n-мерное ДРВ |
p1, ,n |
(ak , , ak |
) |
факторизуется в |
|
|
|
|
|
1 |
n |
|
произведение одномерных условных и безусловных ДВР которые не зависят от временного индекса i 1, , n и одинаково распределены, т.е. справедливо
p1, ,n (ak , |
, ak ) p (ak | ak |
) |
p (ak | ak ) p (ak |
), ak |
A |
(5.17) |
|||||||
1 |
|
n |
|
n |
|
n 1 |
|
2 |
1 |
1 |
|
i |
|
|
|
|
|
|
|
||||||||
i : p(ak | ak ) p(ak | aq ), |
|
p (ak ) p(aq ), ak |
A, aq A, |
|
|||||||||
i |
i 1 |
|
|
|
|
|
1 |
|
|
|
|
|
|
В этом случае энтропия n-мерного сообщения X (x1 , |
, xn ) упрощается и принимает вид |
|
|||||||||||
|
H[ X ] (n 1) H[x2 | x1 ] H[x1 ], |
|
(а) |
|
|
||||||||
H[x2 |
| x1 ] L |
L |
p(ak , aq ) logb p(ak | aq ) , |
(б) |
|
(5.18) |
|||||||
|
|
|
q 1 |
k 1 |
|
|
|
|
|
|
|
|
|
|
H[x1 |
] L |
p(aq ) logb p(aq ) |
|
(в) |
|
|
||||||
|
|
|
|
q 1 |
|
|
|
|
|
|
|
|
|
5.4. Экстремальные свойства энтропии |
|
|
|
|
|||||||||
Общий случай. Пусть ДИИ генерирует произвольное n-мерное ДИС X {x1 , |
, xn } с зависимыми или |
||||||||||||
независимыми элементами xi A , тогда его энтропия H[X ] |
и любая условная энтропия H[X | Y] |
||||||||||||
ограничены сверху неравенством |
|
|
|
|
|
|
|
|
|
|
|
|
|
H[ X | Y ] H[ X ] n log2 (L), |
Hn,max n log2 (L) . |
|
|
(5.17) |
|||||||||
При этом максимум энтропии |
Hn,max |
достигается, |
когда все случайные величины ДИС xi A |
||||||||||
независимы одинаково распределены, а их значения равновероятны, т.е.
i : pi (ak |
) po |
(ak |
) 1 / L, ak |
A, |
|
|
(5.18) |
i |
|
|
i |
i |
|
|
|
5.5. Удельная энтропия, производительность, насыщенность и избыточность ДИИ |
|||||||
Удельная энтропия. Рассмотрим ДИС |
X |
x (x1,...., xn ) |
из n |
зависимых |
случайных |
элементов |
|
xi A={a1,....,aL} с энтропией Шеннона |
H[ X ] . |
Тогда удельной |
энтропией |
называется |
величина, |
||
определяющая среднюю информацию Шеннона, приходящуюся на один элемент сообщения, т.е.
Hn[X ] H[x1, |
, xn ] n H[x] n |
(5.19) |
В случае ДИС с бесконечным числом |
элементов x (x1, x2 , x3 , |
) , предел H [ X ] lim Hn[x] |
|
|
n |
называется удельной эргодической энтропией.
Показатели информационной эффективности. Пусть ДИИ генерирует ДИС X {xi } , xi A={a1,....,aL}
, которое по длительности может быть конечным или бесконечным; Т э – длительность формирования любого элемента ДИС xi в секундах; Тс Tэ n – длительность конечного ДИС; n – число его элементов, тогда определяются следующие показатели информационной эффективности:
Производительность источника.
|
J p |
[X ] |
Hn [X ] |
|
H[ X ] |
, J p [X ] |
H [ X ] |
, |
|
|
|
|
|
|
|
|
(5.20) |
|||||||||||
|
|
|
Тэ |
|
|
Tc |
|
|
|
Тэ |
|
|
|
|
|
|
|
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||
Информационная насыщенность источника. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||
|
Js [ X ] |
|
J p [ X ] |
|
|
H[ X ] |
1, |
Js [ X ] |
|
J p [ X ] |
|
H [ X ] |
1 |
(5.21) |
||||||||||||||
|
|
J p max |
|
|
Hmax |
|
|
|
J p max |
|
Hmax |
|
||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
Избыточность источника. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Jr [ X ] 1 Js |
[ X ] 1 |
H[ X ] |
|
0, |
Jr [ X ] 1 J s [ X ] 1 |
H [ X ] |
0 |
(5.22) |
|||||||||||||||||||
|
Hmax |
Hmax |
|
|||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|||||||||||||||||||||||||||
Задача 5.1. Один из символов x A {a1, |
, aL } дискретного источника информации (ДИИ) |
|||||||||||||||||||||||||||
появляется на его выходе с вероятностью |
p P{x ak } : 1) |
p 0,1 |
); |
2) p 0, 27 ; 3) |
p 0, 05; 4) |
|||||||||||||||||||||||
p 0, 46 . Найти его собственную информацию I(x) в битах. |
|
|
|
|
|
|
|
|
|
|
|
|
|
|||||||||||||||
Задача 5.2. Дискретный двоичный источник без памяти (ДИИ-БП) выдает случайные символы |
||||||||||||||||||||||||||||
Х {xi }, i 1, 2, 3, |
xi A {0;1} с вероятностями p и q . |
|
|
|
|
|
|
|
|
|
|
|
|
|
||||||||||||||
1.Найти энтропию каждого символа источника, если а) p 0,1; б) p 0,3 ); в) p 0,5 ; г) p 0,7 ;
в) p 0,9 ; 2)Найти энтропию ДИС-БП из 7 символов этого источника для тех же вероятностей. 3) Найти максимальную энтропию сообщения, состоящего, соответственно, из 5; 14; 23; 50 символов.
Задача 5.3. ДИИ-БП имеет объем алфавита L и формирует ДИС в виде бесконечной последовательности отсчетов. Чему равна максимально возможная энтропия: а) каждого символа такого источника; б) сообщения, составленного из нескольких символов, если число символов в сообщении равно 3; 10; 27.
Задача 5.4. Даны три дискретных источника без памяти. У одного объем алфавита L 2 , символы алфавита равновероятны; у второго L 3, символы источника равновероятны, у третьего L 2 , символы появляются с вероятностями p 0,3 , q ? . Вычислить энтропию всех этих источников
и определить, какой из них обладает большей энтропией. |
|
|
|
|
||
Задача 5.5. Дискретный |
источник |
информации |
|
выдает случайные символы |
||
X {x}, x A {0,1, , n} с биномиальным законом распределения |
|
|
||||
p(k) P ({x k}) Ck pk (1 p)n k |
, k A , |
Ck |
|
n! |
||
|
|
|||||
|
|
|||||
n |
n |
|
n |
|
(n k)!k ! |
|
|
|
|
|
|
||
Определить энтропию H X этого источника: а) в общем случае; б) при p=0,5 и n=5; в) p=0,1 и n=4.
Задача 5.6. |
Дискретное распределение |
|
вероятностей (ДРВ) |
случайного |
|
ДИС |
X {x}, x A {a1, a2 , a3 , а4} имеет вид: p(ak ) p(a1) |
|
0.1, p(a2 ) 0.1, p(a3 ) |
0.1, p(a4 ) |
|
0.7 |
|
Определить какое число M элементов алфавита B {b1, |
, bM } должно быть у ДИС Y {y},Y B с |
|||||
равномерным ДРВ случайной величины y , чтобы энтропия ДИС Y была наиболее близка к энтропии
ДИС X.
Задача 5.7. Для двух случайных ДИС X {x}, x A {a1,a2 ,a3}, Y {y},Y B {b1,b2} известно
совместное взаимное ДВР : |
|
|
|
p(a1,b1 ) 0.1; |
p(a1,b2 ) |
0.25; |
p(a2 ,b1 ) 0.2; |
p(ak ,br ) |
p(a3 ,b1 ) |
0.3; |
p(a3 ,b2 ) 0.15 |
p(a2 ,b2 ) 0; |
|||
Определить: а) собственные энтропии H[X], H[Y] ; б) |
совместную взаимную энтропию H[X, Y] ; в) |
||
условные взаимные энтропии H[X | Y], H[Y | X] ; в) взаимную энтропию H[X Y] .
|
Задача 5.8. ДИИ формирует двухмерное случайное ДИС X {x1, x2}, xi A {a1, a2 , a3 , а4} , из |
|||||||||||||||||
двух |
с. в. x (x1, x2 ) , |
с |
алфавитом A |
из 4-х символов. Известны одномерные безусловные |
||||||||||||||
p1 (ak |
) P({x1 |
ak }), ak |
A |
и условные |
p1 (ak |
2 |
| ak ) P({x2 |
ak |
2 |
| x1 ak |
}), ak |
, ak |
A дискретные |
|||||
1 |
|
1 |
1 |
|
|
|
|
1 |
|
|
1 |
1 |
|
2 |
||||
вероятностные распределения (ДВР) этих величин этих с. в., заданные ниже двумя таблицами: |
||||||||||||||||||
|
|
|
ak |
|
a1 |
|
|
|
a2 |
|
a3 |
|
|
|
а4 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
p1 |
(ak |
) |
0,5 |
|
|
|
0,25 |
|
0,125 |
|
|
0,125 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
ak |
ak2 |
a1 |
|
|
|
a2 |
|
a3 |
|
|
|
а4 |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
a1 |
|
|
5/8 |
|
|
|
3/8 |
|
0 |
|
|
|
0 |
|
|
|
|
|
a2 |
|
|
1/8 |
|
|
|
1/2 |
|
3/8 |
|
|
0 |
|
|
|
|
|
|
a3 |
|
|
0 |
|
|
|
0 |
|
0 |
|
|
|
1 |
|
|
|
|
|
а4 |
|
|
1/2 |
|
|
|
1/4 |
|
1/4 |
|
|
0 |
|
|
|
Найти собственные энтропии ДИС: 1) H[x1, x2 ],H[x1 | x2 ],H[x2 | x1],H[x1 x2 ] ; |
|
||||||||||
2) Найти производительность, насыщенность и избыточность источника: Jp [x], Js [x], Jr [x] , (Tэ |
0.1 с.) . |
||||||||||
Задача 5.9. Дискретный стационарный марковский источник формирует последовательность |
|||||||||||
случайных величин {xi }, xi A {a1, a2 , a3 , а4}, i 1, 2,3, |
|
с алфавитом A из 4-х символов. Известны |
|||||||||
одномерные |
безусловные |
i : p1 (ak ) P({xi aq }) p1 (aq ), aq A |
и условные переходные |
||||||||
|
|
|
|
i |
|
|
|
|
|
|
|
i : p1 (ak |
| ak |
) P({xi ar | xi1 aq }) p1 (ar |
| aq ), ar , aq A дискрет. |
вероят. распределения (ДВР) |
|||||||
i |
i 1 |
|
|
|
|
|
|
|
|
|
|
этого марковского процесса, приведенные ниже в соответствующих таблицах: |
|
||||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
ak |
a1 |
|
a2 |
|
a3 |
а4 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
p1 (ak ) |
0,60 |
|
0,20 |
|
0,15 |
0,05 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
ak2 |
a1 |
|
a2 |
|
a3 |
а4 |
|
|
|
|
|
ak |
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
a1 |
0,80 |
|
0,10 |
|
0,10 |
0,00 |
|
|
|
|
|
a2 |
0,20 |
|
0,60 |
|
0,20 |
0,00 |
|
|
|
|
|
a3 |
0,00 |
|
0,25 |
|
0,70 |
0,05 |
|
|
|
|
|
а4 |
0,05 |
|
0,05 |
|
0,40 |
0,50 |
|
|
Вычислить энтропию H[x] из n элементов такого |
|
марковского |
сообщения x (x1, |
, xn ) и |
|||||||
соответствующую избыточность источника Jr [x] при Tэ |
0.1 с. . Вычислить эти же показатели H[x] , |
||||||||||
Jr [x] для аналогичного сообщения без памяти c теми же безусловными ДВР и сравнить полученные результаты с предыдущими. Расчеты выполнить для двух вариантов: 1) n 2 ; 2) n 3
Задача 5.10. Решить задачу 5.9. для случая, когда стационарный дискретный марковский источник формирует бинарную последовательность {xi }, xi A {a1, a2}, i 1, 2,3, с алфавитом A из 2-х символов, а соответствующие одномерные безусловные и условные ДВР задаются таблицами
ak |
a1 |
a2 |
1 |
|
|
p1 |
(ak ) |
0,3 |
0,7 |
|
1 |
|
|
|
|
|
|
ak |
ak2 |
a1 |
a2 |
1 |
|
|
|
a1 |
|
0,40 |
0,6 |
a2 |
|
0,1 |
0,9 |
Задача 5.11. Дискретный источник информации без памяти с объемом алфавита L 5 обладает энтропией H(X ) 3.5 . Найти производительность, насыщенность и избыточность данного источника, если время формирования одного символа источником занимает Tэ 0.1 с.