ТУСУР
Теория электрической связи
Часть 4
Профессор кафедры радиотехнических систем, д.т.н. Юрий Павлович Акулиничев
ТУСУР |
2 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Клод Элвуд Шеннон
Claude Elwood
Shannon
Гениальный
американский математик и электротехник, один из создателей математической
теории информа ции
ТУСУР |
3 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
ТУСУР |
4 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Теория информации Собственная информация и избыточность (цифровые сигналы)
Х - это m-ичный символ, а х1,x2,…,xm - его возможные значения
xj |
x1 |
x2 |
… |
xm |
p(xj) p(x1) p(x2) |
… |
p(xm) |
||
I(xj)= - loga p(xj) – собственная информация символа хj.
Пример – импульс с двукратной ФМ:
xj = j |
0 |
90 |
180 |
270 |
1 нат. ед. = log2e бит 1,443 |
|
|
|
|
|
|
||
p(xj) |
0,10 |
0,60 |
0,18 |
0,12 |
||
бит, |
||||||
I(xj) |
3,32 |
0,74 |
2,47 |
3,06 |
1 дес. ед. = log210 бит 3,32 |
|
|
|
|
|
|
бит. |
|
|
|
|
|
|
ТУСУР |
2 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Собственная информация и избыточность (цифровые сигналы)
m
H (X ) M log p(X ) p(xj )log p(xj )
j 1
- энтропия сигнала Х (математическое ожидание собственной информации).
Пример: |
|
xj = j |
0 |
90 |
180 |
270 |
|
|
|
|
|
|
|
|
|
|
p(xj) |
0,10 |
0,60 |
0,18 |
0,12 |
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
H(X) = - 0,1 |
I(xj) |
3,32 |
0,74 |
2,47 |
3,06 |
log0,18 - |
|
|
|
|
|
|
|||
log0,1 - 0,6 log0,6 - 0,18 |
|||||||
|
- 0,12 log0,12 = 1,587 бит. |
||||||
H(x) Hmax = logm
ТУСУР |
3 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Собственная информация и избыточность (цифровые сигналы)
1 |
2 |
,..., X |
n |
, |
- последовательность длины n, |
X X , X |
|
|
|||
|
|
|
|
|
состоящая из m-ичных символов |
N mn
I (x |
, x |
2 |
,..., x |
|
n |
) |
log p(x |
, x |
|
2 |
,..., x |
n |
) |
|
|
||||||||||
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
||||
i |
|
j |
|
|
|
k |
|
|
|
|
|
|
|
i |
j |
|
|
|
|
k |
|
|
|
|
|
H (X) H (X |
, X |
|
2 |
,..., |
X |
n |
) |
|
|
|
|
|
|
|
|
|
|
|
|||||||
|
|
|
|
1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
m |
m |
m |
|
|
, xj |
|
,..., xk |
|
)log p(xi |
|
, xj |
|
,..., xk |
|
). |
||||||||||
... p(xi |
2 |
n |
|
2 |
n |
||||||||||||||||||||
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
||||||
i 1 |
j 1 |
k 1 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
||
ТУСУР |
3 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Собственная информация и избыточность (цифровые сигналы)
H (X) H (X 1 ) H (X 2 / X 1 ) ...
..... H (X n / X 1 , X 2 ,..., X n 1 ).
H (X) Hn max log N n log m nHmax ,
Избыточность сигнала
R 1 H (X)
Hn max
или
R 1 Lmin 
L Lr / L,
где L – среднее количество символов в сигнале.
ТУСУР |
4 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Теория информации. Кодирование источника
Пример кодовой таблицы
|
xj |
|
p(xj) |
Кодовые |
lj |
|
|
|
|
|
|
слова |
|
|
|
|
a |
|
0,2 |
101 |
|
3 |
|
|
б |
|
0,5 |
010 |
|
3 |
|
|
в |
|
0,1 |
0 |
|
1 |
|
|
г |
|
0,1 |
1001 |
|
4 |
|
|
д |
|
0,1 |
110000 |
6 |
|
|
s |
|
|
|
|
|
||
L lj p(xj ) 3 0, 2 ... 6 0,1 3, 2 бит / букву. |
|||||||
j 1 |
|
|
Равенство L = Lmin возможно лишь, |
||||
H (X ) |
|
|
|||||
Lmin . |
если для всех xj имеем |
||||||
L log m |
|
p(xj ) m l j . |
|||||
ТУСУР |
5 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Теория информации. Кодирование источника Пример 1 - Кодовое дерево кода Хафмана
Комби- |
xj |
нация |
|
10 |
x3 |
01 |
x5 |
00 |
x2 |
111 |
x6 |
1101 |
x1 |
1100 |
x4 |
0,25
0,25
0,20
0,15
0,10
0,05
|
|
|
|
|
|
|
|
|
0,55 |
1 |
1,00 |
||
|
|
|
0,45 |
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
0,30 |
|
1 |
|
|
0 |
|
||
|
|
|
|
|
|
|
|
|
|||||
|
|
|
|
|
|
|
|
|
|||||
1 |
|
|
|
|
|
0 |
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
||
|
|
|
|
|
|
|
|
|
|
|
|
|
|
0 |
1 |
|
1 |
||
|
||
0,15 |
0 |
|
0 |
|
ТУСУР |
5 |
Теория электрической связи |
|
Профессор кафедры радиотехнических систем Ю.П. Акулиничев |
Теория информации. Кодирование источника
Пример 2 – Кодирование кодом Шеннона-Фано
xj |
p(xj) |
Разбиения |
Комбинация |
|||||
x3 |
0,25 |
|
|
|
|
|
|
11 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|
|
|
x5 |
0,25 |
|
|
|
|
|
|
10 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|||
x2 |
0,20 |
|
|
|
|
|
|
01 |
|
|
|
|
|
|
|||
|
|
|
|
|
|
|||
x6 |
0,15 |
|
|
|
|
|
|
001 |
|
|
|
|
|
|
|||
x1 |
0,10 |
|
|
|
|
|
|
0001 |
|
|
|
|
|
|
|||
x4 |
0,05 |
|
|
|
|
|
|
0000 |