Добавил:
Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
Скачиваний:
2
Добавлен:
15.06.2025
Размер:
4.49 Mб
Скачать

ТУСУР

Теория электрической связи

Часть 4

Профессор кафедры радиотехнических систем, д.т.н. Юрий Павлович Акулиничев

ТУСУР

2

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Клод Элвуд Шеннон

Claude Elwood

Shannon

Гениальный

американский математик и электротехник, один из создателей математической

теории информа ции

ТУСУР

3

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

ТУСУР

4

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Теория информации Собственная информация и избыточность (цифровые сигналы)

Х - это m-ичный символ, а х1,x2,…,xm - его возможные значения

xj

x1

x2

xm

p(xj) p(x1) p(x2)

p(xm)

I(xj)= - loga p(xj) – собственная информация символа хj.

Пример – импульс с двукратной ФМ:

xj = j

0

90

180

270

1 нат. ед. = log2e бит 1,443

 

 

 

 

 

p(xj)

0,10

0,60

0,18

0,12

бит,

I(xj)

3,32

0,74

2,47

3,06

1 дес. ед. = log210 бит 3,32

 

 

 

 

 

бит.

 

 

 

 

 

ТУСУР

2

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Собственная информация и избыточность (цифровые сигналы)

m

H (X ) M log p(X ) p(xj )log p(xj )

j 1

- энтропия сигнала Х (математическое ожидание собственной информации).

Пример:

 

xj = j

0

90

180

270

 

 

 

 

 

 

 

 

 

p(xj)

0,10

0,60

0,18

0,12

 

 

 

 

 

 

 

 

 

 

 

 

H(X) = - 0,1

I(xj)

3,32

0,74

2,47

3,06

log0,18 -

 

 

 

 

 

log0,1 - 0,6 log0,6 - 0,18

 

- 0,12 log0,12 = 1,587 бит.

H(x) Hmax = logm

ТУСУР

3

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Собственная информация и избыточность (цифровые сигналы)

1

2

,..., X

n

,

- последовательность длины n,

X X , X

 

 

 

 

 

 

 

состоящая из m-ичных символов

N mn

I (x

, x

2

,..., x

 

n

)

log p(x

, x

 

2

,..., x

n

)

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

i

 

j

 

 

 

k

 

 

 

 

 

 

 

i

j

 

 

 

 

k

 

 

 

 

H (X) H (X

, X

 

2

,...,

X

n

)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m

m

m

 

 

, xj

 

,..., xk

 

)log p(xi

 

, xj

 

,..., xk

 

).

... p(xi

2

n

 

2

n

 

 

 

 

 

1

 

 

 

 

 

 

 

 

1

 

 

 

 

 

i 1

j 1

k 1

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

ТУСУР

3

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Собственная информация и избыточность (цифровые сигналы)

H (X) H (X 1 ) H (X 2 / X 1 ) ...

..... H (X n / X 1 , X 2 ,..., X n 1 ).

H (X) Hn max log N n log m nHmax ,

Избыточность сигнала

R 1 H (X)Hn max

или

R 1 Lmin L Lr / L,

где L – среднее количество символов в сигнале.

ТУСУР

4

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Теория информации. Кодирование источника

Пример кодовой таблицы

 

xj

 

p(xj)

Кодовые

lj

 

 

 

 

 

слова

 

 

 

a

 

0,2

101

 

3

 

 

б

 

0,5

010

 

3

 

 

в

 

0,1

0

 

1

 

 

г

 

0,1

1001

 

4

 

 

д

 

0,1

110000

6

 

s

 

 

 

 

 

L lj p(xj ) 3 0, 2 ... 6 0,1 3, 2 бит / букву.

j 1

 

 

Равенство L = Lmin возможно лишь,

H (X )

 

 

Lmin .

если для всех xj имеем

L log m

 

p(xj ) m l j .

ТУСУР

5

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Теория информации. Кодирование источника Пример 1 - Кодовое дерево кода Хафмана

Комби-

xj

нация

 

10

x3

01

x5

00

x2

111

x6

1101

x1

1100

x4

0,25

0,25

0,20

0,15

0,10

0,05

 

 

 

 

 

 

 

 

 

0,55

1

1,00

 

 

 

0,45

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0,30

 

1

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

1

 

 

 

 

 

0

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

0

1

1

 

0,15

0

0

 

ТУСУР

5

Теория электрической связи

Профессор кафедры радиотехнических систем Ю.П. Акулиничев

Теория информации. Кодирование источника

Пример 2 – Кодирование кодом Шеннона-Фано

xj

p(xj)

Разбиения

Комбинация

x3

0,25

 

 

 

 

 

 

11

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

x5

0,25

 

 

 

 

 

 

10

 

 

 

 

 

 

 

 

 

 

 

 

x2

0,20

 

 

 

 

 

 

01

 

 

 

 

 

 

 

 

 

 

 

 

x6

0,15

 

 

 

 

 

 

001

 

 

 

 

 

 

x1

0,10

 

 

 

 

 

 

0001

 

 

 

 

 

 

x4

0,05

 

 

 

 

 

 

0000

Соседние файлы в папке Методички и лекции